CN117382675A - 道路的可行驶区域生成方法、装置、车辆及存储介质 - Google Patents
道路的可行驶区域生成方法、装置、车辆及存储介质 Download PDFInfo
- Publication number
- CN117382675A CN117382675A CN202311624213.7A CN202311624213A CN117382675A CN 117382675 A CN117382675 A CN 117382675A CN 202311624213 A CN202311624213 A CN 202311624213A CN 117382675 A CN117382675 A CN 117382675A
- Authority
- CN
- China
- Prior art keywords
- map
- information
- current scene
- lane
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 39
- 230000003068 static effect Effects 0.000 claims abstract description 33
- 230000004888 barrier function Effects 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012423 maintenance Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 14
- 238000004519 manufacturing process Methods 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及智能交通技术领域,特别涉及一种道路的可行驶区域生成方法、装置、车辆及存储介质,其中,方法包括:采集当前场景的图像信息和点云信息,融合图像信息和点云信息,得到当前场景的融合信息;根据融合信息提取当前场景的至少一个车道特征;将当前场景的至少一个车道特征投影至目标坐标系,生成局部地图,并获取当前场景的当前地图,以根据局部地图和当前地图得到实际地图信息;基于实际地图信息,识别道路上的静态障碍物,以根据静态障碍物将达到预设侵占条件的车道段标记为不可行驶区域,并生成可行驶区域。由此,解决了相关技术中,高精地图的制作和维护成本高,在实际的应用中很难用统一的地图格式,且在车辆行驶的过程中实时性差精度不高等问题。
Description
技术领域
本申请涉及智能交通技术领域,特别涉及一种道路的可行驶区域生成方法、装置、车辆及存储介质。
背景技术
随着车联网技术的发展,自动驾驶技术已经成为研究热点。自动驾驶技术主要是指车辆在极少或没有来自驾驶员的输入的情况下导航通过驾驶环境,但当定位出现延迟、轨迹规划异常、跟踪误差较大时,车辆会发生碰撞风险,降低自动驾驶车辆自动驾驶的安全性,从而降低自动驾驶车辆的自动驾驶性能的可靠性。
相关技术中,可以利用融合的方式提高建立高精度地图的精确度和实时性,其融合的方式主要分为重地图和重感知这两种方案。其中,重地图的方案是在在车辆行驶时依赖已建立好的高精地图做决策规划,而重感知则是利用传感器如摄像机、雷达等实时获取的数据,通过网络学习提取出可行驶区域,进而提高高精度的精确度和实时性。
然而,相关技术中,重地图在高精地图的制作和维护上成本都很高,且不同城市的交通场景差别较大,很难用统一的地图格式。重感知的维护成本虽然低,但单次、实时建图的前向范围有限,限制了车辆的规划距离,且精度不高。
发明内容
本申请提供一种道路的可行驶区域生成方法、装置、车辆及存储介质,以解决相关技术中,高精地图的制作和维护成本高,在实际的应用中很难用统一的地图格式,且在车辆行驶的过程中实时性差精度不高等问题。
本申请第一方面实施例提供一种道路的可行驶区域生成方法,包括以下步骤:采集当前场景的图像信息和点云信息,融合所述图像信息和点云信息,得到所述当前场景的融合信息;根据所述融合信息提取所述当前场景的至少一个车道特征;将所述当前场景的至少一个车道特征投影至目标坐标系,生成局部地图,并获取所述当前场景的当前地图,以根据所述局部地图和所述当前地图得到实际地图信息;基于所述实际地图信息,识别道路上的静态障碍物,以根据所述静态障碍物将达到预设侵占条件的车道段标记为不可行驶区域,并生成可行驶区域。
可选地,在本申请的一个实施例中,所述根据所述融合信息提取所述当前场景的至少一个车道特征,包括:将所述融合信息输入至预先构建的识别模型,输出所述当前场景的至少一个车道特征。
可选地,在本申请的一个实施例中,所述识别模型可以但不限于为mmdetection网络模型。
可选地,在本申请的一个实施例中,所述根据所述局部地图和所述当前地图得到实际地图信息,包括:将所述局部地图转换到世界坐标系,得到最终局部地图;根据所述最终局部地图和所述当前地图得到所述实际地图信息。
可选地,在本申请的一个实施例中,所述根据所述融合信息提取所述当前场景的至少一个车道特征,包括:根据所述融合信息提取所述当前场景的车道线特征,道路边线特征和障碍物特征。
可选地,在本申请的一个实施例中,所述根据所述局部地图和所述当前地图得到实际地图信息,包括:基于所述局部地图和所述当前地图进行道路特征匹配,直至达到地图迭代优化条件,得到所述实际地图信息。
可选地,在本申请的一个实施例中,所述预设侵占条件可以但不限于为所述静态障碍物横向占据车道宽度的占比大于预设占比。
本申请第二方面实施例提供一种道路的可行驶区域生成装置,包括:采集模块,用于采集当前场景的图像信息和点云信息,融合所述图像信息和点云信息,得到所述当前场景的融合信息;提取模块,用于根据所述融合信息提取所述当前场景的至少一个车道特征;获取模块,用于将所述当前场景的至少一个车道特征投影至目标坐标系,生成局部地图,并获取所述当前场景的当前地图,以根据所述局部地图和所述当前地图得到实际地图信息;生成模块,用于基于所述实际地图信息,识别道路上的静态障碍物,以根据所述静态障碍物将达到预设侵占条件的车道段标记为不可行驶区域,并生成可行驶区域。
可选地,在本申请的一个实施例中,所述提取模块,包括:输出单元,用于将所述融合信息输入至预先构建的识别模型,输出所述当前场景的至少一个车道特征。
可选地,在本申请的一个实施例中,所述识别模型可以但不限于为mmdetection网络模型。
可选地,在本申请的一个实施例中,所述获取模块,包括:转换单元,用于将所述局部地图转换到世界坐标系,得到最终局部地图;获取单元,用于根据所述最终局部地图和所述当前地图得到所述实际地图信息。
可选地,在本申请的一个实施例中,所述提取模块,包括:提取单元,用于根据所述融合信息提取所述当前场景的车道线特征,道路边线特征和障碍物特征。
可选地,在本申请的一个实施例中,所述获取模块,包括:优化单元,用于基于所述局部地图和所述当前地图进行道路特征匹配,直至达到地图迭代优化条件,得到所述实际地图信息。
可选地,在本申请的一个实施例中,所述预设侵占条件可以但不限于为所述静态障碍物横向占据车道宽度的占比大于预设占比。
本申请第三方面实施例提供一种车辆,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的道路的可行驶区域生成方法。
本申请第四方面实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,该程序被处理器执行时实现如上的道路的可行驶区域生成方法。
本申请实施例可以融合当前场景的图像信息和点云信息后,生成当前场景的局部地图,进而根据局部地图和当前地图得到当前场景的实际地图,使用局部地图对高精度地图进行更新迭代,统一了高精度地图的格式,减少高精度地图维护成本的同时提高了高精度地图的实时性,从而识别道路上的静态障碍物,区分道路的不可行驶区域和可行驶区域,实现车道级可行驶区域的划分,提高了高精度地图的精确度。由此,解决了相关技术中,高精地图的制作和维护成本高,在实际的应用中很难用统一的地图格式,且在车辆行驶的过程中实时性差精度不高等问题。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本申请实施例提供的一种道路的可行驶区域生成方法的流程图;
图2为根据本申请一个实施例提供的划分道路可行驶区域的方框示意图;
图3为根据本申请实施例提供的道路的可行驶区域生成方法的工作原理的流程图;
图4为根据本申请实施例提供的道路的可行驶区域生成装置的方框示意图;
图5为根据本申请实施例提供的车辆的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的道路的可行驶区域生成方法、装置、车辆及存储介质。针对上述背景技术中提到的高精地图的制作和维护成本高,在实际的应用中很难用统一的地图格式,且在车辆行驶的过程中实时性差精度不高的问题,本申请提供了一种道路的可行驶区域生成方法,在该方法中,可以融合当前场景的图像信息和点云信息后,生成当前场景的局部地图,进而根据局部地图和当前地图得到当前场景的实际地图,使用局部地图对高精度地图进行更新迭代,统一了高精度地图的格式,减少高精度地图维护成本的同时提高了高精度地图的实时性,从而识别道路上的静态障碍物,区分道路的不可行驶区域和可行驶区域,实现车道级可行驶区域的划分,提高了高精度地图的精确度。由此,解决了相关技术中,高精地图的制作和维护成本高,在实际的应用中很难用统一的地图格式,且在车辆行驶的过程中实时性差精度不高等问题。
具体而言,图1为根据本申请实施例提供的一种道路的可行驶区域生成方法的流程图。
如图1所示,该道路的可行驶区域生成方法包括以下步骤:
在步骤S101中,采集当前场景的图像信息和点云信息,融合图像信息和点云信息,得到当前场景的融合信息。
可以理解的是,当前场景可以指当前时刻车辆行驶的前方道路数据、后方道路数据、左方道路数据以及右方道路数据的全景数据,也可以指某一方向的道路数据,如前方道路数据,还可以指多方向道路数据的整合,如前方道路数据和右方道路数据的整合,本申请不作具体限制。道路数据的距离范围可以为3米,也可以为6米,本申请不作具体限制。进一步的,当前场景的信息可以分为图像信息和点云信息,其中,图像信息可以利用摄像头、照相机等方式获取,点云信息可以利用激光雷达、双目相机、深度相机等方式获取,本申请不作具体限制。
另外,在本申请实施例中,融合图像信息和点云信息的方式可以分为三类:像素级融合、特征级融合和决策级融合,具体融合方式的设置可由本领域技术人员根据实际情况进行设置,本申请不作具体限制。
作为一种可能实现的方式,本申请实施例可以将当前场景的图像信息和点云信息进行融合,获得当前场景的融合信息,提高了当前场景图像的分辨率,提升了当前场景图像的质量。
举例而言,本申请实施例可以利用安装在车辆前方、左方以及右方的摄像头实时采集车辆前方、左方以及右方当前场景的图像信息,利用安装在车辆前方、左方以及右方的激光雷达实时采集车辆前方、左方以及右方当前场景的点云信息,进一步利用相关融合算法融合当前场景的图像信息和点云信息,得到当前场景的融合信息。
在步骤S102中,根据融合信息提取当前场景的至少一个车道特征,其中,车道特征可以包括:根据融合信息提取当前场景的车道线特征,道路边线特征和障碍物特征。
可以理解的是,在实际生活中,可以通过对车道的规划和管理,提高道路交通的安全性和效率,减少交通事故的发生率,车道特征可以为但不限于:车道线特征,道路边线特征以及障碍物特征,本申请不作具体限制。
其中,车道线可以指道路上的线条、箭头、文字、立面标记、突起路标和轮廓标等标识,本申请不作具体限制。
道路边线可以指车辆和行人在道路行驶上的边线,本申请不作具体限制。
障碍物可以指在道路上出现的影响交通、阻碍行车的物体或者状况,本申请不作具体限制。
在实际执行过程中,本申请实施例可以利用融合信息提取当前场景的车道线特征、道路边线特征以及障碍物特征,进而为识别车道段的可行驶区域做铺垫。
举例而言,本申请实施例可以利用步骤S101获得的当前场景的融合信息,提取识别车辆当前场景下的车道线,如当前车道属于快车道还是慢车道等;道路边线,如车辆行驶区域的边界处于什么位置等;静态障碍物,如车辆行驶附近是否存在不利于行驶的障碍物,车辆前方是否拥堵等。
本申请实施例可以利用融合信息提取当前场景的车道特征,如当前场景的车道线特征,道路边线特征和障碍物特征等,本申请不作具体限制,为提前规划车道的可行使区域提供依据,更加真实可靠,符合车辆行驶的实际场景。
可选地,在本申请的一个实施例中,根据融合信息提取当前场景的至少一个车道特征,包括:将融合信息输入至预先构建的识别模型,输出当前场景的至少一个车道特征。其中,识别模型可以但不限于为mmdetection网络模型。
可以理解的是,识别模型可以指能够识别当前场景车道特征的模型,可以为但不限于mmdetection网络模型,本申请不作具体限制。
作为一种可能实现的方式,本申请实施例可以将融合信息输入至预先构建的mmdetection网络模型,从而利用mmdetection网络模型识别并输出当前场景的车道特征,如车道线、道路边线、障碍物等。
举例而言,本申请实施例可以将融合信息输入至构建好的mmdetection网络模型,利用mmdetection网络模型提取车道线、道路边线、障碍物等信息。其中,对于车道线和道路边线,mmdetection网络模型会提取成一个个的矢量点,形成矢量地图,而对于障碍物,mmdetection网络模型则会提取出8个点的边框数据。
本申请实施例可以利用构建好的mmdetection网络模型识别并输出当前场景的车道特征,mmdetection网络模型训练速度快,识别效率高,满足高精度地图实时性的要求,更符合实际的使用场景。
在步骤S103中,将当前场景的至少一个车道特征投影至目标坐标系,生成局部地图,并获取当前场景的当前地图,以根据局部地图和当前地图得到实际地图信息。
可以理解的是,本申请实施例涉及的坐标系可以为但不限于:车辆坐标系、odom坐标系、世界坐标系以及以其他物体为参照物的坐标系,本申请不作具体限制,因此,可以先将当前场景的坐标系进行统一。
另外,实际获取当前场景当前地图的方式可以为但不限于:车载地图;相关软件,如:百度地图、高德地图等,本申请不作具体限制。
在实际执行过程中,本申请实施例可以先将当前场景的车道特征投影至目标坐标系下,生成局部地图,并根据局部地图和当前场景的当前地图生成当前场景的实际地图,更新并完善高精地图存在的问题,统一了高精地图的坐标系,解决了高精地图的格式问题,更具实用性。
举例而言,本申请实施例可以将当前场景的车道特征投影至目标坐标系,即车辆坐标系,生成局部地图,并利用车载地图获得当前场景的高精地图,进一步根据当前场景的局部地图,完善当前场景的高精地图,进而获得当前场景的实际地图。
可选地,在本申请的一个实施例中,根据局部地图和当前地图得到实际地图信息,包括:将局部地图转换到世界坐标系,得到最终局部地图;根据最终局部地图和当前地图得到实际地图信息。
作为一种可能实现的方式,本申请实施例可以将当前场景的局部地图进行坐标转换,即从车辆坐标系转换到世界坐标系,生成当前场景的最终局部地图,并根据最终局部地图和当前地图得到实际地图信息。
举例而言,本申请实施例可以将车辆坐标系下的局部地图进行转换,生成世界坐标系下的局部地图,同时加载附近的高精地图,将世界坐标系下的局部地图与高精地图进行匹配、校准,从而得到当前场景的实际地图信息。
可选地,在本申请的一个实施例中,根据局部地图和当前地图得到实际地图信息,包括:基于局部地图和当前地图进行道路特征匹配,直至达到地图迭代优化条件,得到实际地图信息。
可以理解的是,地图迭代优化条件可以为但不限于局部地图与当前地图的红绿灯牌差值过大,如局部地图存在两个红绿灯牌,当前地图存在一个红绿灯牌,此时,表明局部地图与当前地图的道路特征差值过大,达到地图迭代优化的条件,对于具体地图迭代优化条件的设置可由本领域技术人员根据实际情况进行设置,本申请不作具体限制。
在实际执行过程中,本申请实施例可以将世界坐标系下的局部地图和当前地图进行道路特征匹配,在满足地图迭代优化条件后,实时更新当前场景的高精地图,进而获得当前场景的实际地图信息,减少维护成本的同时,提高了高精地图的精度,更符合实际的使用场景。
举例而言,本申请实施例可以将当前场景的局部地图通过外参和位姿的转换矩阵投影到世界坐标系下,加载附近的高精地图,做道路特征匹配、校准。其中,道路特征如车道线起始点、停止线、红绿灯牌等。匹配、校准过程主要指在小范围内对局部地图进行迭代优化,完善高精地图,如果匹配完成后存在少部分道路特征相差过大,则说明当前场景的高精地图发生了变化,可以对高精地图进行局部更新,实现实时同步更新维护高精地图,减少维护成本,提高高精地图的精度。
在步骤S104中,基于实际地图信息,识别道路上的静态障碍物,以根据静态障碍物将达到预设侵占条件的车道段标记为不可行驶区域,并生成可行驶区域。其中,预设侵占条件可以但不限于为静态障碍物横向占据车道宽度的占比大于预设占比。
可以理解的是,预设占比可由本领域技术人员根据实际情况进行设置,本申请不作具体限制。
作为一种可能实现的方式,本申请实施例可以基于当前场景的实际地图信息利用构建好的mmdetection网络模型识别出道路上的静态障碍物,并将静态障碍物横向占据车道宽度的占比大于一定占比的车道段标记为不可行驶区域,其他的为可行使区域。
举例而言,如图2所示,本申请实施例可以将利用构建好的mmdetection网络模型识别出的静态障碍物边框数据投影到车辆坐标系下的局部地图,如果静态障碍物横向占据车道宽度的占比小于车道宽度的十分之一,则表明此车道在行驶时可以规划为避让状态;如果静态障碍物横向占据车道宽度的占比过大,比如大于车道宽度的二分之一,则表明此车道不可行驶,可以将车道段标记为不可行驶区域,并使用三次贝塞尔插值平滑的生成连接车道,形成车道段的可行使区域。
结合图2-3所示,以一个具体实施例对本申请实施例提出的道路的可行驶区域生成方法的工作原理进行详细阐述,其包括以下步骤:
步骤S301:获取并融合当前场景的图像信息和点云信息,执行步骤S302。
具体而言,本申请实施例可以利用安装在车辆前方、左方以及右方的摄像头实时采集车辆前方、左方以及右方当前场景的图像信息,利用安装在车辆前方、左方以及右方的激光雷达实时采集车辆前方、左方以及右方当前场景的点云信息,进一步利用相关融合算法融合当前场景的图像信息和点云信息,得到当前场景的融合信息。
步骤S302:基于深度学习提取道路矢量化数据和障碍物边框数据,执行步骤S303。
也就是说,本申请实施例可以将融合信息输入至构建好的mmdetection网络模型,利用mmdetection网络模型提取车道线、道路边线、障碍物等信息。其中,对于车道线和道路边线,mmdetection网络模型会提取成一个个的矢量点,形成矢量地图,而对于障碍物,mmdetection网络模型则会提取出8个点的边框数据。
步骤S303:坐标系转化,生成世界坐标系下的局部地图,执行步骤S304。
可以理解的是,本申请实施例可以将车辆坐标系下的局部地图进行转换,生成世界坐标系下的局部地图。
步骤S304:加载附近的高精地图,执行步骤S305。
具体地,本申请实施例具备车辆行驶区域内离线或在线下载的高精地图。
步骤S305:局部地图与高精地图匹配修正,执行步骤S306。
可以理解为,本申请实施例将世界坐标系下的局部地图与高精地图进行匹配、校准,从而得到当前场景的实际地图信息。
步骤S306:静态障碍物横向占据比例是否过大。如果过大,执行步骤S307;否则,执行步骤S308。
具体而言,本申请实施例可以实时采集并判断车道中静态障碍物的横向占据车道的占比是否过大。
步骤S307:此车道段标记为不可行驶区域,并平滑生成可行使区域。
其中,如果本申请实施例的静态障碍物横向占据车道宽度的占比大于车道宽度的二分之一,则表明此车道不可行驶,可以将车道段标记为不可行驶区域,并使用三次贝塞尔插值平滑的生成连接车道,形成车道段的可行使区域,其车道段的可行使区域的示意图如图2所示。
步骤S308:规划避让。
其中,如果本申请实施例的静态障碍物横向占据车道宽度的占比小于车道宽度的十分之一,则表明此车道在行驶时可以规划为避让状态,提醒车辆在行驶时注意,其车道段的可行使区域的示意图如图2所示。
根据本申请实施例提出的道路的可行驶区域生成方法,可以在生成具有融合信息的局部地图后,进行坐标转化,统一高精地图的格式,利用局部地图对高精地图进行匹配迭代,当部分道路特征元素相差过大,实时更新高精地图,减少了高精度地图的维护成本,并利用静态障碍物区分道路上的不可行驶区域和可行驶区域,生成车道级的可行驶区域,提高了高精度地图的精度。由此,解决了相关技术中,高精地图的制作和维护成本高,在实际的应用中很难用统一的地图格式,且在车辆行驶的过程中实时性差精度不高等问题。
其次参照附图描述根据本申请实施例提出的道路的可行驶区域生成装置。
图4为根据本申请实施例提供的道路的可行驶区域生成装置的方框示意图。
如图4所示,该道路的可行驶区域生成装置10包括:采集模块100、提取模块200、获取模块300和生成模块400。
具体地,采集模块100,用于采集当前场景的图像信息和点云信息,融合图像信息和点云信息,得到当前场景的融合信息。
提取模块200,用于根据融合信息提取当前场景的至少一个车道特征。
获取模块300,用于将当前场景的至少一个车道特征投影至目标坐标系,生成局部地图,并获取当前场景的当前地图,以根据局部地图和当前地图得到实际地图信息。
生成模块400,用于基于实际地图信息,识别道路上的静态障碍物,以根据静态障碍物将达到预设侵占条件的车道段标记为不可行驶区域,并生成可行驶区域。
可选地,在本申请的一个实施例中,提取模块200,包括:输出单元。
其中,输出单元,用于将融合信息输入至预先构建的识别模型,输出当前场景的至少一个车道特征。
可选地,在本申请的一个实施例中,识别模型可以但不限于为mmdetection网络模型。
可选地,在本申请的一个实施例中,获取模块300,包括:转换单元和获取单元。
其中,转换单元,用于将局部地图转换到世界坐标系,得到最终局部地图。
获取单元,用于根据最终局部地图和当前地图得到实际地图信息。
可选地,在本申请的一个实施例中,提取模块200,包括:提取单元。
其中,提取单元,用于根据融合信息提取当前场景的车道线特征,道路边线特征和障碍物特征。
可选地,在本申请的一个实施例中,获取模块300,包括:优化单元。
其中,优化单元,用于基于局部地图和当前地图进行道路特征匹配,直至达到地图迭代优化条件,得到实际地图信息。
可选地,在本申请的一个实施例中,预设侵占条件可以但不限于为静态障碍物横向占据车道宽度的占比大于预设占比。
需要说明的是,前述对道路的可行驶区域生成方法实施例的解释说明也适用于该实施例的道路的可行驶区域生成装置,此处不再赘述。
根据本申请实施例提出的道路的可行驶区域生成装置,可以在生成具有融合信息的局部地图后,进行坐标转化,统一高精地图的格式,利用局部地图对高精地图进行匹配迭代,当部分道路特征元素相差过大,实时更新高精地图,减少了高精度地图的维护成本,并利用静态障碍物区分道路上的不可行驶区域和可行驶区域,生成车道级的可行驶区域,提高了高精度地图的精度。由此,解决了相关技术中,高精地图的制作和维护成本高,在实际的应用中很难用统一的地图格式,且在车辆行驶的过程中实时性差精度不高等问题。
图5为根据本申请实施例提供的车辆的结构示意图。该车辆可以包括:
存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。
处理器502执行程序时实现上述实施例中提供的道路的可行驶区域生成方法。
进一步地,车辆还包括:
通信接口503,用于存储器501和处理器502之间的通信。
存储器501,用于存放可在处理器502上运行的计算机程序。
存储器501可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器501、处理器502和通信接口503独立实现,则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(PeripheralComponent,简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选地,在具体实现上,如果存储器501、处理器502及通信接口503,集成在一块芯片上实现,则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。
处理器502可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上的道路的可行驶区域生成方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或N个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种道路的可行驶区域生成方法,其特征在于,包括以下步骤:
采集当前场景的图像信息和点云信息,融合所述图像信息和点云信息,得到所述当前场景的融合信息;
根据所述融合信息提取所述当前场景的至少一个车道特征;
将所述当前场景的至少一个车道特征投影至目标坐标系,生成局部地图,并获取所述当前场景的当前地图,以根据所述局部地图和所述当前地图得到实际地图信息;
基于所述实际地图信息,识别道路上的静态障碍物,以根据所述静态障碍物将达到预设侵占条件的车道段标记为不可行驶区域,并生成可行驶区域。
2.根据权利要求1所述的方法,其特征在于,所述根据所述融合信息提取所述当前场景的至少一个车道特征,包括:
将所述融合信息输入至预先构建的识别模型,输出所述当前场景的至少一个车道特征。
3.根据权利要求2所述的方法,其特征在于,所述识别模型为mmdetection网络模型。
4.根据权利要求1所述的方法,其特征在于,所述根据所述局部地图和所述当前地图得到实际地图信息,包括:
将所述局部地图转换到世界坐标系,得到最终局部地图;
根据所述最终局部地图和所述当前地图得到所述实际地图信息。
5.根据权利要求1所述的方法,其特征在于,所述根据所述融合信息提取所述当前场景的至少一个车道特征,包括:
根据所述融合信息提取所述当前场景的车道线特征,道路边线特征和障碍物特征。
6.根据权利要求1所述的方法,其特征在于,所述根据所述局部地图和所述当前地图得到实际地图信息,包括:
基于所述局部地图和所述当前地图进行道路特征匹配,直至达到地图迭代优化条件,得到所述实际地图信息。
7.根据权利要求1所述的方法,其特征在于,所述预设侵占条件为所述静态障碍物横向占据车道宽度的占比大于预设占比。
8.一种道路的可行驶区域生成装置,其特征在于,包括:
采集模块,用于采集当前场景的图像信息和点云信息,融合所述图像信息和点云信息,得到所述当前场景的融合信息;
提取模块,用于根据所述融合信息提取所述当前场景的至少一个车道特征;
获取模块,用于将所述当前场景的至少一个车道特征投影至目标坐标系,生成局部地图,并获取所述当前场景的当前地图,以根据所述局部地图和所述当前地图得到实际地图信息;
生成模块,用于基于所述实际地图信息,识别道路上的静态障碍物,以根据所述静态障碍物将达到预设侵占条件的车道段标记为不可行驶区域,并生成可行驶区域。
9.一种车辆,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求1-7任一项所述的道路的可行驶区域生成方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以实现如权利要求1-7任一项所述的道路的可行驶区域生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311624213.7A CN117382675A (zh) | 2023-11-27 | 2023-11-27 | 道路的可行驶区域生成方法、装置、车辆及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311624213.7A CN117382675A (zh) | 2023-11-27 | 2023-11-27 | 道路的可行驶区域生成方法、装置、车辆及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117382675A true CN117382675A (zh) | 2024-01-12 |
Family
ID=89468614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311624213.7A Pending CN117382675A (zh) | 2023-11-27 | 2023-11-27 | 道路的可行驶区域生成方法、装置、车辆及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117382675A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113932820A (zh) * | 2020-06-29 | 2022-01-14 | 杭州海康威视数字技术股份有限公司 | 对象检测的方法和装置 |
-
2023
- 2023-11-27 CN CN202311624213.7A patent/CN117382675A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113932820A (zh) * | 2020-06-29 | 2022-01-14 | 杭州海康威视数字技术股份有限公司 | 对象检测的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111442776B (zh) | 顺序地面场景图像投影合成与复杂场景重构的方法及设备 | |
CN110689761B (zh) | 一种自动泊车方法 | |
CN111874006B (zh) | 路线规划处理方法和装置 | |
US10384679B2 (en) | Travel control method and travel control apparatus | |
US20210229280A1 (en) | Positioning method and device, path determination method and device, robot and storage medium | |
US9360332B2 (en) | Method for determining a course of a traffic lane for a vehicle | |
CN110763246A (zh) | 自动驾驶车辆路径规划方法、装置、车辆及存储介质 | |
DE112019001657T5 (de) | Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper | |
CN110415550B (zh) | 基于视觉的自动泊车方法 | |
EP3822945A1 (en) | Driving environment information generation method, driving control method, driving environment information generation device | |
CN117382675A (zh) | 道路的可行驶区域生成方法、装置、车辆及存储介质 | |
CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
CN115366885A (zh) | 用于辅助机动车的驾驶操作的方法、辅助装置及机动车 | |
Damerow et al. | Intersection warning system for occlusion risks using relational local dynamic maps | |
Kim et al. | Safety evaluation of autonomous vehicles for a comparative study of camera image distance information and dynamic characteristics measuring equipment | |
CN111605481A (zh) | 基于环视的拥堵跟车***和终端 | |
CN110539748A (zh) | 基于环视的拥堵跟车***和终端 | |
CN212738053U (zh) | 停车场出入口自动驾驶*** | |
CN113386771A (zh) | 道路模型的生成方法及设备 | |
CN111256707A (zh) | 基于环视的拥堵跟车***和终端 | |
CN114355921B (zh) | 车辆循迹轨迹生成方法、装置、电子设备及存储介质 | |
Berrio et al. | Semantic sensor fusion: From camera to sparse LiDAR information | |
CN117452407B (zh) | 一种用于车载辅助驾驶***的雷达数据服务***和方法 | |
CN116499477B (zh) | 地图的融合方法、装置、介质及车辆 | |
US20230410658A1 (en) | Driver assistance system, driver assistance method, and non-transitory computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |