CN117516559A - 一种联合地图生成方法、终端、服务器及通信*** - Google Patents
一种联合地图生成方法、终端、服务器及通信*** Download PDFInfo
- Publication number
- CN117516559A CN117516559A CN202210912465.9A CN202210912465A CN117516559A CN 117516559 A CN117516559 A CN 117516559A CN 202210912465 A CN202210912465 A CN 202210912465A CN 117516559 A CN117516559 A CN 117516559A
- Authority
- CN
- China
- Prior art keywords
- map
- terminal
- server
- local map
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000004891 communication Methods 0.000 title claims abstract description 39
- 238000005259 measurement Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 abstract description 28
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000013144 data compression Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 241000497429 Obus Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种联合地图生成方法、终端、服务器及通信***。在该方法中,第一终端第一车辆测量得到的测量数据以及第一车辆的位置信息,所述测量数据至少包括点云数据;第一终端根据点云数据和位置信息生成第一本地地图,第一本地地图包括树状结构的栅格地图和障碍物列表;第一终端将第一本地地图发送给服务器或路侧单元,以使其他设备能够根据该本地地图获取到更多的环境信息,提高自动驾驶、辅助驾驶的安全性。此外,作为共享数据的本地地图,数据量得到了显著压缩,且保留了更多的测量信息,有效降低对V2X传输的带宽需求以及传输时延,避免传输时延造成其他设备无法及时获取到共享数据而产生的安全风险,提高了行车效率与行车安全性。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种联合地图生成方法、终端、服务器及通信***。
背景技术
随着科技的飞速发展,车辆自动驾驶技术越来越被人们关注,成为研究的重点方向。为了实现车辆准确地自动驾驶,可以在车辆上安装多种传感器对车辆的位置、环境进行感知,从而提供自主导航、规划、运动所必须的对环境的理解数据。例如,可以在车辆上安装雷达***、摄像头、全球定位***(global positioning system,GPS)和惯性导航***(inertial navigation system,INS)等。
但是,单车感知无法克服交通场景中由于遮挡与超视距产生的盲区、鬼探头等问题。通过无线网络(包括LTE-V,5G NR-V,5G)实现路侧感知设备和多车的感知协作,是克服该问题的重要方向。
一种多车感知协作的方式是:多车之间直接传输传感器(激光雷达、摄像机)采集的原始感知数据,以使车辆能够根据其他车辆采集的感知数据解决自身的盲区问题。但由于直接传输激光雷达采集的原始点云数据或者摄像头采集的视频数据,对带宽的需求过大,会引起较大的传输时延,使得自动驾驶的安全性能难以得到保障。
另一种多车感知协作的方式是:车辆根据自身采集的原始感知数据进行障碍物识别,得到障碍物列表,多车之间传输障碍物列表。但是障碍物识别依赖先验的训练数据,只能对已知对象进行识别且存在一定的漏检概率。因此,多车之间仅传输障碍物列表,虽然能较大程度降低传输时延,但会造成共享的感知数据的不完备,仍然存在较大安全隐患。
因此,如何在低时延的情况下实现共享感知数据的完整性,是目前亟待解决的问题。
发明内容
本申请提供一种联合地图生成方法、终端、服务器及通信***,用于实现在多车共享感知数据,既保障低时延又保障共享感知数据的完整性。
第一方面,本申请提供一种联合地图生成方法,包括:设置于第一车辆的第一终端,获取所述第一车辆测量得到的测量数据以及所述第一车辆的位置信息,所述测量数据至少包括点云数据;所述第一终端根据所述点云数据和所述位置信息生成第一本地地图,所述第一本地地图包括三维空间的树状结构的栅格地图和障碍物列表;所述第一终端将所述第一本地地图发送给服务器或路侧单元。
在上述方法中,第一终端根据第一车辆测量的点云数据和第一车辆的位置信息生成包含树状结构的栅格地图和障碍物列表的第一本地地图,并将生成的第一本地地图发送给服务器或路侧单元,从而可以通过服务器或路侧单元共享给其他设备,以使其他设备能够根据该本地地图获取到更多的环境信息,提高自动驾驶、辅助驾驶的安全性。此外,作为共享数据的第一本地地图,包括树状结构的栅格地图和障碍物列表,与传统的共享测量得到的原始数据相比,数据量得到了显著压缩,有效降低对V2X传输的带宽需求以及传输时延,而在自动驾驶、辅助驾驶技术领域,信息的传输时延对行车安全性有着较大影响,降低传输时延有利于提高行车的安全性;与传统的仅共享障碍物列表相比,保留了更多的测量信息,能够避免由于物体识别精度、准确度有限而造成的漏检情况,也能够提高行车的安全性。由此可见,本申请实施例中,在保障传输时延的情况下共享了更多的环境测量信息,便于车辆行驶路线的规划与调度,提高了行车效率与行车安全性。
在一种可能的实现方式中,所述三维空间的树状栅格地图为八叉树形式表达的栅格地图。
在一种可能的实现方式中,所述树状栅格地图中包括第一帧号标识,所述障碍物列表中包括第二帧号标识,针对同一帧点云数据生成的树状栅格地图中的第一帧号标识和障碍物列表中的第二帧号标识相同。由于终端生成树状栅格地图和障碍物列表的所消耗的时间可能有所差别,为了提高传输效率,第一终端可以在生成其中一种后就先发送,而不必等树状栅格地图和障碍物列表都生成后再发送,以提高数据传输效率。而分别发送时,在树状栅格地图和障碍物列表中携带帧号标识,能够令根据第一本地地图生成联合地图的设备,根据帧号标识识别对应相同点云数据帧的树状栅格地图和障碍物列表。
在一种可能的实现方式中,所述第一终端根据所述点云数据和所述位置信息生成第一本地地图,包括:所述第一终端根据所述点云数据生成三维空间的树状结构的栅格地图;若所述栅格地图中的第一节点的取值小于等于第一阈值,则在所述栅格地图中删除所述第一节点,所述第一节点为所述栅格地图中的任一节点,所述第一阈值为与所述第一节点对应的阈值;和/或,若所述栅格地图中的第一节点的取值大于等于第二阈值,则在所述栅格地图中删除所述第二节点,所述第一节点为所述栅格地图中的任一节点,所述第二阈值为与所述第一节点对应的阈值。将大于预设阈值或小于预设阈值的节点删除,可以进一步对三维空间的栅格地图进行压缩,进一步减少后续需要传输的数据,从而进一步降低了传输时延。
在一种可能的实现方式中,所述第一终端根据所述点云数据和所述位置信息生成第一本地地图,包括:所述第一终端根据所述点云数据转换为柱状图像,根据所述柱状图像生成三维空间的树状结构的栅格地图。生成柱状图像,就是将空间点云先在水平面XOY上进行体素划分,划分成一个一个的栅格,将每个栅格的垂直方向(即Z轴)上的体素合成一个柱子,然后仅保留柱子的最低点和对高点,即实现了将点云数据转换成柱状图像。该过程能够对点云数据进一步压缩,因此,先根据点云数据生成柱状图像,再根据柱状图像生成树状结构的栅格地图,更有利于数据的压缩。
在一种可能的实现方式中,所述方法还包括:所述第一终端接收所述服务器发送的联合地图,所述联合地图是所述服务器至少根据所述第一本地地图和设置于第二车辆的第二终端发送的第二本地地图生成的。服务器可以根据多个终端生成的本地地图生成联合地图,并将生成的联合地图再发送给各个终端,以使各终端能够获取到更加完整的环境信息,从而提高行车效率、行车安全。
在一种可能的实现方式中,所述方法还包括:所述第一终端通过所述路侧单元接收第二本地地图,所述第二本地地图是设置于第二车辆的第二终端生成的;所述第一终端根据所述第一本地地图和所述第二本地地图,生成联合地图。第一终端还可以通过路侧单元直接获取其他终端生成的本地地图,并由第一终端生成联合地图,获取更加完整的环境信息,从而提高行车效率、行车安全。
在一种可能的实现方式中,在所述第一终端通过所述路侧单元接收第二本地地图之后,所述方法还包括:所述第一终端根据点云数据、所述位置信息以及所述第二本地地图,对所述第二本地地图与所述第一本地地图之间的定位误差进行补偿。不同车辆在定位时可能会产生不同的定位误差,如果直接对本地地图进行融合生成联合地图,可能会产生更大的误差,因此可以对定位误差进行补偿,从而得到精度更加准确的联合地图。
第二方面,本申请提供一种联合地图生成方法,包括:服务器接收设置于第一车辆的第一终端发送的第一本地地图,所述第一本地地图包括第一树状结构的栅格地图和第一障碍物列表;所述服务器接收设置于第二车辆的第二终端发送的第二本地地图,所述第二本地地图包括第二树状结构的栅格地图和第二障碍物列表;所述服务器根据所述第一本地地图和所述第二本地地图生成联合地图;所述服务器将所述联合地图的部分或全部发送给目标终端,所述目标终端包括所述第一终端、所述第二终端或者其他终端。
在一种可能的实现方式中,所述树状结构的栅格地图为八叉树形式表达的栅格地图。
在一种可能的实现方式中,所述服务器根据所述第一本地地图和所述第二本地地图生成联合地图,包括:所述服务器根据所述第一树状结构的栅格地图和所述第二树状结构的栅格地图生成联合树状结构的栅格地图;所述服务器根据所述第一障碍物列表和所述第二障碍物列表生成联合障碍物列表。
在一种可能的实现方式中,所述树状结构的栅格地图中包括第一帧号标识,所述障碍物列表中包括第二帧号标识,针对同一帧点云数据生成的树状结构的栅格地图中的第一帧号标识和障碍物列表中的第二帧号标识相同。
在一种可能的实现方式中,所述服务器将所述联合地图的部分发送给目标终端,包括:所述服务器确定目标终端所处区域,将所述联合地图中所述区域的地图发送给所述目标终端。
在一种可能的实现方式中,所述方法还包括:服务器对所述第一本地地图和所述第二本地地图进行定位误差补偿。
第三方面,本申请提供一种联合地图生成装置,所述装置包括执行上述第一方面以及任意一种可能实现方式的方法的模块/单元;这些模块/单元可以通过硬件实现,也可以通过硬件执行相应的软件实现。
第四方面,本申请提供一种联合地图生成装置,所述装置包括执行上述第二方面以及任意一种可能实现方式的方法的模块/单元;这些模块/单元可以通过硬件实现,也可以通过硬件执行相应的软件实现。
第五方面,本申请实施例提供一种终端,包括:处理器,以及分别与所述处理器耦合的存储器和通信接口;所述通信接口,用于与其他设备进行通信;所述处理器,用于运行所述存储器内的指令或程序,通过所述通信接口执行如第一方面以及任意一种可能实现方式所述的方法。
第六方面,本申请实施例提供一种服务器,包括:处理器,以及分别与所述处理器耦合的存储器和通信接口;所述通信接口,用于与其他设备进行通信;所述处理器,用于运行所述存储器内的指令或程序,通过所述通信接口执行如第二方面以及任意一种可能实现方式所述的方法。
第七方面,本申请实施例提供一种车辆,所述车辆包括探测装置和如第五方面所述的终端;所述探测装置,用于测量所述车辆周围得到点云数据,以及所述车辆的位置信息。
第八方面,本申请实施例提供一种通信***,包括第五方面所述的终端和如第六方面所述的服务器。
第九方面,本申请实施例提供一种通信***,包括第五方面所述的终端和路侧单元;所述路侧单元,用于接收第一终端发送的第一本地地图,将所述第一本地地图发送给第二终端。
第十方面,本申请实施例中提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可读指令,当所述计算机可读指令在计算机上运行时,使得如第一方面、第二方面以及任一种可能实现方式所述的方法被执行。
第十一方面,本申请实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得如第一方面、第二方面以及任一种可能实现方式所述的方法被执行。
第十二方面,本申请还提供了一种芯片,所述芯片与存储器耦合,用于读取并执行所述存储器中存储的程序指令,以实现上述第一方面、第二方面以及任一种可能实现方式所述的方法。
上述第三方面至第十二方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面、第二方面中各种可能方案可以达到的技术效果说明,这里不再重复赘述。
附图说明
图1a和图1b为车辆盲区示意图;
图2为本申请实施例提供的同一车队的协同感知场景;
图3为适用于本申请实施例的应用场景示意图;
图4为本申请实施例提供的联合地图生成方法的流程示意图;
图5为本申请实施例提供的八叉树示意图;
图6为本申请实施例提供的柱状示意图;
图7为本申请实施例提供的一种应用场景示意图;
图8为本申请实施例提供的另一种应用场景示意图;
图9为本申请实施例提供的服务器执行联合地图生成方法的流程示意图;
图10为本申请实施例提供的又一种联合地图生成方法的流程示意图;
图11为本申请实施例提供的再一种联合地图生成方法的流程示意图;
图12为本申请实施例提供的一种联合地图生成装置结构示意图;
图13为本申请实施例提供的另一种联合地图生成装置结构示意图;
图14为本申请实施例提供的一种通信设备结构示意图。
具体实施方式
虽然目前很多车辆上已安装有雷达***、摄像头等用于对周围环境进行测量的装置,以实现自动驾驶或辅助驾驶,但单车测量能力有限,仍然存在较多盲区。例如,在图1a所示场景中,位于左侧的车辆1则能够检测到其前方障碍物的存在;但位于下方的车辆2则无法检测到路口右侧存在障碍物,若该车辆2在路口右转,或者,障碍物为向路口移动的物体或人,那么很有可能与车辆2发生碰撞。又例如,在图1b所示的场景中,车辆2能够检测到其前方障碍物的存在;但对于车辆1来说,由于其前方车辆1的遮挡,无法检测到障碍物的存在;若车辆2在识别到障碍物后进行紧急制动,车辆1由于没有检测到障碍物而没有采取制动措施,则容易发生追尾事故。
因此,实现多车感知协作是一种解决盲区的有效手段。然而,盲区虽然存在多车感知协作的方法,但在仍然存在各自缺陷,导致安全隐患仍然存在。
例如,当车辆A发现视野被车辆B遮挡时,则向车辆B发送请求,以请求获取车辆B的感知信息。该方法虽然能够扩展车辆A的视野,但扩展范围有限,仍然存在盲区问题。然而,在图1a所示的场景中,车辆1无法检测到障碍物是由于路口的特殊环境造成的,并不是车辆2的遮挡造成的,车辆2不会向车辆1发送请求,仍然无法检测到障碍物的存在。
又例如,在图2所示的同一车队的协同感知场景中,单车融合处理器对单车采集到的数据进行处理,得到障碍物列表或者2D占用栅格地图,并上传至多车融合处理器。其中障碍物列表是基于目标识别技术得到的语义信息,如障碍物类型、障碍物位置信息等,虽然数据量小传输时延低,但是障碍物识别依赖先验的训练数据,只能对已知对象进行识别且存在一定的漏检概率,因此数据完整性方面存在缺失。而2D占用栅格地图是一种对二维信息的表达方式,仍然存在信息缺失的问题。而且上述协同感知方法,仅适用于同一车辆的场景,对应公共交通场景中存在不同属于同一车队车辆的情况,由于车辆配置不同、车辆之间的距离无法保持车队的预设距离,则很难适用。
有鉴于此,本申请实施例提供一种联合地图生成方法,用于实现在多车共享感知数据,既保障低时延又保障共享感知数据的完整性,以提高行车效率及安全性。
图3示例性的提供了一种适用于本申请实施例的应用场景示意图。如图所示,图3中所示的部分或全部车辆设置有车载终端,用于执行本申请实施例中共享车辆感知数据、获取联合地图的操作。其中,车载终端可以是车载单元(on board unit,OBU),能够与路边架设的路侧单元(road side unit,RSU)进行通信;OBU可以将共享车辆感知数据发送给RSU,在一种可能的场景中,RSU可以将接收到的共享车辆感知数据发送给服务器,以使服务器生成联合地图;在另一种可能的场景中,RSU可以将接收到的共享车辆感知数据发送给设置在其他车辆上的OBU,以使其他车辆上的OBU获取更多的环境信息。或者,车载终端可以是其他终端设备,可以将共享车辆感知数据发送给基站(图中未示出),基站将共享车辆感知数据发送给服务器,以使服务器生成联合地图。部分可能没有设置车载终端,或者设置有仅能够接收联合地图、但没有共享车辆感知数据能力的终端,等等。
应当理解,图3仅为一个具体示例,本申请实施例所适用的场景,可以包括比图3更多或更少的设备。例如,应用场景中可以不包含有服务器,或者,可以不包含有RSU,或者,还可以包括调度设备,用于根据联合地图对各个车辆进行调度等。
如图4所示,本申请实施例提供的联合地图生成方法可以包括以下步骤:
步骤401、第一终端获取第一车辆测量得到的测量数据以及第一车辆的位置信息,其中,测量数据至少包括点云数据。
第一车辆上设置有第一终端,以及一种或多种传感器。
其中,传感器能够用于对第一车辆自身或第一车辆周围信息进行探测。在第一车辆上设置的一种或多种传感器中,至少存在一种传感器能够用于测量第一车辆的位置信息,例如GPS、INS等,可以用于采集第一车辆的位置信息(如经纬度信息)、位姿信息等;此外,至少存在一种传感器能够用于测量第一车辆周围的环境信息,得到三维空间的点云数据,例如激光雷达、红外雷达、摄像头、双目摄像头等。用于测量第一车辆位置信息和环境信息的传感器可以是不同的传感器,或者也可以是同一传感器。当然,传感器还可以采集其他数据,例如视频数据等。
第一终端用于对第一车辆上的传感器测量得到的数据进行处理、传输等操作,进一步的,第一终端还可以根据处理后的数据确定行车策略等,从而使得第一车辆或其他车辆能够根据第一车辆的测量数据进行自动驾驶或辅助驾驶。当三维空间的点云数据和位置信息通过不同的传感器测量得到时,那么上述步骤401中第一终端获取点云数据和获取位置信息的过程,可以是分别进行的。
步骤402、第一终端根据点云数据和位置信息生成第一本地地图,其中,第一本地地图包括三维空间的树状结构的栅格地图和障碍物列表。
顾名思义,本地地图即为根据本地采集到的数据生成的地图,为了与其他终端生成的地图相区别,本实施例中将第一终端生成的本地地图称为第一本地地图。
在上述步骤402中,第一终端根据获取到的三维空间的点云数据生成包含有三维空间的树状结构的栅格地图和障碍物列表的第一本地地图,既实现了数据压缩,避免较大的传输时延,又保障了共享数据的完整性,从而有助于提高行车效率和行车安全。
第一终端可以根据点云数据生成三维空间树状结构的栅格地图,通过树状数据结构实现了对点云数据的压缩,降低数据量,又能够较大程度保留三维空间中数据的完整性,从而降低传输时延,提高行车的安全性。
进一步的,第一终端在生成三维空间树状结构的栅格地图时,还可以结合第一车辆的位置信息。由于不同终端采集点云数据的三维坐标系可能有所不同,那么生成的三维空间的树状结构的栅格地图的坐标系也就不同,可以通过车辆的位置信息标记树状结构的栅格地图对应的位置,或者树状结构的栅格地图中每个节点的位置。例如,第一车辆的激光雷达***采集到的点云数据,可以是以第一车辆的激光发射装置为坐标原点,那么第一终端获取到的点云数据的坐标信息表示与第一车辆的激光发射装置的相对距离;第二车辆的激光雷达***采集到的点云数据,可以是以第二车辆的激光发射装置为坐标原点,那么第二车辆上的第二终端获取到的点云数据的坐标信息表示与第二车辆上激光发射装置的相对距离。那么第一终端生成的三维空间树状结构的栅格地图和第二终端生成的三维空间树状结构的栅格地图的坐标系也不同,故而无法直接进行融合,需要转换至相同坐标系下的数据才能够被融合。
生成障碍物列表时,第一终端还可以根据点云数据和/或其他测量数据(如视频数据等)进行目标识别,根据识别出的障碍物信息和第一车辆的位置信息生成障碍物列表,以增加共享数据的有效信息,帮助接收本地地图的设备更加快速识别障碍物。例如,该障碍物列表中可以包括识别出的障碍物标识、障碍物的类型以及障碍物的位置。其中,障碍物的类型可以指示该障碍物为车辆、行人、骑车的人、建筑物、围栏等;障碍物的位置可以为该障碍物的坐标,经纬度,上下左右顶点的位置等。
步骤403、第一终端将第一本地地图发送给服务器或路侧单元。
第一终端可以将生成的第一本地地图发送给服务器,如图7所示,以使服务器能够根据多个终端生成的本地地图生成联合地图,而根据多辆汽车测量数据生成的联合地图,有助于解决单车的盲区问题,从而实现安全性更高的自动驾驶或辅助驾驶。
第一终端还可以将生成的第一本地地图发送给路侧单元,如图8所示,以使路侧单元将第一本地地图发送给其他终端,使得其他终端能够根据自身生成的本地地图和接收到的第一本地地图生成联合地图。
在本申请实施例中的路侧单元,仅对接收到的本地地图进行转发,或者进行简单处理后转发,不用于生成联合地图。而在本申请实施例中的服务器,是具有生成联合地图能力的设备,即使其设置的位置、外部形状、内部配置与传统的路侧单元相似,但该设备在接收到多个终端发送的本地地图后,根据本地地图生成联合地图,那么在本申请实施例中仍将其称为服务器。
第一终端在发送第一本地地图之前,可以对第一本地图进行编码,将第一本地地图编码为码流以方便后续传输。相应的,服务器在接收到编码后的码流后,可以先对其进行解码,然后再对第一本地地图进行处理;而路侧单元在接收到编码后的码流后,可以对其进行解码及其他操作,然后进行转发,或者,也可以不解码进行转发。
在上述方法实施例中,第一终端根据第一车辆测量的点云数据、位置信息生成包含有三维空间树状结构的栅格地图和障碍物列表的第一本地地图,并将生成的第一本地地图共享给其他设备,以使其他设备能够根据第一本地地图获取到更多的环境信息,提高自动驾驶、辅助驾驶的安全性。此外,作为共享数据的本地地图,既包括三维空间树状结构的栅格地图,又包括障碍物列表,既保留了更多的三维空间数据,又包含有便于快速识别障碍物的障碍物列表,但数据量并不大,不会造成较大的传输延时。对于自动驾驶、辅助驾驶来说,传输时延较大意味着获取障碍物信息、路线信息等存在较大的滞后性,行车的安全风险也较高。因此,上述方案与传统的共享测量得到的原始数据相比,数据量得到了显著压缩,有效降低对V2X传输的带宽需求以及传输时延,有利于提高行车的安全性;与传统的仅共享障碍物列表相比,保留了更多的测量信息,能够避免由于物体识别精度、准确度有限而造成的漏检情况,也能够提高行车的安全性。由此可见,本申请实施例中,在保障传输时延的情况下共享了更多的环境测量信息,便于车辆行驶路线的规划与调度,提高了行车效率与行车安全性。
在一种可能的实现方式中,三维空间树状结构的栅格地图可以是八叉树形式表达的栅格地图,或者其他能够保留三维空间信息的树状结构数据。下面以第一终端生成八叉树形式表达的栅格地图为例进行说明。
第一终端可以先对点云数据进行体素化,即对点云数据进行下采样。例如,在获取的点云数据中创建一个三维体素栅格(体素栅格可以理解为若干微小的三维立方体的集合,每个三维立方体即为一个体素);然后在每个体素内,用体素中所有点(即点云数据中位于该体素内的点)的中心或重心来近似表示该体素中的点,这样该体素内所有点可以用一个中心点或重心点表示,对于所有体素处理后得到过滤后的点云。
在过滤后的点云数据中,可以将每个点作为八叉树中的一个叶节点,即八叉树中的每个叶节点表示一个体素;每个父节点包括8个子节点,8个子节点所表示的体积元素加在一起就等于父节点的体积,如图5所示。在一个具体示例中,假设一个体素的体积为1cm3,若该体素中包含有达到预设数量的原始点数据,则认为该体素为占用状态,否则认为是空闲状态;若一个父节点包含的8个叶节点中有X个为占用状态,8-X个空闲状态,则认为该父节点的体积为X;若一个父节点包含的8个子节点的体积分别为a、b、0、c、d、e、f、0,则该父节点的体积可以记为a+b+c+d+e+f。
由此可见,八叉树形式表达的栅格地图与原始点云数据相变,显著降低了数据量,但并没有损失点云数据在三维空间中的信息。因此,第一终端根据点云数据生成八叉树形式表达的栅格地图,既保证了数据的完整性,又便于后续传输。
为了进一步对数据量进行压缩,第一终端在生成三维空间的树状结构的栅格地图之后,即执行上述步骤402之后,还可以对树状结构的栅格地图进行剪枝。在一种可能的实现方式中,若数据中的第一节点的取值小于或等于第一阈值,则可以删除该第一节点,其中,第一节点为树状结构的栅格地图中的任一节点,第一阈值与第一节点相对应,不同节点对应的第一阈值可以相同也可以不同。例如,在图5所示的八叉树中,最下面一行中的节点对应一个体素,其体积为0~1cm3;从下往上数第二行中的节点对应八个体素,其体积为0~8cm3;以此类推,不同节点对应的取值范围可能不同。那么在设置第一阈值时,可以针对不同的节点设置不同的第一阈值。若第一节点的取值过小,小于等于第一阈值,那么可以认为该节点对应的体素中不含有障碍物,即使取值不为0,也较大可能是由于噪声、误差等原因产生的。因此,对于小于第一阈值的节点进行删除,可以进一步对树状结构的栅格地图进行压缩,进一步减少后续需要传输的数据,从而进一步降低了传输时延。
此外,若数据中的第一节点的取值大于或等于第二阈值,也可以删除该第一节点,其中,第一节点为树状结构的栅格地图中的任一节点,第二阈值与第一节点相对应,不同节点对应的第二阈值可以相同也可以不同。若第一节点的取值过大,接近该节点最大取值,那么可以认为第一节点中的各体素均为占用状态,则可以将第一节点记为最大取值,更新第一节点父节点的取值,并删除第一节点。虽然将第一节点记为最大取值可能会导致障碍物变形,但由于第一节点的取值已经很接近最大取值,因此障碍物变形程度并不大,在可接受的误差范围内,但能够实现对数据进一步压缩,进一步降低了传输时延。
可选的,第一终端在生成三维空间的树状结构的栅格地图时,即执行上述步骤402时,可以先将点云数据转换为柱状图像,然后根据柱状图像生成树状结构的栅格地图。生成柱状图像,就是将空间点云先在水平面XOY上进行体素划分,划分成一个一个的栅格,将每个栅格的垂直方向(即Z轴)上的体素合成一个柱子,如图6所示。然后仅保留柱子的最低点和对高点,即实现了将点云数据转换成柱状图像。在生成柱状图像后,再根据柱状图像中保留下来的体素生成树状结构的栅格地图。该实现方式能够进一步实现对数据的压缩,降低传输时延。
由于第一本地地图包括三维空间树状结构的栅格地图和障碍物列表两部分,第一终端在向服务器或路侧单元发送第一本地地图时,可以同时发送这两部分,也可以对这两部分进行分别发送。由于树状结构的栅格地图和障碍物列表的生成速率可能存在差异,若同时发送,可能需要第一终端在生成其中一项后,等待另一项的生成,再一同发送出去,那么发送出的第一本地地图完整性更高。若分别发送,第一终端生成障碍物列表后即可向服务器或路侧单元发送障碍物列表,而不必等待树状结构的栅格地图的生成,生成树状结构的栅格地图后即可向服务器或路侧单元发送树状结构的栅格地图,也不必等待障碍物列表的发送;这使得服务器或路侧单元能够尽快接收到部分第一本地地图的数据,能够先根据接收到的部分数据对其他车辆进行车辆调度,避免由于数据处理不及时而造成严重后果。
若树状结构的栅格地图和障碍物列表被分别发送,那么服务器在根据接收到的树状结构的栅格地图和障碍物列表生成联合地图时,需要确定树状结构的栅格地图与障碍物列表的对应关系。例如,第一终端根据第N帧点云数据生成了第N组树状结构的栅格地图和第N组障碍物列表,根据第N+1帧点云数据生成了第N+1组树状结构的栅格地图和第N+1组障碍物列表,服务器在生成联合地图时,需要根据第N组树状结构的栅格地图和第N组障碍物列表生成联合地图或更新联合地图,根据第N+1组树状结构的栅格地图和第N+1组障碍物列表更新联合地图。为了便于服务器识别树状结构的栅格地图与障碍物列表的对应关系,可以在树状结构的栅格地图中添加帧号标识,在障碍物列表中也添加帧号标识,且针对同一帧点云数据生成的树状结构的栅格地图中的第一帧号标识和障碍物列表中的第二帧号标识相同,以使服务器能够根据帧号标识确定树状结构的栅格地图与障碍物列表的对应关系,从而生成联合地图。
类似的,当第一终端将树状结构的栅格地图和障碍物列表分别发送给路侧单元,以使路侧单元将树状结构的栅格地图和障碍物列表发送给其他终端时,其他终端也可以根据树状结构的栅格地图中的帧号标识和障碍物列表中的帧号标识,确定树状结构的栅格地图与障碍物列表的对应关系,从而生成联合地图。
在第一终端将第一本地地图发送给路侧单元以使路侧单元将第一本地地图发送给其他终端的情况下,第一终端还可能会接收到路侧单元发送的第二本地地图,即设置于第二车辆的第二终端根据第二车辆探测的测量数据与第二车辆的位置信息生成的第二本地地图。第一终端接收第二本地地图,可以是在生成第一本地图之前,也可能是在生成第一本地地图之后。
第一终端在接收到第二本地地图,且生成第一本地地图之后,可以根据第一本地地图和第二本地地图生成范围较广的联合地图,或者,第一终端还可以根据接收到的第二本地地图,更新目前已有的联合地图,使得第一终端能够获取到周围更多的环境信息,有助于解决第一车辆的盲区问题,从而提高第一车辆的行车安全性。
第一终端生成的第一本地地图,是基于第一车辆的位置信息生成的;第二终端生成的第二本地地图,是基于第二车辆的位置信息生成的。然而,第一车辆的位置信息可能会存在一定程度的误差,第二车辆的位置信息也可能存在一定程度的误差,如果直接将第一本地地图与第二本地地图进行融合,则可能产生更大的误差。为了降低误差,一种可能的实现方式是,对第一本地地图和第二本地地图之间的定位误差进行补偿,然后再对第一本地地图和第二本地地图进行融合。例如,第一终端可以采用体素化的通用迭代最近点(Voxelized GICP)、NDP等配准算法消除定位误差。
可选的,第一终端可以将第一本地地图发送给与第一终端距离最近的路侧单元,路侧单元在接收到第一本地地图后,将其转发给与路侧单元距离在预设范围内的其他终端,以使其他终端能够根据第一本地地图生成联合地图,获取更多的环境信息。或者,也可以预先进行区域划分,第一终端将第一本地地图发送给其所在区域对应的路侧单元,路侧单元将第一本地地图转发给该区域内的其他终端。
在第一终端将第一本地地图发送给服务器以使服务器根据第一本地地图生成联合地图的情况下,服务器可以执行如图9所示的联合地图生成方法。如图9所示,服务器生成联合地图的过程可以包括以下步骤:
步骤901、服务器接收第一终端发送的第一本地地图。
其中,第一终端可以根据图4所示方法及其任一种实现方式中的方法向服务器发送第一本地地图。
步骤902、服务器接收第二终端发送的第二本地地图。
其中,第二终端为设置于第二车辆的终端,第二本地地图是第二终端根据第二车辆测量得到的测量数据(如点云数据、视频数据等)以及第二车辆的位置信息生成的,也可以包括第二树状结构的栅格地图和第二障碍物列表。第二终端生成第二本地地图的方式与第一终端类似,具体可以参照图4所示方法及其任一种实现方式中第一终端生成第一本地地图的方式。
步骤903、服务器根据第一本地地图和第二本地地图生成联合地图。
应当理解,图9所示的示例中以第一终端和第二终端进行举例,而在实际应用场景中,服务器可以为更多终端提供服务,那么服务器可以接收更多终端发送的本地地图,相应的,服务器则可以根据更多的本地地图生成联合地图,从而生成范围更加广泛的地图,甚至是全域地图。
如前所述,不同车辆之间可能会存在定位误差,那么不同终端生成的本地地图之间也会存在位置误差。服务器在生成联合地图时,可以先对不同地图之间的定位误差进行补偿,然后再将多个本地地图进行融合。例如,服务器也可以采用Voxelized GICP、NDP等配准算法消除定位误差。服务器可以根据配置算法消除不同树状结构的栅格地图之间的定位误差,还可以消除不同杂物列表之间的定位误差。
步骤904、服务器将联合地图的部分或全部发送给目标终端。
其中,目标终端可以是上述第一终端,也可以是上述第二终端,还是可以是其他终端。
可选的,服务器可以将生成的联合地图全部发送给目标终端。但全部联合地图往往数据量较大,会导致传输时延较高,且联合地图中的全部信息未必都是目标终端所需要的。因此,在一种可能的设计中,服务器可以确定目标终端所处区域,然后将联合地图中对该区域的地图发送给目标终端。具体的,可以预先进行区域划分,然后确定目标终端位于预先划分的哪个区域中;或者,也可以将距离目标终端预设距离内的区域,作为目标终端所处区域,例如,终端所在区域可以是以目标终端为原点、预设距离为半径的圆形区域,或者,也可以将目标终端行进方向的前方第一距离内、左右第二距离内、后方第三距离内的区域设置为目标终端的所在区域。
如前所述,终端可以将本地地图中的树状结构的栅格地图和联合障碍物列表同时发送给服务器,也可以将树状结构的栅格地图和联合障碍物列表分别发送给服务器。当终端将树状结构的栅格地图和联合障碍物列表分别发送给服务器时,树状结构的栅格地图和联合障碍物列表可以分别包含有对应的帧号标识;相应的,服务器可以根据帧号标识,确定树状结构的栅格地图与障碍物列表的对应关系,进而根据对应相同帧号的树状结构的栅格地图与障碍物列表生成、更新联合地图。
为了更加清楚理解本申请上述实施例,下面结合图10、图11进行举例说明。
在图10所示的实施例中,各终端将生成的本地地图发送给服务器,由服务器生成联合地图。具体可以包括如下步骤:
步骤1001a、第一终端获取第一车辆测量得到的点云数据以及第一车辆的位置信息。
步骤1001b、第一终端根据点云数据和位置信息生成第一本地地图。
上述第一本地地图包括第一树状结构的栅格地图和第一障碍物列表。
步骤1001c、第一终端将第一本地地图发送给服务器。
第一终端在执行上述步骤1001a至步骤1001c时,可以根据图4所示方法及其任一种实现方式中的方法实现。
步骤1002a、第二终端获取第二车辆测量得到的点云数据以及第二车辆的位置信息。
步骤1002b、第二终端根据点云数据和位置信息生成第二本地地图。
上述第二本地地图包括第二树状结构的栅格地图和第二障碍物列表。
步骤1002c、第二终端将第二本地地图发送给服务器。
第二终端在执行上述步骤1002a至步骤1002c时,可以根据图4所示方法及其任一种实现方式中的方法实现。
应当理解,第一终端执行步骤1001a至步骤1001c,与第二终端执行步骤1002a至步骤1002c的先后顺序,本申请实施例并不限定。
步骤1003、服务器对第一本地地图和第二本地地图之间的定位误差进行补偿。
例如,服务器可以采用Voxelized GICP、NDP等配准算法对定位误差进行补偿,从而提高地图的定位精度。
步骤1004、服务器根据补偿后的第一本地地图和第二本地地图生成联合地图。
应当理解,在步骤1003和步骤1004中仅以根据第一本地图和第二本地地图生成联合地图进行举例,实际应用中,服务器还可以接收更多终端发送的本地地图,从而根据更多的本地地图生成联合地图。
步骤1005a、服务器将联合地图中与第一终端所在区域对应的部分地图发送给第一终端。
可选的,若服务器生成联合地图后,发现第一终端(或第一车辆)已经不在服务器所服务的区域,也可以不向第一终端发送联合地图。
步骤1005b、服务器将联合地图中与第二终端所在区域对应的部分地图发送给第二终端。
可选的,若服务器生成联合地图后,发现第二终端(或第二车辆)已经不在服务器所服务的区域,也可以不向第二终端发送联合地图。
步骤1005c、服务器将联合地图中与第三终端所在区域对应的部分地图发送给第三终端。
其中,第三终端可以是向服务器发送过本地地图的终端,也可以是刚进入服务器所服务的区域内、还未向服务器发送过本地地图的终端,本申请实施例对此不做限定。
在图11所示的实施例中,各终端将生成的本地地图发送给路侧单元,以使路侧单元发送给其他终端,由每个终端根据自身生成的本地地图和其他终端生成的本地地图生成联合地图。在该实施例中,以第一终端、第二终端、第三终端均位于路侧单元的服务范围内为例,具体可以包括如下步骤:
步骤1101a至步骤1101b与前述实施例中的步骤1001a至步骤1001b类似,此处不再赘述。
步骤1101c、第一终端将第一本地地图发送给路侧单元。
步骤1102a至步骤1102b与前述实施例中的步骤1002a至步骤1002b类似,此处不再赘述。
步骤1102c、第二终端将第二本地地图发送给路侧单元。
应当理解,第一终端执行步骤1101a至步骤1101c,与第二终端执行步骤1102a至步骤1102c的先后顺序,本申请实施例并不限定。
步骤1103a、路侧单元将第一本地地图发送给第二终端和第三终端。
其中,第三终端可以是向路侧单元发送过本地地图的终端,也可以是刚进入路侧单元所服务的区域内、还未向路侧单元发送过本地地图的终端,本申请实施例对此不做限定。
路侧单元可以同时将第一本地地图发送给第二终端和第三终端,可以分先后进行发送。
步骤1103b、路侧单元将第二本地地图发送给第一终端和第三终端。
路侧单元可以同时将第二本地地图发送给第一终端和第三终端,可以分先后进行发送。
上述步骤1103a和步骤1103b的先后顺序,本申请实施例也不限定,路侧单元可以同时执行上述步骤1103a和步骤1103b,或者,也可以先执行步骤1103b再执行步骤1103a。
步骤1104a、第一终端对第一本地地图和第二本地地图之间的定位误差进行补偿。
例如,可以采用Voxelized GICP、NDP等配准算法对定位误差进行补偿,从而提高地图的定位精度。
步骤1104b、第二终端对第一本地地图和第二本地地图之间的定位误差进行补偿。
例如,可以采用Voxelized GICP、NDP等配准算法对定位误差进行补偿,从而提高地图的定位精度。
步骤1104c、第三终端对第一本地地图和第二本地地图之间的定位误差进行补偿。
例如,可以采用Voxelized GICP、NDP等配准算法对定位误差进行补偿,从而提高地图的定位精度。
步骤1105a、第一终端根据补偿后的第一本地地图和第二本地地图生成联合地图。
该实施例中仅以根据第一本地图和第二本地地图生成联合地图进行举例,实际应用中,第一终端还可以接收更多终端发送的本地地图,从而根据更多的本地地图生成联合地图。
步骤1105b、第二终端根据补偿后的第一本地地图和第二本地地图生成联合地图。
该实施例中仅以根据第一本地图和第二本地地图生成联合地图进行举例,实际应用中,第二终端还可以接收更多终端发送的本地地图,从而根据更多的本地地图生成联合地图,而第二终端接收到的其他终端发送的本地地图,可以与第一终端相同,也可以不同。
步骤1105c、第三终端根据补偿后的第一本地地图和第二本地地图生成联合地图。
该实施例中仅以根据第一本地图和第二本地地图生成联合地图进行举例,实际应用中,第三终端还可以接收更多终端发送的本地地图,从而根据更多的本地地图生成联合地图,而第三终端接收到的其他终端发送的本地地图,可以与第一终端、第二终端相同,也可以不同。
基于相同的技术构思,本申请实施例还提供一种联合地图生成装置。用于实现上述方法实施例中终端的功能。该装置可以包括执行上述方法实施例中任意一种可能的实现方式的模块/单元;这些模块/单元可以通过硬件实现,也可以通过硬件执行相应的软件实现。
示例性的,该装置可以如图12所示,包括:获取模块1201、生成模块1202、以及发送模块1203。
具体的,获取模块1201,用于获取第一车辆测量得到的测量数据以及所述第一车辆的位置信息,所述测量数据至少包括点云数据。
生成模块1202,用于根据所述点云数据和所述位置信息生成第一本地地图,所述第一本地地图包括三维空间的树状结构的栅格地图和障碍物列表。
发送模块1203,用于将所述第一本地地图发送给服务器或路侧单元。
此外,上述各个模块还可以用于支持前述任一实施例中终端(包括第一终端或第二终端)所执行的其它过程。有益效果可参考前面的描述,此处不再赘述。
基于相同的技术构思,本申请实施例还提供一种联合地图生成装置。用于实现上述方法实施例中服务器的功能。该装置可以包括执行上述方法实施例中任意一种可能的实现方式的模块/单元;这些模块/单元可以通过硬件实现,也可以通过硬件执行相应的软件实现。
示例性的,该装置可以如图13所示,包括:接收模块1301、生成模块1302、以及发送模块1303。
具体的,接收模块1301,用于接收设置于第一车辆的第一终端发送的第一本地地图,所述第一本地地图包括第一树状结构的栅格地图和第一障碍物列表;接收设置于第二车辆的第二终端发送的第二本地地图,所述第二本地地图包括第二树状结构的栅格地图和第二障碍物列表。
生成模块1302,用于根据所述第一本地地图和所述第二本地地图生成联合地图。
发送模块1303,用于将所述联合地图的部分或全部发送给目标终端,所述目标终端包括所述第一终端、所述第二终端或者其他终端。
此外,上述各个模块还可以用于支持前述任一实施例中服务器所执行的其它过程。有益效果可参考前面的描述,此处不再赘述。
本申请实施例还提供一种通信设备。该通信设备包括如图14所示的处理器1401,以及与处理器1401连接的存储器1402。进一步的,该通信设备还可以包括通信接口1403以及通信总线1404。
处理器1401可以是通用处理器,微处理器,特定集成电路(application specificintegrated circuit,ASIC),现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件,分立门或者晶体管逻辑器件,或一个或多个用于控制本申请方案程序执行的集成电路等。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器1402,用于存储程序指令和/或数据,以使处理器1401调用存储器1402中存储的指令和/或数据,实现处理器1401的上述功能。存储器1402可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器1402可以是独立存在,例如片外存储器,通过通信总线1404与处理器1401相连接。存储器1402也可以和处理器1401集成在一起。存储1402可以包括内存储器和外存储器(如硬盘等)。
通信接口1403,用于与其他设备通信,如PCI总线接口、网卡,无线接入网(radioaccess network,RAN),无线局域网(wireless local area networks,WLAN)等。
通信总线1404可包括一通路,用于在上述组件之间传送信息。
示例性的,该通信设备可以为上述方法实施例中的终端,也可以为上述方法实施例中的服务器。
当该通信设备为上述方法实施例中的终端时,处理器1401可以调用存储器1402中的指令执行以下步骤:
获取第一车辆测量得到的测量数据以及所述第一车辆的位置信息,所述测量数据至少包括点云数据;根据所述点云数据和所述位置信息生成第一本地地图,所述第一本地地图包括三维空间的树状结构的栅格地图和障碍物列表;通过通信接口将所述第一本地地图发送给服务器或路侧单元。
此外,上述各个模块还可以用于支持前述任一实施例中终端(包括第一终端或第二终端)所执行的其它过程。有益效果可参考前面的描述,此处不再赘述。
当该通信设备为上述方法实施例中的服务器时,处理器1401可以调用存储器1402中的指令执行以下步骤:
通过通信接口接收设置于第一车辆的第一终端发送的第一本地地图,所述第一本地地图包括第一树状结构的栅格地图和第一障碍物列表;接收设置于第二车辆的第二终端发送的第二本地地图,所述第二本地地图包括第二树状结构的栅格地图和第二障碍物列表;根据所述第一本地地图和所述第二本地地图生成联合地图;通过通信接口将所述联合地图的部分或全部发送给目标终端,所述目标终端包括所述第一终端、所述第二终端或者其他终端。
此外,上述各个模块还可以用于支持前述任一实施例中服务器所执行的其它过程。有益效果可参考前面的描述,此处不再赘述。
基于相同的技术构思,本申请实施例还提供一种车辆,所述车辆包括探测装置和上述实施例中的终端;所述探测装置,用于对所述车辆周围进探测得到点云数据。
基于相同的技术构思,本申请实施例还提供一种通信***,包括上述实施例中的终端和上述实施例中的服务器。
基于相同的技术构思,本申请实施例还提供一种通信***,包括上述实施例中的终端和路侧单元;所述路侧单元,用于接收第一终端发送的第一本地地图,将所述第一本地地图发送给第二终端。
基于相同的技术构思,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可读指令,当所述计算机可读指令在计算机上运行时,使得如前所述任一种可能的实现方式所述时钟状态同步的方法被执行。
本申请实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得上述方法实施例被执行。
本申请实施例的描述中,“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请中所涉及的多个,是指两个或两个以上。
另外,需要理解的是,在本申请的描述中,“第一”、“第二”、“第三”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序包括用于执行上述方法实施例的指令。
本申请实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法实施例。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (18)
1.一种联合地图生成方法,其特征在于,所述方法包括:
设置于第一车辆的第一终端,获取所述第一车辆测量得到的测量数据以及所述第一车辆的位置信息,所述测量数据至少包括点云数据;
所述第一终端根据所述点云数据和所述位置信息生成第一本地地图,所述第一本地地图包括树状结构的栅格地图和障碍物列表;
所述第一终端将所述第一本地地图发送给服务器或路侧单元。
2.根据权利要求1所述的方法,其特征在于,所述树状结构的栅格地图为八叉树形式表达的栅格地图。
3.根据权利要求1所述的方法,其特征在于,所述树状结构的栅格地图中包括第一帧号标识,所述障碍物列表中包括第二帧号标识,针对同一帧点云数据生成的树状结构的栅格地图中的第一帧号标识和障碍物列表中的第二帧号标识相同。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述第一终端根据所述点云数据和所述位置信息生成第一本地地图,包括:
所述第一终端根据所述点云数据生成树状结构的栅格地图;
若所述栅格地图中的第一节点的取值小于等于第一阈值,则在所述栅格地图中删除所述第一节点,所述第一节点为所述栅格地图中的任一节点,所述第一阈值为与所述第一节点对应的阈值;和/或,
若所述栅格地图中的第一节点的取值大于等于第二阈值,则在所述栅格地图中删除所述第一节点,所述第一节点为所述栅格地图中的任一节点,所述第二阈值为与所述第一节点对应的阈值。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述第一终端根据所述点云数据和所述位置信息生成第一本地地图,包括:所述第一终端根据所述点云数据生成柱状图像,根据所述柱状图像生成树状结构的栅格地图。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
所述第一终端接收所述服务器发送的联合地图,所述联合地图是所述服务器至少根据所述第一本地地图和设置于第二车辆的第二终端发送的第二本地地图生成的。
7.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
所述第一终端通过所述路侧单元接收第二本地地图,所述第二本地地图是设置于第二车辆的第二终端生成的;
所述第一终端根据所述第一本地地图和所述第二本地地图,生成联合地图。
8.一种联合地图生成方法,其特征在于,所述方法包括:
服务器接收设置于第一车辆的第一终端发送的第一本地地图,所述第一本地地图包括第一树状结构的栅格地图和第一障碍物列表;
所述服务器接收设置于第二车辆的第二终端发送的第二本地地图,所述第二本地地图包括第二树状结构的栅格地图和第二障碍物列表;
所述服务器根据所述第一本地地图和所述第二本地地图生成联合地图;
所述服务器将所述联合地图的部分或全部发送给目标终端,所述目标终端包括所述第一终端、所述第二终端或者其他终端。
9.根据权利要求8所述的方法,其特征在于,所述树状结构的栅格地图为八叉树形式表达的栅格地图。
10.根据权利要求8或9所述的方法,其特征在于,所述服务器根据所述第一本地地图和所述第二本地地图生成联合地图,包括:
所述服务器根据所述第一树状结构的栅格地图和所述第二树状结构的栅格地图生成联合树状结构的栅格地图;
所述服务器根据所述第一障碍物列表和所述第二障碍物列表生成联合障碍物列表。
11.根据权利要求10所述的方法,其特征在于,所述树状结构的栅格地图中包括第一帧号标识,所述障碍物列表中包括第二帧号标识,针对同一帧点云数据生成的树状结构的栅格地图中的第一帧号标识和障碍物列表中的第二帧号标识相同。
12.根据权利要求8-11任一项所述的方法,其特征在于,所述服务器将所述联合地图的部分发送给目标终端,包括:
所述服务器确定目标终端所处区域,将所述联合地图中所述区域的地图发送给所述目标终端。
13.一种终端,其特征在于,所述终端包括:处理器,以及分别与所述处理器耦合的存储器和通信接口;所述通信接口,用于与其他设备进行通信;所述处理器,用于运行所述存储器内的指令或程序,通过所述通信接口执行如权利要求1-7任一项所述的方法。
14.一种服务器,其特征在于,所述终端包括:处理器,以及分别与所述处理器耦合的存储器和通信接口;所述通信接口,用于与其他设备进行通信;所述处理器,用于运行所述存储器内的指令或程序,通过所述通信接口执行如权利要求8-12任一项所述的方法。
15.一种车辆,其特征在于,所述车辆包括探测装置和如权利要求13所述的终端;
所述探测装置,用于测量所述车辆周围得到点云数据,以及所述车辆的位置信息。
16.一种通信***,其特征在于,包括如权利要求13所述的终端和如权利要求14所述的服务器。
17.一种通信***,其特征在于,包括如权利要求13所述的终端和路侧单元;
所述路侧单元,用于接收第一终端发送的第一本地地图,将所述第一本地地图发送给第二终端。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得所述计算机执行如权利要求1-12任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210912465.9A CN117516559A (zh) | 2022-07-30 | 2022-07-30 | 一种联合地图生成方法、终端、服务器及通信*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210912465.9A CN117516559A (zh) | 2022-07-30 | 2022-07-30 | 一种联合地图生成方法、终端、服务器及通信*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117516559A true CN117516559A (zh) | 2024-02-06 |
Family
ID=89755512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210912465.9A Pending CN117516559A (zh) | 2022-07-30 | 2022-07-30 | 一种联合地图生成方法、终端、服务器及通信*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117516559A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117782064A (zh) * | 2024-02-26 | 2024-03-29 | 西北工业大学 | 一种低带宽的多机器人协同探索地图融合方法 |
-
2022
- 2022-07-30 CN CN202210912465.9A patent/CN117516559A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117782064A (zh) * | 2024-02-26 | 2024-03-29 | 西北工业大学 | 一种低带宽的多机器人协同探索地图融合方法 |
CN117782064B (zh) * | 2024-02-26 | 2024-05-24 | 西北工业大学 | 一种低带宽的多机器人协同探索地图融合方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111102986B (zh) | 用于运载工具导航的尺寸缩小的地图的自动生成以及时空定位 | |
US10365650B2 (en) | Methods and systems for moving object velocity determination | |
CN111664854B (zh) | 物***置指示器***和方法 | |
US11915099B2 (en) | Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data | |
CN111160561B (zh) | 使用支柱进行对象检测的深度学习 | |
KR101534056B1 (ko) | 교통 신호 맵핑 및 검출 | |
CN113196291A (zh) | 自动选择用于注释的数据样本 | |
CN112703423A (zh) | 合并来自多个LiDAR装置的数据 | |
CN110741223A (zh) | 信息处理装置、信息处理方法以及程序 | |
US20220122363A1 (en) | IDENTIFYING OBJECTS USING LiDAR | |
US11887324B2 (en) | Cross-modality active learning for object detection | |
US20220185324A1 (en) | Merging LiDAR Information and Camera Information | |
US10878701B2 (en) | Detection of attacks on vehicle networks | |
US20210373173A1 (en) | Identifying background features using lidar | |
CN111741447A (zh) | 车辆对车辆通信控制 | |
US20220396281A1 (en) | Platform for perception system development for automated driving system | |
EP4020111A1 (en) | Vehicle localisation | |
CN117516559A (zh) | 一种联合地图生成方法、终端、服务器及通信*** | |
US10791534B1 (en) | Synchronizing sensing systems | |
WO2023178069A1 (en) | Instance segmentation in a pseudo-image | |
US20210302991A1 (en) | Method and system for generating an enhanced field of view for an autonomous ground vehicle | |
EP4266261A1 (en) | 3d road surface estimation for automated driving systems | |
US20230242099A1 (en) | Method for Vehicle Driving Assistance within Delimited Area | |
US20240127603A1 (en) | Unified framework and tooling for lane boundary annotation | |
US20220374734A1 (en) | Multi-target tracking with dependent likelihood structures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |