CN113515536B - 地图的更新方法、装置、设备、服务器以及存储介质 - Google Patents
地图的更新方法、装置、设备、服务器以及存储介质 Download PDFInfo
- Publication number
- CN113515536B CN113515536B CN202110792157.2A CN202110792157A CN113515536B CN 113515536 B CN113515536 B CN 113515536B CN 202110792157 A CN202110792157 A CN 202110792157A CN 113515536 B CN113515536 B CN 113515536B
- Authority
- CN
- China
- Prior art keywords
- image
- data
- video data
- map
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3859—Differential updating map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
- G01C21/3896—Transmission of map data from central databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开实施例提供了地图的更新方法、装置、设备、服务器以及存储介质,涉及人工智能领域,尤其涉及自主泊车领域。具体实现方案为:智能车辆获取其自车的车辆传感器在目标路段采集的行驶数据,该行驶数据至少包括与目标路段的环境相关的第一视频数据,并确定第一视频数据中每个第一图像帧对应的至少一个图像特征,该图像特征至少包括与目标路段的环境相关的图像局部特征,再根据第一视频数据中每个第一图像帧对应的至少一个图像特征,对目标路段对应的地图数据进行更新。本公开实现了自动更新地图,丰富了地图数据,提高了地图的可靠性。
Description
技术领域
本公开涉及人工智能中的自主泊车领域,尤其涉及一种地图的更新方法、装置、设备、服务器以及存储介质。
背景技术
当具有自动驾驶功能的车辆进行自主泊车时,车辆根据提前构建的停车场的地图数据实时计算车辆的位姿,进而控制自车驶入或者驶出停车位。然而,随着时间的推移或光照的变化停车场的环境会发生变化,导致提前构建的停车场的地图数据的可靠性下降,此种情况下,若仍根据该地图数据进行自主泊车,将使车辆难以完成泊车操作,并为行车安全带来较大的隐患。
发明内容
本公开实施例提供了一种用于地图更新的方法、装置、设备以及存储介质。
根据本公开的第一方面,提供了一种地图的更新方法,应用于智能车辆或智能车辆连接的控制设备,该智能车辆设置有车辆传感器,包括:获取该车辆传感器在目标路段采集的行驶数据,该行驶数据至少包括与该目标路段的环境相关的第一视频数据;确定该第一视频数据中每个第一图像帧对应的至少一个图像特征,该图像特征至少包括与该目标路段的环境相关的图像局部特征;根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,对该目标路段对应的地图数据进行更新。
根据本公开的第二方面,提供了一种地图的更新方法,应用于第一服务器,包括:获取智能车辆在目标路段采集的行驶数据,该行驶数据至少包括第一视频数据;确定该第一视频数据中每个第一图像帧对应的至少一个图像特征,该图像特征至少包括图像局部特征;根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,对该目标路段对应的地图数据进行更新。
根据本公开的第三方面,提供了一种地图更新装置,包括:获取单元,用于获取该车辆传感器在目标路段采集的行驶数据,该行驶数据至少包括与该目标路段的环境相关的第一视频数据;第一特征提取单元,用于确定该第一视频数据中每个第一图像帧对应的至少一个图像特征,该图像特征至少包括与该目标路段的环境相关的图像局部特征;更新单元,用于根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,对该目标路段对应的地图数据进行更新。
根据本公开的第四方面,提供了一种地图更新装置,包括:获取单元,用于获取智能车辆在目标路段采集的行驶数据,该行驶数据至少包括第一视频数据;第一特征提取单元,用于确定该第一视频数据中每个第一图像帧对应的至少一个图像特征,该图像特征至少包括图像局部特征;更新单元,用于根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,对该目标路段对应的地图数据进行更新。
根据本公开的第五方面,提供了一种电子设备,包括:至少一个处理器;以及与该至少一个处理器通信连接的存储器;其中,该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行第一方面提供的方法。
根据本公开的第六方面,提供了一种服务器,包括:至少一个处理器;以及与该至少一个处理器通信连接的存储器;其中,该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行第二方面提供的方法。
根据本公开的第七方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,该计算机指令用于使该计算机执行根据第一方面提供的方法。
根据本公开的第八方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,该计算机指令用于使该计算机执行根据第二方面提供的方法。
根据本公开的第九方面,提供了一种计算机程序产品,该计算机程序产品包括:计算机程序,该计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从该可读存储介质读取该计算机程序,该至少一个处理器执行该计算机程序使得电子设备执行第一方面该的方法。
根据本公开的第十方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行第二方面所述的方法。
根据本公开的技术实现了自动更新地图,丰富了地图数据,提高了地图的可靠性。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1为本公开实施例提供的一种地图更新***100的结构示意图;
图2为本公开实施例提供的一种地图的更新方法200的流程示意图;
图3为本公开实施例提供的另一种地图的更新方法的流程示意图;
图4为本公开实施例提供的另一种地图的更新方法的流程示意图;
图5为本公开实施例提供的另一种地图的更新方法的流程示意图;
图6为本公开实施例提供的另一种地图的更新方法的流程示意图;
图7为本公开实施例提供的另一种地图的更新方法的流程示意图;
图8为本公开实施例提供的另一种地图的更新方法的流程示意图;
图9为本公开实施例提供的另一种地图的更新方法的流程示意图;
图10为本公开实施例提供的另一种地图的更新方法的流程示意图;
图11为本公开实施例提供的另一种地图的更新方法的流程示意图;
图12为本公开实施例提供的一种地图的更新方法300的交互流程示意图;
图13为本公开实施例提供的一种地图的更新方法400的交互流程示意图;
图14为本公开实施例提供的另一种地图的更新方法的交互流程示意图;
图15为本公开实施例提供的另一种地图的更新方法的交互流程示意图;
图16为本公开实施例提供的一种地图的更新方法500的交互流程示意图;
图17为本公开实施例提供的一种地图更新装置600的示意性框图;
图18为本公开实施例提供的另一种地图更新装置的示意性框图;
图19为本公开实施例提供的一种地图更新装置700的示意性框图;
图20为本公开实施例提供的另一种地图更新装置的示意性框图;
图21示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图;
图22示出了可以用来实施本公开的实施例的示例服务器900的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开实施例提供的地图的更新方法可以应用于任一需要进行自动更新地图的领域中,尤其适用于智能车辆自主泊车领域。
本公开的执行主体可以是智能车辆,该智能车辆可以是具有自动驾驶功能的车辆。本公开实施例提供的智能车辆能够利用多种传感器、地图数据库、全球定位***(Global Positioning System,GPS)等,实现车辆的自动驾驶。本公开对于智能车辆的外形不做限制,即任一具有自动驾驶功能的可移动设备也属于本公开的保护范围。
本公开的执行主体或者可以是智能车辆连接的电子设备,本公开中提到的智能车辆相关的执行方法均可以由智能车辆所连接的电子设备执行。该电子设备可以是部署于智能车辆中的控制单元,或者可以是任意与智能车辆连接的可与智能车辆进行信息交互的终端,例如手机、电脑、平板等。为了便于描述,下文中出现的智能车辆均可以指智能车辆本身或智能车辆连接的电子设备。
在一些实施例中,本公开的执行主体可以包括上述智能车辆和服务器,当执行主体为智能车辆和服务器时,智能车辆与服务器通过有限或者无线的方式连接并进行交互。
因智能车辆往往能够提供更加便捷的驾乘体验,而受到越来越多的青睐。当智能车辆需要进行自主泊车时,智能车辆需要实时计算自车的位姿,并根据位姿和提前构建的停车场的地图数据,控制自车驶入或者驶出停车位。然而,停车场的环境会随着时间发生缓慢的变化,例如停车场周边的树木在冬季仅有枝干、在春季开花长叶,再例如白天的光线强、晚上的光线弱,或者停车场的环境也会随着光照发生变化,例如晴天的光照好、阴天的光照差等。在停车场的环境容易发生变化的情况下,已构建的地图数据因数据量较少无法覆盖多种场景的特征,而导致地图数据的可靠性较低,进而导致车辆难以完成泊车操作,并为行车安全带来较大的隐患。
针对上述技术问题,本公开实施例提供一种地图的更新方法,通过智能车辆的车辆传感器采集与环境相关的视频数据,并提取视频数据中各图像帧的图像局部特征,基于各图像帧的图像局部特征对地图数据进行更新。实现了自动更新地图,丰富了地图数据,提高了地图的可靠性。
需要说明的是,本公开所提供的地图的更新方法并不仅限于在更新停车场的地图数据时使用,该方法同样也适用于对任一公路、乡村道路、赛车场等的地图数据进行更新。
图1为本公开实施例提供的一种地图更新***100的结构示意图。本公开实施例可应用于如图1所示的地图更新***100,该***100至少包括智能车辆110。
该智能车辆110部署有各种车辆传感器。其中,车辆传感器至少包括图像传感器111,本公开实施例中对图像传感器111的数量不做限制,在有多个图像传感器111时,本公开实施例为了便于描述,通过第一、第二以及各种数字编号对不同的图像传感器111进行区分。
在一些实施例中,车辆传感器还包括轮速传感器、惯性传感器、档位传感器等中的任意一种或多种。
在一些实施例中,***100还包括服务端120。服务端120与智能车辆110通过有线或者无线的方式连接。
服务端120可以是服务器或者服务器集群。在一些实施例中,服务端120中的服务器可以是云服务器,也称作云端服务器。
在一些实施例中,服务端120可以包括云存储服务器集群和云计算服务器集群。
其中,云计算服务器集群用于提供云计算服务,云计算(cloud computing)作为一种计算模式,将计算任务分布在大量计算机构成的资源池上,使各种应用***能够根据需要获取计算力、存储空间和信息服务。
云存储服务器集群用于提供云存储服务,云存储(cloud storage)是在云计算概念上延伸和发展出来的,将网络中大量不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储***。本公开实施例中的云存储服务器集群可以是云端对象存储服务器集群。
本公开实施例为了便于描述,通过第一、第二以及各种数字编号对不同的服务器或服务器集群进行区分。
下面通过具体实施例详述本申请的技术方案。
图2为本公开实施例提供的一种地图的更新方法200的流程示意图。本公开实施例的执行主体可以是上述实施例中的智能车辆110。如图2所示,该方法200包括:
S210:获取该车辆传感器在目标路段采集的行驶数据,该行驶数据至少包括与所述目标路段的环境相关的第一视频数据;
S220:确定该第一视频数据中每个第一图像帧对应的至少一个图像特征,该图像特征至少包括与所述目标路段的环境相关的图像局部特征;
S230:根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,对该目标路段对应的地图数据进行更新。
本公开实施例中的目标路段为已构建过地图的路段,例如,可以是停车场内的任意一个或多个路段。可以理解的是,本公开实施例中地图更新的对象即为目标路段对应的地图数据。
针对S210,需要说明的是:
当智能车辆行驶经过目标路段时,可以通过车辆传感器进行数据采集,得到行驶数据。本公开实施例中,行驶数据至少包括第一视频数据,也即车辆传感器至少包括图像传感器。应理解,图像传感器可以是安装于智能车辆的摄像头,用于采集目标路段的环境的图像和/或视频。
针对S220,需要说明的是:
第一视频数据中包括多个图像帧。其中,第一图像帧可以是组成第一视频数据的全部图像帧,或者第一图像帧可以是组成第一视频数据的全部图像帧中的一部分。当第一图像帧是组成第一视频数据的全部图像帧中的一部分时,每个第一图像帧可以是第一视频数据的全部图像帧中具有相同间隔的图像帧,例如将第一视频数据的全部图像帧中的第1、10、20、30……图像帧设定为第一图像帧。
在S220中,智能车辆可以从每个第一图像帧中提取图像特征,得到每个第一图像帧对应的至少一个图像特征。
本公开实施例中,图像特征至少包括图像局部特征。作为一种示例,智能车辆针对第一视频数据中的每个第一图像帧,对所述第一图像帧进行尺度不变特征变换(Scale-invariant feature transform,SIFT),得到第一图像帧对应的至少一个图像局部特征,该图像局部特征也可以称作SIFT特征;作为另一种示例,智能车辆可以将第一视频数据或者第一视频数据中的每个第一图像帧输入预先训练得到的特征提取模型,并得到该特征提取模型输出的图像局部特征,例如超点(SuperPoint),其中,特征提取模型为基于深度学习模型训练得到的。
在一些实施例中,智能车辆还可以从每个第一图像帧中提取至少一个图像语义特征。为了便于理解,以自主泊车场景为例,该图像语义特征可以是车道线、停车位线、车道行车方向标识、空闲停车位指示灯等。
针对S230,说明如下:
示例性的,智能车辆将第一视频数据中每个第一图像帧对应的至少一个图像特征,更新至地图数据中;或者,智能车辆根据第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否更新地图数据,并在确定更新地图数据的情况下,根据每个第一图像帧对应的至少一个图像特征对地图数据进行更新。
本公开实施例中,地图数据可以是基于视觉点云特征的地图数据。示例性的,该地图数据包括多个地图点,每个地图点可以是以下两种类型中的一类地图点:1、基于图像局部特征点进行三维重建,得到的三维点云中的地图点,该地图点包括三维坐标和视觉特征描述符,例如SIFT特征,SuperPoint特征;2、基于语义特征进行三维重建得到的地图点,该地图点包括三维坐标。
本公开实施例提供一种地图的更新方法,应用于人工智能领域中的自动驾驶、自主泊车等领域,通过车辆传感器采集目标路段的行驶数据,并确定行驶数据中与目标路段的环境相关的第一视频数据中每个第一图像帧对应的至少一个图像特征,再基于每个第一图像帧对应的与目标路段的环境相关的至少一个图像特征对目标路段对应的地图数据进行更新,实现了自动更新地图,丰富了地图数据,提高了地图的可靠性。
在一些实施例中,第一视频数据为智能车辆的车辆传感器中的第一图像传感器采集的车辆前方的视频数据,即第一视频数据中的每个第一图像帧均为智能车辆的前视图像。可选的,第一图像传感器可以安装于智能车辆的前方。
在一些实施例中,行驶数据中还包括第二视频数据。此种情况下,智能车辆可以基于第一视频数据中的每个第一图像帧,进行特征提取,得到每个第一图像帧对应的至少一个图像局部特征,并基于m个第二视频数据(m大于或等于1)和/或第一视频数据,进行语义识别,得到每个第一图像帧对应的至少一个图像语义特征。
在智能车辆基于m个第二视频数据和/或第一视频数据,进行语义识别的过程中,可以确定m个第二视频数据中分别与第一视频数据中的每个第一图像帧对应的m个第二图像帧。示例性的,在m等于1的情况下,智能车辆对m个第二图像帧进行语义识别,得到至少一个图像语义特征,在m大于1的情况下,智能车辆对m个第二图像帧进行图像拼接,再对拼接后的图像进行语义识别,得到至少一个图像语义特征。针对m大于1的情况,本申请实施例结合如下图3所示为例进行说明。
需要说明的是,第二视频数据与第一视频数据为不同视觉角度的视频数据。
下面以图3所示为例进行说明。
图3为本公开实施例提供的另一种地图的更新方法的流程示意图。如图3所示,在图2所示实施例的基础上,该方法还包括:
S241:针对该第一视频数据中的每个第一图像帧,确定该m个第二视频数据中分别与该第一图像帧对应的m个第二图像帧;
S242:将该第一图像帧和该m个第二图像帧进行图像拼接,得到该第一图像帧对应的环视图像;
S243:对该环视图像进行语义识别,得到至少一个图像语义特征。
需要说明的是,本实施例对于S241至S243与上述S220的执行顺序不做要求。一般来说,S241至S243应在上述S230之前执行。
示例性的,第二视频数据为智能车辆的第二图像传感器采集的车辆前方、侧方或者后方的视频数据,即第二视频数据中的每个第二图像帧为智能车辆的侧视图像或后视图像。可选的,车辆传感器包括至少一个第二图像传感器,每个第二图像传感器可以对车辆前方、侧方或后方的图像进行采集,每个第二图像传感器可以采集得到一个第二视频数据,在一些实施例中,智能车辆的前侧、两侧和后侧可以分别安装一个第二图像传感器。
可选的,至少一个第二传感器均可以是鱼眼相机,用于采集车身周围的俯视图像。
在S241中,需要说明的是,第一图像帧和m个第二视频数据中每个第二视频数据的一个第二图像帧应在时域上具有对应关系,例如,第一图像帧和第二视频数据中的某一第二图像帧具有相同的时钟,即第一图像帧与第二视频数据中该第二图像帧是同一时间采集到的,则第一图像帧和该第二图像帧具有对应关系。
在S242中,智能车辆将m个第二图像帧进行图像拼接,得到第一图像帧对应的环视图像。
在S243中,智能车辆可基于任一语义识别算法对上述环视图像进行语义识别,得到第一图像帧对应的至少一个图像的语义特征。
本实施例中,智能车辆根据第一视频数据中的第一图像帧和m个第二视频数据中每个第二视频数据与第一图像帧对应的第二图像帧,确定至少一个图像语义特征,结合每个第一图像帧对应的至少一个图像语义特征和至少一个图像局部特征,对目标路段的地图数据进行更新,能够得到更加丰富的地图数据,使得地图数据更加可靠。
在一些实施例中,为了能够减少***开销,智能车辆在对地图数据进行更新之前,可以先评估是否需要进行地图更新。本实施例可以结合于上述图2或图3所示的任一实施例中,下面以结合于图2所示实施例进行说明,参见图4。
图4为本公开实施例提供的另一种地图的更新方法的流程示意图。如图4所示,该方法还包括:
S231:根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对该目标路段对应的地图数据进行更新;
S232:在确定对地图数据更新的情况下,根据该第一视频数据中每个第一图像帧对应的至少一个图像特征和/或所述行驶数据,对该地图数据进行更新。
示例性的,上述S231中的每个第一图像帧对应的至少一个图像特征可以是图像局部特征、或者图像语义特征、或者即包括图像局部特征也包括图像语义特征。
针对S231,示例性的,智能车辆可以根据第一视频数据中每个第一图像帧对应的至少一个图像特征与地图数据的匹配结果,确定是否对地图数据进行更新;或者智能车辆可以根据第一视频数据中每个第一图像帧对应的至少一个图像特征组成的图像特征的总量,确定是否对地图数据进行更新。
针对S231,示例性的,智能车辆可以结合行驶数据中的与位置相关的运行数据,和每个第一图像帧对应的至少一个图像帧,对地图数据进行更新。例如,可以参考如下图6所示的实现方式。
针对S231,示例性的,智能车辆在确定对地图数据更新的情况下,可以你行驶数据发送至服务器,使服务器基于行驶数据对地图数据进行更新,并接收服务器发送的更新后的地图数据。
示例性的,若智能车辆确定不对地图数据进行更新,可以将采集得到的行驶数据丢弃。
在图4所示实施例的基础上,作为一种可能的实现方式,下面图5所示实施例对于如何根据第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对目标路段对应的地图数据进行更新,给出示例性的说明。
图5为本公开实施例提供的另一种地图的更新方法的流程示意图。如图5所示,上述S231包括:
S2311:针对第一视频数据中每个第一图像帧,将第一图像帧对应的至少一个图像特征与地图数据中的地图点进行匹配,得到匹配成功的地图点的数量;
S2312:根据第一视频数据中每个第一图像帧对应的匹配成功的地图点的数量,确定是否对地图数据进行更新。
示例性的,在S2311中,智能车辆针对每个第一图像帧对应的至少一个图像特征中的每个图像特征,根据该图像特征的类型与地图数据中对应类型的地图点进行匹配,例如,图像局部特征与地图数据中基于图像局部特征点进行三维重建,得到的三维点云中的地图点进行匹配,图像语义特征与基于语义特征进行三维重建得到的地图点进行匹配。
示例性的,在S2312中,智能车辆可以根据第一视频数据中每个第一图像帧对应的匹配成功的地图点的数量,得到第一视频数据对应的匹配成功的地图点的总数量,在总数量小于第一数值时,确定对地图数据进行更新;或者智能车辆可以确定第一视频数据中是否存在一个图像帧对应的匹配成功的地图点的数量小于第二数值,在小于第二数值时,确定对地图数据进行更新。
图6为本公开实施例提供的另一种地图的更新方法的流程示意图。如图6所示,上述S2311包括:
S2311-1:根据该行驶数据中的与位置相关的运行数据和位置信息,确定该第一视频数据中每个第一图像帧对应的智能车辆的位姿信息;
S2311-2:根据该位姿信息,将该第一图像帧对应的至少一个图像特征与该地图数据中的地图点进行匹配,得到匹配成功的地图点的数量。
可选的,该运行数据包括:轮速、加速度、角速度和档位中的至少一种。
示例性的,轮速可以是智能车辆的轮速传感器采集的、加速度和角速度可以是智能车辆的惯性传感器采集的,档位可以是智能车辆的档位传感器采集的。
示例性的,在S2311-1中,智能车辆可以根据上述运行数据中的至少一种,确定自身的位姿信息,例如智能车辆根据位置信息、加速度和角速度,确定自身的位姿信息。
在一些实施例中,可以结合GPS***获取的智能车辆的位置信息确定智能车辆的位姿信息。
需要说明的是,每个第一图像帧对应一个智能车辆的位姿信息,智能车辆在同一位姿下可以对应存在一个或者多个第一图像帧,例如,智能车辆在行驶速度小于第一图像帧的采集频率时,智能车辆的同一位姿可以对应多个第一图像帧,智能车辆在行驶速度大于或等于第一图像帧的采集频率时,智能车辆的同一位姿仅对应一个第一图像帧。
智能车辆根据自身的位姿关系能够确定第一图像帧与地图数据的相对运动关系,进而可将至少一个图像特征与地图数据中的地图点进行匹配。
本实施例提供的地图更新方法可基于上述图5或图6所示实施例实现,下面以基于图5为例进行说明,参见图7。
图7为本公开实施例提供的另一种地图的更新方法的流程示意图。如图7所示,上述S2312包括:
S2312-1:根据智能车辆的位置信息,确定该第一视频数据中每个第一图像帧在该地图数据中对应的坐标位置;
S2312-2:若存在连续的坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,则对该地图数据进行更新;
S2312-3:若不存在连续的坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,则不对该地图数据进行更新。
需要说明的是,连续的坐标位置组成的距离长度大于或等于预设距离。
示例性的,智能车辆根据其位置信息,确定每个第一图像帧在地图数据中对应的坐标位置,或者智能车辆结合位置信息和行驶数据中的与位置相关的运行参数,确定第一图像帧在地图数据中对应的坐标位置。
根据每个第一图像帧在地图数据中对应的坐标位置,判断是否存在连续的坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,换言之,判断是否存在长度大于或等于m的一段距离内,每个坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,m为匹配阈值。
本实施例中,智能车辆对每个第一图像帧对应的至少一个图像特征与地图数据中的地图点进行匹配,得到匹配成功的地图点的数量,进而根据匹配成功的地图点的数量,确定是否对地图数据进行更新,避免在提取到的图像特征与地图数据中的地图点匹配度较高,即地图数据对于当前环境来说可靠性较高时,仍对地图数据进行更新,降低了功耗。
为了确保用于进行地图更新的数据具有较高的数据质量,以使更新后的地图数据具有较高的可靠性。本实施例在上述任一实施例的基础上,在确定车辆传感器采集的行驶数据的满足要求后,再进行地图更新。参见图8。
图8为本公开实施例提供的另一种地图的更新方法的流程示意图。如图8所示,在图4所示实施例的基础上,该方法包括:
S233:确定该行驶数据是否为该车辆传感器连续采集的数据;
在该行驶数据为该车辆传感器连续采集的数据的情况下,执行上述任一实施例中的S231:根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对该目标路段对应的地图数据进行更新。
示例性的,智能车辆可以确定该行驶数据是否存在超过预设时长的中断,换言之,是否存在预设时长的一段数据的丢失,若存在,则该行驶数据不为车辆传感器连续采集的数据,若不存在,则该行驶数据为车辆传感器连续采集的数据。
示例性的,在行驶数据为该车辆传感器连续采集的数据的情况下,继续对目标路段对应的地图数据进行更新,例如可以执行S231;或者S233可以在S231的过程中执行,例如根据第一视频数据中每个第一图像帧对应的至少一个图像特征,确定对该目标路段对应的地图数据进行更新,则执行S233。
在上述任一实施例的基础上,图9为本公开实施例提供的另一种地图的更新方法的流程示意图。如图9所示,上述任一实施例中的S232包括:
S2321:将该第一视频数据中每个第一图像帧对应的至少一个图像特征,与该地图数据中的地图点进行匹配;
S2322:将匹配失败的至少一个图像特征更新至该地图数据。
本实施例中的S2321与上述任一实施例中的S2311类似。区别仅在于,S2311中通过将第一视频数据中每个第一图像帧对应的至少一个图像特征,与该地图数据中的地图点进行匹配,确定了匹配成功的地图点的数量,而S2321通过匹配需要确定匹配失败的至少一个图像特征。
上述S2322将匹配失败的至少一个图像特征更新至地图数据,达到了丰富地图数据的效果。
在一些实施例中,智能车辆可以在非自动驾驶模式下行驶,例如人工驾驶模式。应理解,智能车辆在自动驾驶模式下,智能车辆按照预设的行驶路线进行行驶,因此,容易确定智能车辆行驶至已构建地图数据的目标路段,便于获取智能车辆在目标路段的行驶数据;然而,智能车辆在非自动驾驶模式下,智能车辆可以按照任意的行驶路线进行行驶,那么需要对于智能车辆是否行驶到了已构建地图数据的路段进行确定,以及确定智能车辆行驶到了哪个或哪些已构建地图数据的路段,以及确定行驶至已构建地图数据的路段的行驶起始时间和行驶结束时间。对此,本申请实施例提出如下图10所述的实现方式。
图10为本公开实施例提供的另一种地图的更新方法的流程示意图。
如图10所示,上述任一实施例中的S210包括:
S211:获取与该智能车辆在目标区域内的行驶路径匹配的至少一个第一路段;
S212:根据该车辆传感器已采集的缓存数据,确定该智能车辆在该至少一个第一路段中的行驶起始时间和行驶结束时间;
S213:根据该行驶起始时间和该行驶结束时间,从该缓存数据获取该车辆传感器在该目标路段采集的行驶数据;该目标路段为该智能车辆在该行驶起始时间至该行驶结束时间内,在该至少一个第一路段中行驶经过的路段。
需要说明的是,目标区域中包括至少一个已构建地图数据的路段。例如,目标区域可以是停车场区域,该停车场区域内的已构建地图数据的路段,可以是任一包含停车位的路段。
示例性的,当智能车辆行驶至目标区域时,智能车辆开始基于自车的行驶路径和目标区域内的至少一个已构建地图数据的路段,进行匹配,将匹配成功的路段作为第一路段。
一般来说,智能车辆在得到匹配的至少一个第一路段时,智能车辆已在第一路段行驶了一段距离,为了保留匹配成功之前的行驶数据,智能车辆可持续对历史的预设时间段内的行驶数据进行临时缓存,并在匹配成功之后将车辆传感器采集的数据存放在数据缓存池,该临时缓存和数据缓存池中的数据即为车辆传感器已采集的缓存数据。进而,智能车辆可以根据该缓存数据确定智能车辆在至少一个第一路段中的行驶起始时间和行驶结束时间。
智能车辆基于行驶起始时间和行驶结束时间,即可从缓存数据中获取车辆传感器在目标路段采集的行驶数据。
在图10所示实施例的基础上,图11为本公开实施例提供的另一种地图的更新方法的流程示意图。如图11所示,图10所示实施例中的S212可以包括以下至少部分过程:
S2121:根据该车辆传感器已采集的缓存数据,确定第一起始时间、第二起始时间、第三起始时间中的至少一项;该第一起始时间为该智能车辆最后一次停车档位的结束时间,该第二起始时间为该智能车辆行驶至该至少一个第一路段的起始时间,该第三起始时间为该智能车辆静止时长超过第一预设值的静止结束时间;
S2122:将该第一起始时间、该第二起始时间、该第三起始时间中最晚的时间确定为该行驶起始时间。
S2123:根据该智能车辆已采集的缓存数据,确定第一结束时间、第二结束时间、第三结束时间中的至少一项;该第一结束时间为该智能车辆在该行驶起始时间之后第一次停车档位的开始时间,该第二结束时间为该智能车辆在该行驶起始时间之后静止时长超过第二预设值的静止起始时间,该第三结束时间为该智能车辆在该行驶起始时间之后行驶出该目标区域的时间;
S2124:将该第一结束时间、该第二结束时间、该第三结束时间中最早的时间确定为该行驶结束时间。
示例性的,智能车辆可根据车辆传感器已采集的缓存数据中的轮速、角速度、加速度中的至少一个进行融合递推,确定第二起始时间。
上述图2至图11所示的任一实施例中,执行主体均为智能车辆。下面图12至图16所示实施例将以智能车辆和服务器为执行主体,对本公开实施例进行说明。
需要说明的是,与智能车辆进行交互的服务器可以是第一服务器,或者可以是第二服务器和第一服务器。示例性的,第一服务器用于提供云计算服务,第二服务器用于提供云存储服务,在不与第二服务器进行交互的方案中,可以由智能车辆或者第一服务器进行数据的存储。
在图12至图15所示实施例中,执行主体可以为上述智能车辆110和第一服务器,该第一服务器可以是上述服务器端120的提供计算服务的服务器。
图12为本公开实施例提供的一种地图的更新方法300的交互流程示意图。如图12所示,该方法300包括:
S310:智能车辆将该行驶数据发送至第一服务器,该行驶数据至少包括第一视频数据。
相应的,第一服务器接收智能车辆发送的在目标路段采集的行驶数据,该行驶数据至少包括至少第一视频数据。
S320:第一服务器确定该第一视频数据中每个第一图像帧对应的至少一个图像特征,该图像特征至少包括图像局部特征。
S330:第一服务器根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,对该目标路段对应的地图数据进行更新。
S340:第一服务器将更新后的地图数据发送至该智能车辆。
相应的,智能车辆从该服务器接收基于该行驶数据更新后的地图数据。
其中,S320和S330分别与上述实施例中的S220和S230类似,此处不再赘述。
图13为本公开实施例提供的一种地图的更新方法400的交互流程示意图。如图13所示,该方法400包括:
S410:智能车辆将该行驶数据中的m个第二视频数据替换为该第一视频数据中每个第一图像帧对应的至少一个图像语义特征。
S420:智能车辆将新的行驶数据发送至服务器,该行驶数据至少包括第一视频数据;
S430:第一服务器确定该第一视频数据中每个第一图像帧对应的至少一个图像特征,该图像特征至少包括图像局部特征。
S440:第一服务器根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,对该目标路段对应的地图数据进行更新。
S450:第一服务器将更新后的地图数据发送至该智能车辆。
相应的,智能车辆从该服务器获取基于该行驶数据更新后的地图数据。其中,该第二视频数据为该智能车辆的第二图像传感器采集的车辆前方、侧方或者后方的视频数据。
需要说明的是,智能车辆将行驶数据中的m个第二视频数据均替换为第一视频数据中每个第一图像帧对应的至少一个图像语义特征,使得第一服务器不需要再基于第一视频数据和第二视频数据确定至少一个图像语义特征,提高了处理效率。
在一些实施例中,智能车辆可以将行驶数据中的第一视频数据替换为第一视频数据的每个第一图像帧对应的至少一个图像局部特征。
一般来说,图像局部特征的数据量较大,因此为了提高传输效率,可以将第一视频数据直接发送至第一服务器,由第一服务器基于第一视频数据提取图像局部特征。
其中,S420至S450与上述S310至S340类似,此处不再赘述。
下面结合图14所示实施例对第一服务器如何根据第一视频数据中每个第一图像帧对应的地图数据进行更新进行说明,本实施例可以基于上述图12或图13实现,图14仅以基于图12为例进行说明。
图14为本公开实施例提供的另一种地图的更新方法的交互流程示意图。如图14所示,在图12所示实施例的基础上,上述S330包括:
S331:第一服务器根据该行驶数据中的与位置相关的运行数据,确定该智能车辆的位姿信息;
S332:第一服务器根据该位姿信息,将该第一视频数据中每个第一图像帧对应的至少一个图像特征与该地图数据中的地图点进行匹配,将匹配失败的至少一个图像特征更新至该地图数据。
上述S331和S332与上述实施例中的S2311-1和S2311-2类似,此处不再赘述。
在图12至图14任一实施例的基础上,本实施例需要结合第二视频数据得到每个第一图像帧对应的至少一个图像语义特征。
在第一服务器基于m个第二视频数据和/或第一视频数据,进行语义识别的过程中,可以确定m个第二视频数据中分别与第一视频数据中的每个第一图像帧对应的m个第二图像帧。示例性的,在m等于1的情况下,智能车辆对m个第二图像帧进行语义识别,得到至少一个图像语义特征,在m大于1的情况下,智能车辆对m个第二图像帧进行图像拼接,再对拼接后的图像进行语义识别,得到至少一个图像语义特征。针对m大于1的情况,本申请实施例结合如下图15所示为例进行说明。
图15为本公开实施例提供的另一种地图的更新方法的交互流程示意图。如图15所示,在图12所示实施例的基础上,该方法还包括:
S321:第一服务器针对该第一视频数据中的每个第一图像帧,确定该m个第二视频数据中分别与该第一图像帧对应的m个第二图像帧;
S322:第一服务器将m个第二图像帧进行图像拼接,得到该第一图像帧对应的环视图像;
S323:第一服务器对该环视图像进行语义识别,得到至少一个图像语义特征。
其中,第二视频数据与第一视频数据为不同视觉角度的视频数据。例如,第一视频数据是采集的车辆前方的平视角度的视频数据,第二视频数据可以是车辆前方、侧方或后方的俯视角度的视频数据。
本实施例中的S321至S323与上述实施例中的S241至S243类似,此处不再赘述。
在一些实施例中,第一服务器确定该第一视频数据中每个第一图像帧对应的至少一个图像特征,包括:第一服务器针对该第一视频数据中的每个第一图像帧,对该第一图像帧进行SIFT,得到该第一图像帧对应的至少一个图像局部特征。
在一些实施例中,第一视频数据为该智能车辆的第一图像传感器采集的车辆前方的视频数据。
在一些实施例中,第二视频数据为该智能车辆的第二图像传感器采集的车辆前方、侧方或者后方的视频数据。
在一些实施例中,该行驶数据还包括该第一视频数据中每个第一图像帧对应的至少一个图像语义特征。
在一些实施例中,该获取智能车辆在目标路段采集的行驶数据,包括:接收该智能车辆发送的该行驶数据;或者,
从第二服务器读取该智能车辆上传的该该行驶数据,该第二服务器用于存储地图数据。
在图16所示实施例中,执行主体可以为上述智能车辆110、第一服务器和第二服务器,该第一服务器和第二服务器可以是上述服务器端120的服务器。
图16为本公开实施例提供的一种地图的更新方法500的交互流程示意图。如图16所示,该方法500包括:
S510:智能车辆将该行驶数据发送至第二服务器,该行驶数据至少包括第一视频数据。
相应的,第二服务器接收智能车辆发送的在目标路段采集的行驶数据,该行驶数据至少包括至少第一视频数据。
S520:第二服务器根据所述行驶数据,生成地图更新任务,并将所述地图更新任务添加至任务队列。
S530:第一服务器从所述第二服务器的任务队列读取地图更新任务;
S540:响应于所述地图更新任务,从所述第二服务器读取来自所述智能车辆的所述行驶数据。
S550:第一服务器确定该第一视频数据中每个第一图像帧对应的至少一个图像特征,该图像特征至少包括图像局部特征。
S560:第一服务器根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,对该目标路段对应的地图数据进行更新。
S570:第一服务器将更新后的地图数据发送至第二服务器。
S580:智能车辆从第二服务器读取更新后的地图数据。
示例性的,第一服务器可以按照预设的周期确定第二服务器中的任务队列是否为空,在不为空的情况下,从任务队列中读取地图更新任务,并根据读取到的地图更新任务,从第二服务器中读取来自智能车辆的行驶数据。
示例性的,第一服务器根据读取到的地图更新任务可以从第二服务器读取对应的智能车辆的n组行驶数据,n≥1,应理解,该n组行驶数据可以是该智能车辆n次经过目标路段后上传至第二服务器的行驶数据。
示例性的,第一服务器针对n组行驶数据中的每组行驶数据,可以按照上述任一实施例中的地图更新过程进行地图更新。
在本实施例的基础上,可以结合上述实施例中的相关过程以实现地图数据的更新,例如,在S510之前智能车辆还可以将所述行驶数据中的m个第二视频数据替换为所述第一视频数据中每个第一图像帧对应的至少一个图像语义特征,将新的行驶数据发送至第二服务器;再例如,第一服务器还可以执行上述S331和S332,和/或S321至S323中的过程。为了描述的简洁性,此处不再赘述。
上文结合图2至图16,详细描述了本申请的方法实施例,下文结合图17至图20,详细描述本申请的装置实施例,应理解,装置实施例与方法实施例相互对应,类似的描述可以参照方法实施例。
图17为本公开实施例提供的一种地图更新装置600的示意性框图。
如图17所示,该地图更新装置600包括:
获取单元610,用于获取该车辆传感器在目标路段采集的行驶数据,该行驶数据至少包括与该目标路段的环境相关的第一视频数据;
第一特征提取单元620,用于确定该第一视频数据中每个第一图像帧对应的至少一个图像特征,该图像特征至少包括与该目标路段的环境相关的图像局部特征;
更新单元630,用于根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,对该目标路段对应的地图数据进行更新。
在图17所示实施例的基础上,图18为本公开实施例提供的另一种地图更新装置的示意性框图。下面结合图18所示,对装置600进行说明:
在一些实施例中,更新单元630包括:
更新判断模块631,用于根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对该目标路段对应的地图数据进行更新;
更新处理模块632,用于在确定对地图数据更新的情况下,根据该第一视频数据中每个第一图像帧对应的至少一个图像特征和/或该行驶数据,对该地图数据进行更新。
在一些实施例中,该更新判断模块631包括:匹配子模块6311,用于针对该第一视频数据中每个第一图像帧,将该第一图像帧对应的至少一个图像特征与该地图数据中的地图点进行匹配,得到匹配成功的地图点的数量;第一判断子模块6312,用于根据该第一视频数据中每个第一图像帧对应的匹配成功的地图点的数量,确定是否对该地图数据进行更新。
在一些实施例中,该匹配子模块6311具体用于:根据该行驶数据中的与位置相关的运行数据和位置信息,确定该第一视频数据中每个第一图像帧对应的智能车辆的位姿信息;根据该位姿信息,将该第一图像帧对应的至少一个图像特征与该地图数据中的地图点进行匹配,得到匹配成功的地图点的数量。
在一些实施例中,该第一判断子模块6312具体用于:根据该智能车辆的位置信息,确定该第一视频数据中每个第一图像帧在该地图数据中对应的坐标位置;若存在连续的坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,则对该地图数据进行更新;若不存在连续的坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,则不对该地图数据进行更新;其中,该连续的坐标位置组成的距离长度大于或等于预设距离。
在一些实施例中,装置600还包括:第二特征提取单元640;该第二特征提取单元640用于:针对该第一视频数据中的每个第一图像帧,确定该m个第二视频数据中分别与该第一图像帧对应的m个第二图像帧,m为正整数;对该m个第二图像帧进行语义识别,得到该第一图像帧对应的至少一个图像语义特征。
在一些实施例中,第二特征提取单元640具体用于:在m大于1的情况下,将该第一图像帧和该m个第二图像帧进行图像拼接,得到该第一图像帧对应的环视图像;对该环视图像进行语义识别,得到至少一个图像语义特征;其中,该第二视频数据与该第一视频数据为不同视觉角度的视频数据。
在一些实施例中,该第一特征提取单元620具体用于:针对该第一视频数据中的每个第一图像帧,对该第一图像帧进行尺度不变特征变换SIFT,得到该第一图像帧对应的至少一个图像局部特征。
在一些实施例中,该第一视频数据为该智能车辆的第一图像传感器采集的车辆前方的视频数据。
在一些实施例中,该第二视频数据为该智能车辆的第二图像传感器采集的车辆前方、侧方或者后方的视频数据。
在一些实施例中,该运行数据包括:轮速、加速度、角速度和档位中的至少一种。
在一些实施例中,该更新判断模块631,包括:第二判断子模块6313;该第二判断子模块6313用于:确定该行驶数据是否为该车辆传感器连续采集的数据;在该行驶数据为该车辆传感器连续采集的数据的情况下,根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对该目标路段对应的地图数据进行更新。
在一些实施例中,该更新处理模块632具体用于:将该行驶数据发送至服务器;从该服务器获取基于该行驶数据更新后的地图数据;
或者,将该行驶数据中的m个第二视频数据替换为该第一视频数据中每个第一图像帧对应的至少一个图像语义特征,将新的行驶数据发送至服务器;从该服务器获取基于该行驶数据更新后的地图数据;其中,该第二视频数据为该智能车辆的第二图像传感器采集的车辆前方、侧方或者后方的视频数据;或者,将该第一视频数据中每个第一图像帧对应的至少一个图像特征,与该地图数据中的地图点进行匹配;将匹配失败的至少一个图像特征更新至该地图数据。
在一些实施例中,该获取单元610包括:路段获取模块611,用于获取与该智能车辆在目标区域内的行驶路径匹配的至少一个第一路段;时间获取模块612,用于根据该车辆传感器已采集的缓存数据,确定该智能车辆在该至少一个第一路段中的行驶起始时间和行驶结束时间;
行驶数据获取模块613,用于根据该行驶起始时间和该行驶结束时间,从该缓存数据获取该车辆传感器在该目标路段采集的行驶数据;该目标路段为该智能车辆在该行驶起始时间至该行驶结束时间内,在该至少一个第一路段中行驶经过的路段。
在一些实施例中,该时间获取模块612包括第一时间获取子模块6121;该第一时间获取子模块6121用于:根据该车辆传感器已采集的缓存数据,确定第一起始时间、第二起始时间、第三起始时间中的至少一项;该第一起始时间为该智能车辆最后一次停车档位的结束时间,该第二起始时间为该智能车辆行驶至该至少一个第一路段的起始时间,该第三起始时间为该智能车辆静止时长超过第一预设值的静止结束时间;将该第一起始时间、该第二起始时间、该第三起始时间中最晚的时间确定为该行驶起始时间。
在一些实施例中,该时间获取模块612包括第二时间获取子模块6122;该第二时间获取子模块6122用于:根据该智能车辆已采集的缓存数据,确定第一结束时间、第二结束时间、第三结束时间中的至少一项;该第一结束时间为该智能车辆在该行驶起始时间之后第一次停车档位的开始时间,该第二结束时间为该智能车辆在该行驶起始时间之后静止时长超过第二预设值的静止起始时间,该第三结束时间为该智能车辆在该行驶起始时间之后行驶出该目标区域的时间;将该第一结束时间、该第二结束时间、该第三结束时间中最早的时间确定为该行驶结束时间。
上述图17和图18实施例提供的装置,可以执行上述方法实施例智能车辆侧的技术方案,其实现原理和技术效果类似,此处不再赘述。
图19为本公开实施例提供的一种地图更新装置700的示意性框图。
如图19所示,该地图更新装置700包括:
获取单元710,用于获取智能车辆在目标路段采集的行驶数据,该行驶数据至少包括第一视频数据;
第一特征提取单元720,用于确定该第一视频数据中每个第一图像帧对应的至少一个图像特征,该图像特征至少包括图像局部特征;
更新单元730,用于根据该第一视频数据中每个第一图像帧对应的至少一个图像特征,对该目标路段对应的地图数据进行更新。
在图19所示实施例的基础上,图20为本公开实施例提供的另一种地图更新装置的示意性框图。下面结合图20所示,对装置700进行说明:
在一些实施例中,该更新单元730包括:第一更新处理模块731,用于根据该行驶数据中的与位置相关的运行数据,确定该第一视频数据中每个第一图像帧对应的智能车辆的位姿信息;第二更新处理模块732,用于根据该位姿信息,将该第一视频数据中每个第一图像帧对应的至少一个图像特征与该地图数据中的地图点进行匹配,将匹配失败的至少一个图像特征更新至该地图数据。
在一些实施例中,装置700还包括:第二特征提取单元740;该第二特征提取单元740用于:针对该第一视频数据中的每个第一图像帧,确定该m个第二视频数据中分别与该第一图像帧对应的m个第二图像帧,m为正整数;对该m个第二图像帧进行语义识别,得到该第一图像帧对应的至少一个图像语义特征。
在一些实施例中,第二特征提取单元740具体用于:在m大于1的情况下,将该第一图像帧和该m个第二图像帧进行图像拼接,得到该第一图像帧对应的环视图像;对该环视图像进行语义识别,得到至少一个图像语义特征;其中,该第二视频数据与该第一视频数据为不同视觉角度的视频数据。
在一些实施例中,该第一特征提取单元720具体用于:针对该第一视频数据中的每个第一图像帧,对该第一图像帧进行SIFT,得到该第一图像帧对应的至少一个图像局部特征。
在一些实施例中,该第一视频数据为该智能车辆的第一图像传感器采集的车辆前方的视频数据。
在一些实施例中,该第二视频数据为该智能车辆的第二图像传感器采集的车辆前方、侧方或者后方的视频数据。
在一些实施例中,该行驶数据还包括该第一视频数据中每个第一图像帧对应的至少一个图像语义特征。
在一些实施例中,装置700还包括:发送单元750,用于将更新后的地图数据发送至该智能车辆或第二服务器,该第二服务器用于存储地图数据。
在一些实施例中,该获取单元710具体用于:接收该智能车辆发送的该行驶数据;或者,从第二服务器读取该智能车辆上传的该行驶数据,该第二服务器用于存储地图数据。
在一些实施例中,该获取单元710具体用于:从该第二服务器的任务队列读取地图更新任务;响应于该地图更新任务,从该第二服务器读取来自该智能车辆的该行驶数据。
上述图19和图20实施例提供的装置,可以执行上述方法实施例服务器侧的技术方案,其实现原理和技术效果类似,此处不再赘述。
根据本公开的实施例,本公开还提供了一种电子设备、一种服务器、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,本公开还提供了一种计算机程序产品,计算机程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图21示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。电子设备还可以表示一种具有自动驾驶功能的车辆,例如智能车辆。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图21所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文各实施例所描述的地图的更新方法。例如,在一些实施例中,地图的更新方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的地图的更新方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行地图的更新方法。
图22示出了可以用来实施本公开的实施例的示例服务器900的示意性框图。如图22所示的服务器900包括处理器910,处理器910可以从存储器中调用并运行计算机程序,以实现本申请实施例中的方法。
可选地,如图22所示,服务器900还可以包括存储器920。其中,处理器910可以从存储器920中调用并运行计算机程序,以实现本申请实施例中的方法。
其中,存储器920可以是独立于处理器910的一个单独的器件,也可以集成在处理器910中。
可选地,如图22所示,服务器900还可以包括收发器930,处理器910可以控制该收发器930与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。
其中,收发器930可以包括发射机和接收机。收发器930还可以进一步包括天线,天线的数量可以为一个或多个。
可选地,该服务器900可以实现本申请实施例的各个方法中服务器对应的相应流程,为了简洁,在此不再赘述。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式***的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (55)
1.一种地图的更新方法,应用于智能车辆或与智能车辆连接的电子设备,所述智能车辆设置有车辆传感器,包括:
获取所述车辆传感器在目标路段采集的行驶数据,所述行驶数据至少包括与所述目标路段的环境相关的第一视频数据;
确定所述第一视频数据中每个第一图像帧对应的至少一个图像特征,所述图像特征至少包括与所述目标路段的环境相关的图像局部特征;其中,所述第一视频数据中每个第一图像帧包括所述第一视频数据中的多个图像帧;
根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对所述目标路段对应的地图数据进行更新;
在确定对地图数据更新的情况下,根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征和/或所述行驶数据,对所述地图数据进行更新;
所述根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对所述目标路段对应的地图数据进行更新,包括:
针对所述第一视频数据中每个第一图像帧,将所述第一图像帧对应的至少一个图像特征与所述地图数据中的地图点进行匹配,得到匹配成功的地图点的数量;
根据所述智能车辆的位置信息,确定所述第一视频数据中每个第一图像帧在所述地图数据中对应的坐标位置;
若存在连续的坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,则对所述地图数据进行更新;
若不存在连续的坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,则不对所述地图数据进行更新;
其中,所述连续的坐标位置组成的距离长度大于或等于预设距离。
2.根据权利要求1所述的方法,所述确定所述第一视频数据中每个第一图像帧对应的至少一个图像特征,包括:针对所述第一视频数据中的每个第一图像帧,对所述第一图像帧进行尺度不变特征变换SIFT,得到所述第一图像帧对应的至少一个图像局部特征。
3.根据权利要求1所述的方法,其中,所述将所述第一图像帧对应的至少一个图像特征与所述地图数据中的地图点进行匹配,得到匹配成功的地图点的数量,包括:
根据所述行驶数据中的与位置相关的运行数据和位置信息,确定所述第一视频数据中每个第一图像帧对应的智能车辆的位姿信息;
根据所述位姿信息,将所述第一图像帧对应的至少一个图像特征与所述地图数据中的地图点进行匹配,得到匹配成功的地图点的数量。
4.根据权利要求1至3任一项所述的方法,其中,所述行驶数据还包括m个第二视频数据,m为正整数,所述第二视频数据与所述第一视频数据为不同视觉角度的视频数据;所述方法还包括:
针对所述第一视频数据中的每个第一图像帧,确定所述m个第二视频数据中分别与所述第一图像帧对应的m个第二图像帧;
对所述m个第二图像帧进行语义识别,得到所述第一图像帧对应的至少一个图像语义特征。
5.根据权利要求4所述的方法,其特征在于,在m大于1的情况下,所述对所述m个第二图像帧进行语义识别,得到所述第一图像帧对应的至少一个图像语义特征,包括:
将所述m个第二图像帧进行图像拼接,得到所述第一图像帧对应的环视图像;
对所述环视图像进行语义识别,得到至少一个图像语义特征。
6.根据权利要求1至3任一项所述的方法,其中,所述第一视频数据为所述智能车辆的第一图像传感器采集的车辆前方的视频数据。
7.根据权利要求4所述的方法,其中,所述第二视频数据为所述智能车辆的第二图像传感器采集的车辆前方、侧方或者后方的视频数据。
8.根据权利要求3所述的方法,其中,所述运行数据包括:轮速、加速度、角速度和档位中的至少一种。
9.根据权利要求1至3任一项所述的方法,其中,所述根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对所述目标路段对应的地图数据进行更新,包括:
确定所述行驶数据是否为所述车辆传感器连续采集的数据;
在所述行驶数据为所述车辆传感器连续采集的数据的情况下,根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对所述目标路段对应的地图数据进行更新。
10.根据权利要求1至3任一项所述的方法,其中,所述根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征和/或所述行驶数据,对所述地图数据进行更新,包括:
将所述行驶数据发送至服务器;从所述服务器获取基于所述行驶数据更新后的地图数据;
或者,
将所述行驶数据中的m个第二视频数据替换为所述第一视频数据中每个第一图像帧对应的至少一个图像语义特征,将新的行驶数据发送至服务器;从所述服务器获取基于所述行驶数据更新后的地图数据;其中,所述第二视频数据为所述智能车辆的第二图像传感器采集的车辆前方、侧方或者后方的视频数据;
或者,
将所述第一视频数据中每个第一图像帧对应的至少一个图像特征,与所述地图数据中的地图点进行匹配;将匹配失败的至少一个图像特征更新至所述地图数据。
11.根据权利要求1至3任一项所述的方法,其中,所述获取所述车辆传感器在目标路段采集的行驶数据,包括:
获取与所述智能车辆在目标区域内的行驶路径匹配的至少一个第一路段;
根据所述车辆传感器已采集的缓存数据,确定所述智能车辆在所述至少一个第一路段中的行驶起始时间和行驶结束时间;
根据所述行驶起始时间和所述行驶结束时间,从所述缓存数据获取所述车辆传感器在所述目标路段采集的行驶数据;所述目标路段为所述智能车辆在所述行驶起始时间至所述行驶结束时间内,在所述至少一个第一路段中行驶经过的路段。
12.根据权利要求11所述的方法,其中,所述根据所述车辆传感器已采集的缓存数据,确定所述智能车辆在所述至少一个第一路段中的行驶起始时间,包括:
根据所述车辆传感器已采集的缓存数据,确定第一起始时间、第二起始时间、第三起始时间中的至少一项;所述第一起始时间为所述智能车辆最后一次停车档位的结束时间,所述第二起始时间为所述智能车辆行驶至所述至少一个第一路段的起始时间,所述第三起始时间为所述智能车辆静止时长超过第一预设值的静止结束时间;
将所述第一起始时间、所述第二起始时间、所述第三起始时间中最晚的时间确定为所述行驶起始时间。
13.根据权利要求11所述的方法,其中,所述根据所述车辆传感器已采集的缓存数据,确定所述智能车辆在所述至少一个第一路段中的行驶结束时间,包括:
根据所述智能车辆已采集的缓存数据,确定第一结束时间、第二结束时间、第三结束时间中的至少一项;所述第一结束时间为所述智能车辆在所述行驶起始时间之后第一次停车档位的开始时间,所述第二结束时间为所述智能车辆在所述行驶起始时间之后静止时长超过第二预设值的静止起始时间,所述第三结束时间为所述智能车辆在所述行驶起始时间之后行驶出所述目标区域的时间;
将所述第一结束时间、所述第二结束时间、所述第三结束时间中最早的时间确定为所述行驶结束时间。
14.一种地图的更新方法,应用于第一服务器,包括:
获取智能车辆在目标路段采集的行驶数据,所述行驶数据至少包括第一视频数据;
确定所述第一视频数据中每个第一图像帧对应的至少一个图像特征,所述图像特征至少包括图像局部特征;其中,所述第一视频数据中每个第一图像帧包括所述第一视频数据中的多个图像帧;
根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对所述目标路段对应的地图数据进行更新;
在确定对地图数据更新的情况下,根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征和/或所述行驶数据,对所述地图数据进行更新;
所述根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对所述目标路段对应的地图数据进行更新,包括:
针对所述第一视频数据中每个第一图像帧,将所述第一图像帧对应的至少一个图像特征与所述地图数据中的地图点进行匹配,得到匹配成功的地图点的数量;
根据所述智能车辆的位置信息,确定所述第一视频数据中每个第一图像帧在所述地图数据中对应的坐标位置;
若存在连续的坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,则对所述地图数据进行更新;
若不存在连续的坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,则不对所述地图数据进行更新;
其中,所述连续的坐标位置组成的距离长度大于或等于预设距离。
15.根据权利要求14所述的方法,所述确定所述第一视频数据中每个第一图像帧对应的至少一个图像特征,包括:
针对所述第一视频数据中的每个第一图像帧,对所述第一图像帧进行尺度不变特征变换SIFT,得到所述第一图像帧对应的至少一个图像局部特征。
16.根据权利要求14所述的方法,其中,所述根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征,对所述目标路段对应的地图数据进行更新,包括:
根据所述行驶数据中的与位置相关的运行数据,确定所述第一视频数据中每个第一图像帧对应的智能车辆的位姿信息;
根据所述位姿信息,将所述第一视频数据中每个第一图像帧对应的至少一个图像特征与所述地图数据中的地图点进行匹配,将匹配失败的至少一个图像特征更新至所述地图数据。
17.根据权利要求14-16任一项所述的方法,其中,所述行驶数据还包括m个第二视频数据,m为正整数,所述第二视频数据与所述第一视频数据为不同视觉角度的视频数据;所述方法还包括:
针对所述第一视频数据中的每个第一图像帧,确定所述m个第二视频数据中分别与所述第一图像帧对应的m个第二图像帧;
对所述m个第二图像帧进行语义识别,得到所述第一图像帧对应的至少一个图像语义特征。
18.根据权利要求17所述的方法,其特征在于,在m大于1的情况下,所述对所述m个第二图像帧进行语义识别,得到所述第一图像帧对应的至少一个图像语义特征,包括:
将所述m个第二图像帧进行图像拼接,得到所述第一图像帧对应的环视图像;
对所述环视图像进行语义识别,得到至少一个图像语义特征。
19.根据权利要求14-16任一项所述的方法,其中,所述第一视频数据为所述智能车辆的第一图像传感器采集的车辆前方的视频数据。
20.根据权利要求17所述的方法,其中,所述第二视频数据为所述智能车辆的第二图像传感器采集的车辆前方、侧方或者后方的视频数据。
21.根据权利要求14-16任一项所述的方法,其中,所述行驶数据还包括所述第一视频数据中每个第一图像帧对应的至少一个图像语义特征。
22.根据权利要求14-16任一项所述的方法,所述方法还包括:
将更新后的地图数据发送至所述智能车辆或第二服务器,所述第二服务器用于存储地图数据。
23.根据权利要求14-16任一项所述的方法,其中,所述获取智能车辆在目标路段采集的行驶数据,包括:
接收所述智能车辆发送的所述行驶数据;或者,
从第二服务器读取所述智能车辆上传的所述行驶数据,所述第二服务器用于存储地图数据。
24.根据权利要求23所述的方法,其中,所述从第二服务器读取所述智能车辆上传的所述行驶数据,包括:
从所述第二服务器的任务队列读取地图更新任务;
响应于所述地图更新任务,从所述第二服务器读取来自所述智能车辆的所述行驶数据。
25.一种地图更新装置,包括:
获取单元,用于获取车辆传感器在目标路段采集的行驶数据,所述行驶数据至少包括与所述目标路段的环境相关的第一视频数据;
第一特征提取单元,用于确定所述第一视频数据中每个第一图像帧对应的至少一个图像特征,所述图像特征至少包括与所述目标路段的环境相关的图像局部特征;其中,所述第一视频数据中每个第一图像帧包括所述第一视频数据中的多个图像帧;
更新单元,用于根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征,对所述目标路段对应的地图数据进行更新;
其中,所述更新单元包括:
更新判断模块,用于根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对所述目标路段对应的地图数据进行更新;
更新处理模块,用于在确定对地图数据更新的情况下,根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征和/或所述行驶数据,对所述地图数据进行更新;
所述更新判断模块包括:
匹配子模块,用于针对所述第一视频数据中每个第一图像帧,将所述第一图像帧对应的至少一个图像特征与所述地图数据中的地图点进行匹配,得到匹配成功的地图点的数量;
第一判断子模块,用于:根据智能车辆的位置信息,确定所述第一视频数据中每个第一图像帧在所述地图数据中对应的坐标位置;若存在连续的坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,则对所述地图数据进行更新;若不存在连续的坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,则不对所述地图数据进行更新;其中,所述连续的坐标位置组成的距离长度大于或等于预设距离。
26.根据权利要求25所述的装置,所述第一特征提取单元具体用于:
针对所述第一视频数据中的每个第一图像帧,对所述第一图像帧进行尺度不变特征变换SIFT,得到所述第一图像帧对应的至少一个图像局部特征。
27.根据权利要求25所述的装置,其中,所述匹配子模块具体用于:
根据所述行驶数据中的与位置相关的运行数据和位置信息,确定所述第一视频数据中每个第一图像帧对应的智能车辆的位姿信息;
根据所述位姿信息,将所述第一图像帧对应的至少一个图像特征与所述地图数据中的地图点进行匹配,得到匹配成功的地图点的数量。
28.根据权利要求25至27任一项所述的装置,还包括:第二特征提取单元;
所述第二特征提取单元用于:
针对所述第一视频数据中的每个第一图像帧,确定m个第二视频数据中分别与所述第一图像帧对应的m个第二图像帧,m为正整数;
对所述m个第二图像帧进行语义识别,得到所述第一图像帧对应的至少一个图像语义特征;
其中,所述第二视频数据与所述第一视频数据为不同视觉角度的视频数据。
29.根据权利要求28所述的装置,其特征在于,所述第二特征提取单元具体用于:
在m大于1的情况下,将所述第一图像帧和所述m个第二图像帧进行图像拼接,得到所述第一图像帧对应的环视图像;
对所述环视图像进行语义识别,得到至少一个图像语义特征。
30.根据权利要求25至27任一项所述的装置,其中,所述第一视频数据为智能车辆的第一图像传感器采集的车辆前方的视频数据。
31.根据权利要求28所述的装置,其中,所述第二视频数据为智能车辆的第二图像传感器采集的车辆前方、侧方或者后方的视频数据。
32.根据权利要求27所述的装置,其中,所述运行数据包括:轮速、加速度、角速度和档位中的至少一种。
33.根据权利要求25至27任一项所述的装置,其中,所述更新判断模块,包括:第二判断子模块;
所述第二判断子模块用于:
确定所述行驶数据是否为所述车辆传感器连续采集的数据;
在所述行驶数据为所述车辆传感器连续采集的数据的情况下,根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对所述目标路段对应的地图数据进行更新。
34.根据权利要求25至27任一项所述的装置,其中,所述更新处理模块具体用于:
将所述行驶数据发送至服务器;从所述服务器获取基于所述行驶数据更新后的地图数据;
或者,
将所述行驶数据中的m个第二视频数据替换为所述第一视频数据中每个第一图像帧对应的至少一个图像语义特征,将新的行驶数据发送至服务器;从所述服务器获取基于所述行驶数据更新后的地图数据;其中,所述第二视频数据为智能车辆的第二图像传感器采集的车辆前方、侧方或者后方的视频数据;
或者,
将所述第一视频数据中每个第一图像帧对应的至少一个图像特征,与所述地图数据中的地图点进行匹配;将匹配失败的至少一个图像特征更新至所述地图数据。
35.根据权利要求25至27任一项所述的装置,其中,所述获取单元包括:
路段获取模块,用于获取与智能车辆在目标区域内的行驶路径匹配的至少一个第一路段;
时间获取模块,用于根据所述车辆传感器已采集的缓存数据,确定所述智能车辆在所述至少一个第一路段中的行驶起始时间和行驶结束时间;
行驶数据获取模块,用于根据所述行驶起始时间和所述行驶结束时间,从所述缓存数据获取所述车辆传感器在所述目标路段采集的行驶数据;所述目标路段为所述智能车辆在所述行驶起始时间至所述行驶结束时间内,在所述至少一个第一路段中行驶经过的路段。
36.根据权利要求35所述的装置,其中,所述时间获取模块包括第一时间获取子模块;
所述第一时间获取子模块用于:
根据所述车辆传感器已采集的缓存数据,确定第一起始时间、第二起始时间、第三起始时间中的至少一项;所述第一起始时间为所述智能车辆最后一次停车档位的结束时间,所述第二起始时间为所述智能车辆行驶至所述至少一个第一路段的起始时间,所述第三起始时间为所述智能车辆静止时长超过第一预设值的静止结束时间;
将所述第一起始时间、所述第二起始时间、所述第三起始时间中最晚的时间确定为所述行驶起始时间。
37.根据权利要求35所述的装置,其中,所述时间获取模块包括第二时间获取子模块;
所述第二时间获取子模块用于:
根据智能车辆已采集的缓存数据,确定第一结束时间、第二结束时间、第三结束时间中的至少一项;所述第一结束时间为所述智能车辆在所述行驶起始时间之后第一次停车档位的开始时间,所述第二结束时间为所述智能车辆在所述行驶起始时间之后静止时长超过第二预设值的静止起始时间,所述第三结束时间为所述智能车辆在所述行驶起始时间之后行驶出所述目标区域的时间;
将所述第一结束时间、所述第二结束时间、所述第三结束时间中最早的时间确定为所述行驶结束时间。
38.一种地图更新装置,包括:
获取单元,用于获取智能车辆在目标路段采集的行驶数据,所述行驶数据至少包括第一视频数据;
第一特征提取单元,用于确定所述第一视频数据中每个第一图像帧对应的至少一个图像特征,所述图像特征至少包括图像局部特征;其中,所述第一视频数据中每个第一图像帧包括所述第一视频数据中的多个图像帧;
更新单元,用于根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征,对所述目标路段对应的地图数据进行更新;
其中,所述更新单元包括:
更新判断模块,用于根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征,确定是否对所述目标路段对应的地图数据进行更新;
更新处理模块,用于在确定对地图数据更新的情况下,根据所述第一视频数据中每个第一图像帧对应的至少一个图像特征和/或所述行驶数据,对所述地图数据进行更新;
所述更新判断模块包括:
匹配子模块,用于针对所述第一视频数据中每个第一图像帧,将所述第一图像帧对应的至少一个图像特征与所述地图数据中的地图点进行匹配,得到匹配成功的地图点的数量;
第一判断子模块,用于:根据智能车辆的位置信息,确定所述第一视频数据中每个第一图像帧在所述地图数据中对应的坐标位置;若存在连续的坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,则对所述地图数据进行更新;若不存在连续的坐标位置对应的匹配成功的地图点的数量均小于匹配阈值,则不对所述地图数据进行更新;其中,所述连续的坐标位置组成的距离长度大于或等于预设距离。
39.根据权利要求38所述的装置,所述第一特征提取单元具体用于:
针对所述第一视频数据中的每个第一图像帧,对所述第一图像帧进行尺度不变特征变换SIFT,得到所述第一图像帧对应的至少一个图像局部特征。
40.根据权利要求38所述的装置,其中,所述更新单元包括:
第一更新处理模块,用于根据所述行驶数据中的与位置相关的运行数据,确定所述第一视频数据中每个第一图像帧对应的智能车辆的位姿信息;
第二更新处理模块,用于根据所述位姿信息,将所述第一视频数据中每个第一图像帧对应的至少一个图像特征与所述地图数据中的地图点进行匹配,将匹配失败的至少一个图像特征更新至所述地图数据。
41.根据权利要求38-40任一项所述的装置,还包括:第二特征提取单元;
所述第二特征提取单元用于:
针对所述第一视频数据中的每个第一图像帧,确定m个第二视频数据中分别与所述第一图像帧对应的m个第二图像帧,m为正整数;
对所述m个第二图像帧进行语义识别,得到所述第一图像帧对应的至少一个图像语义特征;
其中,所述第二视频数据与所述第一视频数据为不同视觉角度的视频数据。
42.根据权利要求41所述的装置,其特征在于,所述第二特征提取单元具体用于:
在m大于1的情况下,将所述第一图像帧和所述m个第二图像帧进行图像拼接,得到所述第一图像帧对应的环视图像;
对所述环视图像进行语义识别,得到至少一个图像语义特征。
43.根据权利要求38-40任一项所述的装置,其中,所述第一视频数据为所述智能车辆的第一图像传感器采集的车辆前方的视频数据。
44.根据权利要求41所述的装置,其中,所述第二视频数据为所述智能车辆的第二图像传感器采集的车辆前方、侧方或者后方的视频数据。
45.根据权利要求38-40任一项所述的装置,其中,所述行驶数据还包括所述第一视频数据中每个第一图像帧对应的至少一个图像语义特征。
46.根据权利要求38或40所述的装置,还包括:
发送单元,用于将更新后的地图数据发送至所述智能车辆或第二服务器,所述第二服务器用于存储地图数据。
47.根据权利要求38或40所述的装置,其中,所述获取单元具体用于:
接收所述智能车辆发送的所述行驶数据;或者,
从第二服务器读取所述智能车辆上传的所述行驶数据,所述第二服务器用于存储地图数据。
48.根据权利要求47所述的装置,其中,所述获取单元具体用于:
从所述第二服务器的任务队列读取地图更新任务;
响应于所述地图更新任务,从所述第二服务器读取来自所述智能车辆的所述行驶数据。
49.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至13中任一项所述的方法。
50.一种服务器,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求14至24中任一项所述的方法。
51.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至13中任一项所述的方法。
52.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求14至24中任一项所述的方法。
53.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至13中任一项所述的方法。
54.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求14至24中任一项所述的方法。
55.一种智能车辆,包括:电子设备和至少一个车辆传感器,所述电子设备和所述至少一个车辆传感器连接;
所述至少一个车辆传感器用于采集目标路段的行驶数据;
所述电子设备用于执行根据权利要求1至13中任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110792157.2A CN113515536B (zh) | 2021-07-13 | 2021-07-13 | 地图的更新方法、装置、设备、服务器以及存储介质 |
EP22183752.9A EP4047317A3 (en) | 2021-07-13 | 2022-07-08 | Map updating method and apparatus, device, server, and storage medium |
US17/861,284 US20220364880A1 (en) | 2021-07-13 | 2022-07-11 | Map updating method and apparatus, device, server, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110792157.2A CN113515536B (zh) | 2021-07-13 | 2021-07-13 | 地图的更新方法、装置、设备、服务器以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113515536A CN113515536A (zh) | 2021-10-19 |
CN113515536B true CN113515536B (zh) | 2022-12-13 |
Family
ID=78067004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110792157.2A Active CN113515536B (zh) | 2021-07-13 | 2021-07-13 | 地图的更新方法、装置、设备、服务器以及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220364880A1 (zh) |
EP (1) | EP4047317A3 (zh) |
CN (1) | CN113515536B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115083037A (zh) * | 2022-06-08 | 2022-09-20 | 阿波罗智联(北京)科技有限公司 | 用于更新地图路网数据的方法、装置、电子设备和车辆 |
CN116592869B (zh) * | 2023-04-13 | 2024-05-03 | 广州汽车集团股份有限公司 | 地图的更新方法、装置、电子设备及存储介质 |
CN116229765B (zh) * | 2023-05-06 | 2023-07-21 | 贵州鹰驾交通科技有限公司 | 一种基于数字数据处理的车路协同方法 |
CN116958606B (zh) * | 2023-09-15 | 2024-05-28 | 腾讯科技(深圳)有限公司 | 一种图像匹配方法及相关装置 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8886461B2 (en) * | 2010-06-22 | 2014-11-11 | Tomtom Polska Sp. Z.O.O. | Method for validating inland barrier crossing in a digital map |
US10185775B2 (en) * | 2014-12-19 | 2019-01-22 | Qualcomm Technologies, Inc. | Scalable 3D mapping system |
WO2016153224A1 (ko) * | 2015-03-20 | 2016-09-29 | 엘지전자 주식회사 | 차량용 자율 캘리브레이션 장치 및 이를 구비한 차량 |
US20190271550A1 (en) * | 2016-07-21 | 2019-09-05 | Intelligent Technologies International, Inc. | System and Method for Creating, Updating, and Using Maps Generated by Probe Vehicles |
CN108121764B (zh) * | 2016-11-26 | 2022-03-11 | 星克跃尔株式会社 | 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质 |
CN106682586A (zh) * | 2016-12-03 | 2017-05-17 | 北京联合大学 | 一种复杂光照条件下基于视觉的实时车道线检测的方法 |
CN111108342B (zh) * | 2016-12-30 | 2023-08-15 | 辉达公司 | 用于高清地图创建的视觉测程法和成对对准 |
EP3358303B1 (en) * | 2017-02-07 | 2021-09-01 | HERE Global B.V. | An apparatus and associated methods for use in updating map data |
CN107339996A (zh) * | 2017-06-30 | 2017-11-10 | 百度在线网络技术(北京)有限公司 | 车辆自定位方法、装置、设备及存储介质 |
KR102064222B1 (ko) * | 2017-09-22 | 2020-03-02 | 엘지전자 주식회사 | 차량의 운행 시스템을 제어하는 방법 |
US10739459B2 (en) * | 2018-01-12 | 2020-08-11 | Ford Global Technologies, Llc | LIDAR localization |
SG11201811275UA (en) * | 2018-06-22 | 2020-01-30 | Beijing Didi Infinity Technology & Development Co Ltd | Systems and methods for updating highly automated driving maps |
US11199853B1 (en) * | 2018-07-11 | 2021-12-14 | AI Incorporated | Versatile mobile platform |
CN110146097B (zh) * | 2018-08-28 | 2022-05-13 | 北京初速度科技有限公司 | 自动驾驶导航地图的生成方法、***、车载终端及服务器 |
EP3647733A1 (en) * | 2018-10-29 | 2020-05-06 | Aptiv Technologies Limited | Automatic annotation of environmental features in a map during navigation of a vehicle |
US20210396543A1 (en) * | 2018-11-06 | 2021-12-23 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
CN111746504B (zh) * | 2019-03-27 | 2022-05-13 | 上海欧菲智能车联科技有限公司 | 记忆泊车方法、***、装置及计算机可读存储介质 |
CN110287276B (zh) * | 2019-05-27 | 2021-08-31 | 百度在线网络技术(北京)有限公司 | 高精地图更新方法、装置及存储介质 |
CN110516019B (zh) * | 2019-08-15 | 2022-09-23 | 腾讯科技(深圳)有限公司 | 一种新路发现方法、装置、设备及存储介质 |
CN110888434A (zh) * | 2019-11-14 | 2020-03-17 | 腾讯科技(深圳)有限公司 | 自动驾驶方法、装置、计算机设备和计算机可读存储介质 |
CN112985432B (zh) * | 2019-12-16 | 2022-02-15 | 湖北亿咖通科技有限公司 | 车辆导航方法、装置、电子设备及存储介质 |
KR102327185B1 (ko) * | 2019-12-24 | 2021-11-17 | 한국도로공사 | 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법 |
CN111274343B (zh) * | 2020-01-20 | 2023-11-24 | 阿波罗智能技术(北京)有限公司 | 一种车辆定位方法、装置、电子设备及存储介质 |
CN111429517A (zh) * | 2020-03-23 | 2020-07-17 | Oppo广东移动通信有限公司 | 重定位方法、重定位装置、存储介质与电子设备 |
CN111797187B (zh) * | 2020-06-22 | 2023-09-26 | 北京百度网讯科技有限公司 | 地图数据的更新方法、装置、电子设备和存储介质 |
CN111750853B (zh) * | 2020-06-24 | 2022-06-07 | 国汽(北京)智能网联汽车研究院有限公司 | 一种地图建立方法、装置及存储介质 |
CN111795704B (zh) * | 2020-06-30 | 2022-06-03 | 杭州海康机器人技术有限公司 | 一种视觉点云地图的构建方法、装置 |
-
2021
- 2021-07-13 CN CN202110792157.2A patent/CN113515536B/zh active Active
-
2022
- 2022-07-08 EP EP22183752.9A patent/EP4047317A3/en not_active Withdrawn
- 2022-07-11 US US17/861,284 patent/US20220364880A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP4047317A2 (en) | 2022-08-24 |
US20220364880A1 (en) | 2022-11-17 |
EP4047317A3 (en) | 2023-05-31 |
CN113515536A (zh) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113515536B (zh) | 地图的更新方法、装置、设备、服务器以及存储介质 | |
JP6744679B2 (ja) | ヒューマンマシンハイブリッド意思決定方法および装置 | |
CN111797187A (zh) | 地图数据的更新方法、装置、电子设备和存储介质 | |
KR102564430B1 (ko) | 차량의 제어 방법, 장치 및 차량 | |
CN115860102B (zh) | 一种自动驾驶感知模型的预训练方法、装置、设备和介质 | |
CN112740268A (zh) | 目标检测方法和装置 | |
WO2022166625A1 (zh) | 一种车辆行驶场景中信息推送的方法以及相关装置 | |
CN111723769B (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
CN105141807A (zh) | 视频信号图像处理方法和装置 | |
CN112988927B (zh) | 一种地图数据处理方法、装置、计算机设备及存储介质 | |
CN115907009B (zh) | 一种自动驾驶感知模型的迁移方法、装置、设备和介质 | |
CN110751336B (zh) | 无人载具的避障方法、避障装置及无人载具 | |
CN113483774B (zh) | 导航方法、装置、电子设备及可读存储介质 | |
CN115879060B (zh) | 基于多模态的自动驾驶感知方法、装置、设备和介质 | |
CN113228103A (zh) | 目标跟踪方法、装置、无人机、***及可读存储介质 | |
CN114511632A (zh) | 车位地图的构建方法及装置 | |
CN115103161A (zh) | 基于视频推进的巡防方法、***、设备及介质 | |
CN117611795A (zh) | 基于多任务ai大模型的目标检测方法、模型训练方法 | |
CN111027195A (zh) | 仿真场景的生成方法、装置及设备 | |
CN112380933A (zh) | 无人机识别目标的方法、装置及无人机 | |
CN112257638A (zh) | 一种图像比对方法、***、设备及计算机可读存储介质 | |
CN111414818A (zh) | 一种基于环境图像的定位方法及装置 | |
CN112987707A (zh) | 一种车辆的自动驾驶控制方法及装置 | |
CN115082690B (zh) | 目标识别方法、目标识别模型训练方法及装置 | |
CN116434173A (zh) | 道路图像检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |