CN111351497A - 一种车辆的定位方法、装置、地图的构建方法和装置 - Google Patents
一种车辆的定位方法、装置、地图的构建方法和装置 Download PDFInfo
- Publication number
- CN111351497A CN111351497A CN201811565959.4A CN201811565959A CN111351497A CN 111351497 A CN111351497 A CN 111351497A CN 201811565959 A CN201811565959 A CN 201811565959A CN 111351497 A CN111351497 A CN 111351497A
- Authority
- CN
- China
- Prior art keywords
- positioning
- vehicle
- positioning result
- image
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000010276 construction Methods 0.000 title claims abstract description 21
- 238000005070 sampling Methods 0.000 claims abstract description 258
- 238000012937 correction Methods 0.000 claims description 43
- 238000006073 displacement reaction Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000004807 localization Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本发明实施例公开了一种车辆的定位方法、装置、地图的构建方法和装置。其中,车辆的定位方法包括:根据车辆中的预设定位传感器所采集的数据,确定车辆在当前时刻的定位信息;根据该定位信息和已完成修正的车辆的历史定位结果确定车辆的当前定位结果;其中,所述历史定位结果是在当前时刻之前,利用图像传感器数据所确定的第一定位结果对预设定位传感器数据所确定的第二定位结果进行修正处理后得到的,所述图像传感器的采样频率小于预设定位传感器的采样频率。通过采用上述技术方案,提升了车辆的实时定位精度。
Description
技术领域
本发明涉及自动驾驶技术领域,具体涉及一种车辆的定位方法、装置、地图的构建方法和装置。
背景技术
在自动驾驶领域,高精度定位至关重要。近年来,深度学习等技术的成果,极大促进了图像语义分割、图像识别领域的发展,这为高精度地图及高精度定位提供了坚实的基础。
现有的车辆定位方法通常是,利用车辆内置的摄像头拍摄图像信息,并将所拍摄到的图像信息发送给数据处理器,再经数据处理器进行分析处理得到定位结果。但是,在实践中发现,数据处理器对于图像信息数据的处理耗时较长,因此,利用摄像头进行车辆定位所得到的当前时刻的车辆位置信息其实是早于当前时刻很久之前的车辆位置信息,定位精度通常较差。
发明内容
本发明实施例公开一种车辆的定位方法、装置、地图的构建方法和装置,能够提高车辆的定位精度。
第一方面,本发明实施例公开了一种车辆的定位方法,应用于自动驾驶,该方法包括:
根据车辆中的预设定位传感器所采集的数据,确定车辆在当前时刻的定位信息;
根据所述定位信息和已完成修正的车辆的历史定位结果确定所述车辆的当前定位结果;
其中,所述历史定位结果是在所述当前时刻之前,利用图像传感器数据所确定的第一定位结果对预设定位传感器数据所确定的第二定位结果进行修正后得到的,所述图像传感器的采样频率小于所述预设定位传感器的采样频率。
作为一种可选的实施方式,在本发明实施例第一方面中,所述历史定位结果的修正处理的过程采用迭代方式,在图像传感器的任意一个图像采样周期内,利用图像传感器数据所确定的第一定位结果对所述图像采样周期内各个时刻由预设定位传感器数据所确定的第二定位结果进行依次修正,并将每次修正的输出作为下次修正过程的输入。
作为一种可选的实施方式,在本发明实施例第一方面中,所述预设定位传感器为轮速传感器,所述定位信息包括车轮位移、轮距和车辆的航向角;相应的,
根据所述定位信息和已完成修正的车辆的历史定位结果确定所述车辆的当前定位结果,包括:
根据车轮位移、轮距和车辆的航向角,并结合已完成修正的车辆的历史定位结果,按照如下公式计算车辆在当前时刻的当前定位结果:
Δs=(Δsr+Δsl)/2
Δθ=(Δsr-Δsl)/B
其中,i表示上一个时刻,i+1表示当前时刻;pi+1为车辆在当前时刻的当前定位结果,pi=(xi,yi,θi)t为上一时刻已完成修正的车辆的历史定位结果,该历史定位结果包括x,y方向坐标和航向角θ;Δsr,Δsl分别为右后车轮位移和左后车轮位移,B为轮距。
作为一种可选的实施方式,在本发明实施例第一方面中,所述第一定位结果通过采用如下步骤来确定:
对于当前时刻所属图像采样周期之前的相邻两个图像采样周期,获取所述相邻两个图像采样周期内前一个图像采样周期的第一图像数据以及后一个图像采样周期的第二图像数据;
根据车辆在所述前一个图像采样周期结束时刻已完成修正的定位结果,并结合所述第一图像数据和所述第二图像数据计算第一定位结果。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
确定预设定位传感器所对应的各个第二定位结果从所述前一个图像采样周期开始时刻到所述后一个图像采样周期开始时刻的位姿增量;
相应的,所述方法还包括:
根据所述位姿增量、所述车辆在前一个图像采样周期结束时刻已完成修正的定位结果、所述第一图像数据和所述第二图像数据,确定第一定位结果。
作为一种可选的实施方式,在本发明实施例第一方面中,根据所述位姿增量、所述车辆在前一个图像采样周期结束时刻已完成修正的定位结果、所述第一图像数据和所述第二图像数据,确定第一定位结果,包括:
按照如下公式计算第一定位结果:
pm+1,λm=argmin(||pm*Am-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2);
其中,m表示所述前一个图像采样周期的开始时刻,m+1表示所述后一个图像采样周期的开始时刻;Pm表示所述前一个图像采样周期对应的已完成修正的定位结果,Pm+1表示所述后一个图像采样周期对应的第一定位结果;λm为预设定位传感器与图像之间的尺度比例系数;ΔPm为所述位姿增量;Am为所述第一图像数据;Am+1表示所述第二图像数据。
第二方面,本发明实施例还提供了一种车辆的定位装置,应用于自动驾驶,该装置包括:
定位信息确定模块,用于根据车辆中的预设定位传感器所采集的数据,确定车辆在当前时刻的定位信息;
当前定位结果确定模块,用于根据所述定位信息和已完成修正的车辆的历史定位结果确定所述车辆的当前定位结果;
其中,所述历史定位结果是在所述当前时刻之前,利用图像传感器数据所确定的第一定位结果对预设定位传感器数据所确定的第二定位结果进行修正处理后得到的,所述图像传感器的采样频率小于所述预设定位传感器的采样频率。
作为一种可选的实施方式,在本发明实施例第二方面中,所述历史定位结果的修正处理的过程采用迭代方式,在图像传感器的任意一个图像采样周期内,利用图像传感器数据所确定的第一定位结果对该图像采样周期内各个时刻的由预设定位传感器数据所确定的第二定位结果进行依次修正处理,并将每次修正处理的输出作为下次修正处理的输入。
作为一种可选的实施方式,在本发明实施例第二方面中,所述预设定位传感器为轮速传感器,所述定位信息包括车轮位移、轮距和车辆的航向角;
相应的,所述当前定位结果确定模块具体用于:
根据车轮位移、轮距和车辆的航向角,并结合已完成修正的车辆的历史定位结果,按照如下公式计算车辆在当前时刻的当前定位结果:
Δs=(Δsr+Δsl)/2
Δθ=(Δsr-Δsl)/B
其中,i表示上一个时刻,i+1表示当前时刻;pi+1为车辆在当前时刻的当前定位结果,pi=(xi,yi,θi)t为上一时刻已完成修正的车辆的历史定位结果,该历史定位结果包括x,y方向坐标和航向角θ;Δsr,Δsl分别为右后车轮位移和左后车轮位移,B为轮距。
作为一种可选的实施方式,在本发明实施例第二方面中,所述第一定位结果通过采用如下模块来确定:
图像数据获取模块,用于对于当前时刻所属图像采样周期之前的相邻两个图像采样周期,获取所述相邻两个图像采样周期内前一个图像采样周期的第一图像数据以及后一个图像采样周期的第二图像数据;
第一定位结果计算模块,用于根据车辆在所述前一个图像采样周期结束时刻已完成修正的定位结果,并结合所述第一图像数据和所述第二图像数据计算第一定位结果。
作为一种可选的实施方式,在本发明实施例第二方面中,所述装置还包括:
位姿增量确定模块,用于确定预设定位传感器所对应的各个第二定位结果从所述前一个图像采样周期开始时刻到所述后一个图像采样周期开始时刻的位姿增量;
相应的,所述装置还包括:
第一定位结果确定模块,用于根据所述位姿增量、所述车辆在所述前一个图像采样周期结束时刻已完成修正的定位结果、所述第一图像数据和所述第二图像数据,确定第一定位结果。
作为一种可选的实施方式,在本发明实施例第二方面中,所述第一定位结果确定模块具体用于:
按照如下公式确定第一定位结果:
pm+1,λm=argmin(||pm*Am-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2);
其中,m表示所述前一个图像采样周期的开始时刻,m+1表示所述后一个图像采样周期的开始时刻;Pm表示所述前一个图像采样周期对应的已完成修正的定位结果,Pm+1表示所述后一个图像采样周期对应的第一定位结果;λm为预设定位传感器与图像之间的尺度比例系数;ΔPm为所述位姿增量;Am为所述第一图像数据;Am+1表示所述第二图像数据。
第三方面,本发明实施例还公开了一种地图的构建方法,应用于自动驾驶,该方法包括:
对图像传感器所采集的不同采样周期的图像进行识别,得到不同采样周期各个语义特征的位置信息;
根据车辆在不同采样周期的定位结果,将各语义特征的位置信息投影到全局地图坐标系中,得到各语义特征在所述全局地图坐标系中的目标位置;
将各个语义特征在地图中所对应的目标位置相结合,得到全局地图;
其中,所述车辆在不同采样周期内任意一个时刻的定位结果均是按照本发明任意实施例所提供的车辆的定位方法得到的。
第四方面,本发明实施例还公开了一种地图的构建装置,应用于自动驾驶,该装置包括:
位置信息确定模块,用于对图像传感器所采集的不同采样周期的图像进行识别,得到不同采样周期各个语义特征的位置信息;
目标位置确定模块,用于根据车辆在不同采样周期的定位结果,将各语义特征的位置信息投影到全局地图坐标系中,得到各语义特征在所述全局地图坐标系中的目标位置;
全局地图构建模块,用于将各个语义特征在地图中所对应的目标位置相结合,得到全局地图;
其中,所述车辆在不同采样周期内任意一个时刻的定位结果均是按照本发明任意实施例所提供的车辆的定位方法得到的。
第五方面,本发明实施例还提供了一种车辆的定位方法,应用于自动驾驶,该方法包括:
识别图像传感器在当前图像采样周期所采集的当前图像,得到所述当前图像中各语义特征的当前位置信息;
将各语义特征的当前位置信息与全局地图中对应的目标位置进行匹配,并根据匹配结果确定车辆在所述当前图像采样周期对应的当前定位结果;
其中,所述全局地图是按照上述任意实施例所提供的地图的构建方法构建的。
作为一种可选的实施方式,在本发明实施例第五方面中,所述方法还包括:
获取车辆在所述当前图像采样周期的前一个图像采样周期结束时刻已完成修正的历史定位结果,以及预设定位传感器所对应的车辆定位结果从前一个图像采样周期开始时刻到所述当前图像采样周期开始时刻的位姿增量;
相应的,所述方法还包括:按照如下公式确定车辆在所述当前图像采样周期对应的当前定位结果:
pm+1,λm=argmin(||MAP-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2)
其中,m+1表示当前图像采样周期的开始时刻,m表示当前图像采样周期之前的前一个采样周期的开始时刻;Pm表示所述前一个图像采样周期结束时刻对应的已完成修正的历史定位结果,Pm+1表示当前图像采样周期对应的当前定位结果;λm为预设定位传感器与图像之间的尺度比例系数;ΔPm为所述位姿增量;MAP表示全局地图;Am+1表示当前图像。
第六方面,本发明实施例还提供了一种车辆的定位装置,应用于自动驾驶,该装置包括:
当前位置信息确定模块,用于识别图像传感器在当前图像采样周期所采集的当前图像,得到所述当前图像中各语义特征的当前位置信息;
当前定位结果确定模块,用于将各语义特征的当前位置信息与全局地图中对应的目标位置进行匹配,并根据匹配结果确定车辆在所述当前图像采样周期对应的当前定位结果;
其中,所述全局地图是按照上述任意实施例所提供的地图的构建方法构建的。
作为一种可选的实施方式,所述装置还包括:
历史定位结果和位置增量获取模块,用于获取车辆在所述当前图像采样周期的前一个图像采样周期结束时刻已完成修正的历史定位结果,以及预设定位传感器所对应的车辆定位结果从前一个图像采样周期开始时刻到所述当前图像采样周期开始时刻的位姿增量;
相应的,所述装置还包括:
按照如下公式确定车辆在所述当前图像采样周期对应的当前定位结果:
pm+1,λm=argmin(||MAP-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2)
其中,m+1表示当前图像采样周期的开始时刻,m表示当前图像采样周期之前的前一个采样周期的开始时刻;Pm表示所述前一个图像采样周期结束时刻对应的已完成修正的历史定位结果,Pm+1表示当前图像采样周期对应的当前定位结果;λm为预设定位传感器与图像之间的尺度比例系数;ΔPm为所述位姿增量;MAP表示全局地图;Am+1表示当前图像。
第七方面,本发明实施例还提供了一种车载终端,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面任意实施例所提供的车辆的定位方法的部分或全部步骤。
第八方面,本发明实时还提供了一种车载终端,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第三方面任意实施例所提供的地图的构建方法的部分或全部步骤。
第九方面,本发明实时还提供了一种车载终端,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第五方面任意实施例所提供的车辆的定位方法的部分或全部步骤。
第十方面,本发明实施例还提供了一种计算机可读存储介质,其存储计算机程序,所述计算机程序包括用于执行本发明第一方面任意实施例所提供的车辆的定位方法的部分或全部步骤的指令。
第十一方面,本发明实施例还提供了一种计算机可读存储介质,其存储计算机程序,所述计算机程序包括用于执行本发明第三方面任意实施例所提供的地图的构建方法的部分或全部步骤的指令。
第十二方面,本发明实施例还提供了一种计算机可读存储介质,其存储计算机程序,所述计算机程序包括用于执行本发明第五方面任意实施例所提供的车辆的定位方法的部分或全部步骤的指令。
第十三方面,本发明实施例还提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明第一方面任意实施例所提供的车辆的定位方法的部分或全部步骤。
第十四方面,本发明实施例还提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明第三方面任意实施例所提供的地图的构建方法的部分或全部步骤。
第十五方面,本发明实施例还提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明第五方面任意实施例所提供的车辆的定位方法的部分或全部步骤。
与现有技术相比,本发明的发明点及有益效果如下:
1、现有技术在对车辆进行定位时,通常是根据图像传感器所采集的图像信息进行定位。但由于图像传感器的采样频率较低,并且由于数据处理器对图像信息处理的时间较长,容易导致车辆定位的实时性较差。而本申请利用采样频率高于图像传感器采样频率的预设定位传感器对车辆进行定位,提高了车辆定位的实时性。此外,考虑到利用预设定位传感器在数据采集过程中会因数据噪声对车辆的定位精度造成影响,本申请中利用图像传感器数据所确定的第一定位结果对预设定位传感器数据所确定的第二定位结果进行了修正。由于当前定位结果是在已完成修正的车辆的历史定位结果得到的,因此,相对于单纯采用预设定位传感器数据进行车辆定位的技术方案,本申请的技术方案提高了车辆定位的精度,得到的车辆当前定位结果的精度更高、可靠性更好。
2、本发明实施例提供的技术方案,在利用图像传感器数据所确定的车辆的第一定位结果对预设定位传感器数据所确定的车辆的第二定位结果进行修正的过程中,由于图像传感器的采样频率低于预设定位传感器的采样频率,因此,当根据图像传感器数据得到一个车辆的第一定位结果时,数据处理器已经输出了根据预设定位传感器数据所确定的多个第二定位结果。为了后续车辆定位结果的准确性,本发明实施例的技术方案将预设定位传感器输出的第二定位结果暂存于缓存空间中。当得到第一定位结果时,通过利用第一定位结果对各个第二定位结果进行依次修正,并将每次执行修正操作的输出作为下次修正操作的输入,可有效抑制车辆定位结果误差的积累,使得后续输出的车辆的定位结果的精度得到有效提升。
3、本发明实施例的技术方案中,对于当前时刻所述图像采样周期之前相邻的两个图像采样周期,第一定位结果是根据相邻两个图像采样周期中的前一个图像采样周期的第一图像数据、后一个图像采样周期的第二图像数据,并结合车辆在前一个图像采样周期结束时刻已完成修正的定位结果得到的。但由于图像传感器的采样频率低于预设定位传感器的采样频率,因此,从前一个图像采样周期到后一个图像采样周期过度的过程中,会存在多个预设定位传感器的采样时刻。为了提高第一定位结果的准确性,本发明实施例的技术方案将相邻两个图像采样周期内预设定位传感器数据的定位结果与图像传感器数据的定位结果进行了融合,具体是在融合过程中考虑到了预设定位传感器在相邻两个图像采样周期内的位姿增量。这样设置将预设定位传感器所在坐标系换算到图像传感器所在的坐标系,避免了由于两种不同数据源的定位结果相冲突而对融合结果造成影响,使得第一定位结果的精度达到最优,从而在利用第一定位结果对第二定位结果进行修正时,提高了修正结果的可靠性。
4、现有技术在根据图像传感器数据确定车辆的定位结果时,一般是利用一个摄像头来拍摄图像,这样容易导致图像采集的信息量较为单一。而本申请采用了安装于不同方向的四个鱼眼相机来采集图像数据,并将得到的图像数据拼接为环视图进行分析,从而增加了图像数据的信息量,提高了图像观测的完整性,有助于后续提高车辆的定位精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种车辆的定位方法的流程示意图;
图2是本发明实施例提供的一种利用第一定位结果对第二定位结果进行修正的原理图;
图3是本发明实施例提供的一种根据图像传感器数据生成车辆的第一定位结果的方法的流程示意图;
图4是本发明实施例提供的一种地图的构建方法的流程示意图;
图5是本发明实施例提供的一种车辆的定位装置的结构示意图;
图6是本发明实施例提供的一种地图的构建装置的结构示意图;
图7是本发明实施例提供的一种车载终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
请参阅图1,图1是本发明实施例提供的一种车辆的定位方法的流程示意图。该方法应用于自动驾驶中,可由车辆的定位装置来执行,该装置可通过软件和/或硬件的方式实现,一般可集成在车载电脑、车载工业控制计算机(Industrial personal Computer,IPC)等车载终端中,本发明实施例不做限定。如图1所示,本实施例提供的车辆定位方法具体包括:
102、根据车辆中的预设定位传感器所采集的数据,确定车辆在当前时刻的定位信息。
本实施例中,为了提高车辆定位的实时性,采用了采样频率高于图像传感器采样频率的预设定位传感器来对车辆进行定位。该预设定位传感器可以为轮速传感器、惯性测量传感器等。
示例性的,如果预设定位传感器为轮速传感器,则轮速传感器所采集的数据为轮速脉冲信号。根据轮速脉冲信号,可得到车辆在当前时刻的定位信息。该定位信息可包括车辆左右车轮的位移。
104、根据定位信息和已完成修正的车辆的历史定位结果确定车辆的当前定位结果。
其中,对于预设定位传感器而言,当前时刻根据该预设定位传感器所采集数据得到的定位信息可看作是上一时刻车辆定位结果的增量,即当前时刻所要确定的车辆定位结果是在上一个时刻车辆定位结果的基础上,结合该增量得到的,也即只要当前时刻之前的车辆的历史定位结果得到修正,那么车辆的当前定位结果就会有一定程度的提高。本实施例中,可将当前时刻之前各个时刻的车辆定位结果均作为历史定位结果。或者由于车辆的定位结果是一个不断累加的过程,可将当前时刻之前任意一个时刻的定位结果作为历史定位结果,例如可优选将当前时刻之前上一时刻的车辆定位结果作为历史定位结果。本实施例中,历史定位结果是当前时刻之前,利用第一定位结果对第二定位结果进行修正得到的。
其中,第一定位结果是根据图像传感器数据所确定的车辆的定位结果,第二定位结果是根据预设定位传感器数据所确定的车辆的定位结果。由于图像传感器数据中存在多个语义特征(例如路灯、道路线、车道线、车位线或障碍物),那么根据这些语义特征所确定的车辆的第一定位结果相对于单纯根据预设定位传感器数据所得到的第二定位结果的精度较高。因此,如果利用第一定位结果对第二定位结果进行了修正处理,那么基于修正后的历史定位结果所确定的当前定位结果的精度将会得到有效提升。
需要说明的是,因为预设定位传感器的采样频率高于图像传感器的采样频率,所以对于任意一个图像传感器的采样周期,在获取到图像传感器数据到根据该数据确定出车辆的第一定位结果的过程中,必然会存在多个预设定位传感器的采样时刻,相应的,也就会存在多个基于预设定位传感器数据所确定的车辆的第二定位结果,并且一般情况下这些第二定位结果已经实时输出给车辆。由于车辆当前时刻的定位结果会受到当前时刻之前历史定位结果的影响,同理,当前时刻的定位结果也会影响下一时刻的定位结果,因此,即使已经输出多个第二定位结果,但通过将这些第二定位结果暂存于缓存空间中,并在下一预设定位传感器数据得到之前,通过利用第一定位结果对这些第二定位结果中的一个或多个进行修正,可使得车辆在下一时刻定位结果的精度得到提高。如果将这里提到的下一时刻作为当前时刻,那么上述在下一时刻之前的修正过程即为确定历史定位结果的过程。
示例性的,对于任意一个图像传感器的图像采样周期,可利用该周期内得到的第一定位结果对该图像采样周期内任意一个时刻(例如当前时刻的上一时刻)的第二定位结果进行修正处理。这样设置是因为车辆的定位结果是一个不断累加的过程,在一个图像采样周期内,只要其中某个时刻的定位结果被修正,就会影响下一时刻的车辆定位精度,即对于当前时刻车辆的定位精度而言,只要当前时刻之前有一个第二定位结果被修正,那么用于确定当前定位结果的历史定位结果的精度就会有所提高,从而有助于提高当前时刻定位结果的精度。
优选的,历史定位结果的修正过程还可以为:利用图像传感器数据所确定的第一定位结果对图像采样周期内各个时刻的由预设定位传感器数据所确定的第二定位结果进行依次修正,并将每次修正处理的输出作为下次修正过程的输入。这样设置的好处在于,抑制了预设定位传感器定位误差的叠加,相对于只对其中一个或几个第二定位结果进行修正的方案,这样设置可使得当前定位结果的精度得到最大程度的提高。
还需要说明的是,由于每个图像采样周期内会存在多个预设定位传感器的采样时刻,那么当前时刻与确定历史定位结果的上一时刻可处于同一个图像采样周期,也可处于不同的图像采样周期。对于处于不同的图像采样周期而言,当前时刻可以是每个图像采样周期的开始时刻,也可以是非开始时刻。下面对上述不同的情况进行详细介绍:
如果当前时刻与上一时刻处于不同的图像采样周期,且当前时刻是每个采样周期的开始时刻,那么历史定位结果则为上一个图像采样周期结束时刻的第二定位结果。该第二定位结果可在上个图像采样周期内被直接修正,或者也可被间接修正。下面结合图2来进行说明,请参阅图2:
图2是本发明实施例提供的一种利用第一定位结果对第二定位结果进行修正的原理图。如图2所示,输入流中的图像0、图像3和图像6表示图像传感器所采集的图像数据(或者图像中的语义特征信息);相应的,输出流中的图像定位0、图像定位3和图像定位6均表示根据图像数据(或者图像中的语义特征信息)所确定的车辆的第一定位结果;输入流中的轮速计0-轮速计6均表示轮速传感器所采集的数据(或者根据轮速计数据得到的车辆的定位信息);相应的,输出流中的轮速计定位0--速计定位6均表示根据轮速计数据(或者根据轮速计数据得到的车辆的定位信息)所确定的车辆的第二定位结果。
如图2所示,如果当前时刻是t3时刻,那么当前定位结果之前已完成修正的历史定位结果即为上一个图像采样周期结束时(t2时刻)已完成修正的定位结果,即利用图像定位0对轮速计定位2修正后的结果。
其中,t2时刻对应的第二定位结果(轮速计定位2)可利用第一定位结果(图像定位0)被直接修正。直接修正的方式包括两种,一种方式是图像定位0不对轮速计定位0和1进行修正,而是直接对轮速计定位2进行修正;另外一种优选的方式是利用迭代方式,即先对t0时刻的轮速计定位0进行修正,修正得到的结果会影响轮速计定位1的结果,然后利用图像定位0再对轮速计定位1进行修正,直到完成对轮速计定位2的修正,并完成修正后的结果作为历史定位结果。
示例性的,因为车辆的定位结果是一个不断累加的过程,所以t2时刻对应的第二定位结果(轮速计定位2)还可被第一定位结果(图像定位0)间接修正。例如,如果图像定位0只对轮速计定位0进行了修正,而未对轮速计定位1和2进行修正,那么由于定位结果的不断叠加,修正后的轮速计0的定位结果会影响轮速计定位1的定位结果,从而间接影响了轮速计2的定位结果。
综上所述,不论是采用直接修正第二定位结果还是采用间接修正第二定位结果的方式,均会对的下一时刻的定位结果产生积极的影响,即修正完成的历史定位结果会影响当前定位结果。但为了最大程度提高车辆定位的精度,本实施例优选采用迭代的方式,利用图像传感器数据所确定的第一定位结果对该图像采样周期内各个时刻的由预设定位传感器数据所确定的第二定位结果进行依次修正处理,并将每次修正处理的输出作为下次修正处理的输入。
对于当前时刻与上一时刻处于不同的图像采样周期,且当前时刻非每个采样周期的开始时刻的情况,下面仍结合图2来进行说明:
如图2所示,如果当前时刻为t4时刻,此时,图像定位3还未得到确定,那么上一时刻(t3时刻)所对应的历史定位结果还无法被图像定位3进行修正。但由于上一个图像采样周期的图像定位0已经对轮速计定位2进行了修正,则可说明轮速计定位3的结果已被间接修正。当前t4时刻的定位结果仍可结合经过间接修正的轮速计定位3得到确定。
另外,在一些特殊情况下,当前时刻与上一时刻可能会处于同一个图像采样周期,即某个时刻的定位结果被修正后,下一时刻的定位结果还未输出,那么下一时刻的定位结果可结合前一时刻经过直接修正的定位结果来得到。如图2所示,如果当前时刻t4的定位结果被确定之前,图像定位3已生成,并已完成对轮速计定位3的修正,此时t4时刻的定位结果可结合经过直接修正的轮速计定位3得到确定。
综上所述,本实施例中,当前时刻的定位结果可与历史定位结果的修正过程处于同一个图像采样周期,也可处于不同的图像采样周期。并且用于确定当前定位结果的历史定位结果可以是被直接修正得到的,也可是通过间接修正得到的,本实施对此不作具体限定。
作为一种具体的实施方式,如果本实施例中的预设定位传感器为轮速传感器,那么根据轮速传感器所采集的脉冲信号所得到的当前车辆的定位信息可包括车轮位移、轮距和车辆的航向角。
相应的,步骤104中根据定位信息和已完成修正的车辆的历史定位结果确定车辆的当前定位结果,具体可以为:
根据车轮位移、轮距和车辆的航向角,并结合已完成修正的车辆的历史定位结果,按照如下公式计算车辆在当前时刻的当前定位结果:
Δs=(Δsr+Δsl)/2
Δθ=(Δsr-Δsl)/B
其中,i表示上一个时刻,i+1表示当前时刻;pi+1为车辆在当前时刻的当前定位结果,pi=(xi,yi,θi)t为上一时刻已完成修正的车辆的历史定位结果,该历史定位结果包括x,y方向坐标和航向角θ;Δsr,Δsl分别为右后车轮位移和左后车轮位移,B为轮距。
本实施例提供的技术方案,通过利用采样频率高于图像传感器采样频率的预设定位传感器对车辆进行定位,提高了车辆定位的实时性。考虑到利用预设定位传感器在数据采集过程中会因数据噪声对车辆的定位精度造成影响,本申请中利用图像传感器数据所确定的第一定位结果对预设定位传感器数据所确定的第二定位结果进行了修正。由于当前定位结果是在已完成修正的车辆的历史定位结果得到的,因此,相对于单纯采用预设定位传感器数据进行车辆定位的技术方案,本申请的技术方案提高了车辆定位的精度,得到的车辆当前定位结果的精度更高、可靠性更好。
实施例二
请参阅图3,图3是本发明实施例提供的一种根据图像传感器数据生成车辆的第一定位结果的方法的流程示意图。本实施例在上述实施例的基础上进行了优化,提供了第一定位结果的具体计算方式,使得第一定位结果的计算更加精准,从而为第二定位结果的修正结果提供了保障,以使当前定位结果的可靠性得到有效提高。如图3所示,该方法包括:
202、对于当前时刻所属图像采样周期之前的相邻两个图像采样周期,获取前一个图像采样周期的第一图像数据以及后一个图像采样周期的第二图像数据。
其中,第一图像数据和第二图像数据均是利用图像传感器所采集的原始数据数据,或者是通过经过经验筛选,识别出的具有特殊含义并有助于车辆定位的语义特征,例如车道线、车位线或者障碍物等。
可选的,车载终端可以通过图像分割等图像识别算法识别出图像语义特征。优选的,可以预先采用大量标注有图像语义特征的样本图像对神经网络模型进行训练,并利用训练后的神经网络模型识别图像语义特征。
本领域技术人员可以理解的是,随着车辆的移动,在不同图像采样周期,同一语义特征在图像中的位置是不同的。但如果利用不同时刻车辆的位姿,将不同时刻同一语义特征投影到一个全局地图坐标系下,那么不同时刻同一语义特征在该坐标中的位置是相同的。上述原理可通过如下公式来表示:
其中,m和m+1表示相邻两个图像采样周期的开始时刻,j表示图像数据中的语义特征;对于相邻两个图像采样周期,Pm表示前一个图像采样周期已完成修正的定位结果,Pm+1后一个图像采样周期的第一定位结果;表示语义特征在前一个图像采样周期所对应图像中的位置;表示语义特征在后一个图像采样周期所对应图像中的位置;Xj表示语义特征在全局地图坐标系中的位置。
Pm*Am=Pm+1*Am+1。
204、根据车辆在前一个图像采样周期结束时刻已完成修正的定位结果,并结合第一图像数据和第二图像数据计算第一定位结果。
可以理解的是,在理想情况下,Pm*Am与Pm+1*Am+1表示的是全局地图中的同一个位置,即||Pm*Am-Pm+1*Am+1||的结果为0。但由于数据采集过程中误差的存在,会导致Pm*Am-Pm+1*Am+1||的结果并不为零。因此,为了计算车辆在当前图像采样周期内的第一定位结果,可通过利用最小二乘法使得||Pm*Am-Pm+1*Am+1||的值做小,从而可计算出车辆的第一定位结果Pm+1。
作为一种具体的实施方式,如图2所示,如果当前时刻是t6时刻,那么历史定位结果可以是通过第一定位结果(图像定位3)对第二定位结果(轮速计定位3、轮速计定位4和轮速计定位5)进行修正得到的。在此过程中需要确定出第一定位结果(图像定位3)。其中,第一定位结果(图像定位3)的计算需要结合当前时刻所属图像采样周期之前的相邻两个图像采样周期的图像数据(图像0和图像3),以及相邻两个图像采样周期中前一个图像采样周期的图像定位结果(图像定位0)。
具体的,如果将根据图像定位0对轮速计定位2修正后得到的结果作为上述相邻两个图像采样周期中前一个图像采样周期结束时刻已完成修正的定位结果Pm,那么后一个图像采样周期的第一定位结果Pm+1,即图像定位3,可基于上述公式,利用第一图像数据(图像0)、第二图像数据(图像3)和前一个图像采样周期结束时刻已完成修正的定位结果Pm来计算。当计算出Pm+1后,可利用Pm+1先对t3的轮速计定位3进行修正,修正得到的结果会影响轮速计定位4的结果,然后可利用Pm+1再对轮速计定位4进行修正,直到完成对轮速计定位5的修正,得到历史定位结果。该修正过程的进行是发生在当前时刻的前一个图像采样周期,即前一个图像采样周期的修正结果是为了提供对下一个采样周期开始时刻的车辆定位精度。但在当前采样周期内,如果当前时刻的定位结果为得到确定,而上一时刻的定位结果已被修正,则当前时刻的定位结果可基于修正后的定位结果进行确定。
综上所述,本实施例中,如果将计算出第一定位结果的时刻作为当前时刻,那么第一定位结果的计算是为了对当前时刻所述图像采样周期内的各个第二定位结果进行修正,在修正过程中,虽然当前时刻的定位结果已经输出,但修正的结果可作为下一时刻(一般为第一定位结果的下一个图像采样周期的开始时刻)的输入,使得下一时刻的车辆定位精度得到提高。或者可从另外一个角度去理解,如果将上述下一时刻作为当前时刻,那么第一定位结果是当前时刻所属图像采样周期之前的上一个图像采样周期的图像定位结果。第一定位结果的计算是为了利用第一定位结果对在当前定位结果输出之前对的第二定位结果进行修正,从而提供历史定位结果的精度,以提升当前时刻输出的车辆的定位精度。
进一步的,由于图像传感器的采样频率低于预设定位传感器的采样频率,因此,在得到上述相邻两个图像采样周期的图像定位的时间段内,必然已输出多个预设定位传感器的定位结果。例如,如图2所示,图像定位0是对应于t0时刻的图像定位结果,图像定位3是对应于t3时刻的图像定位结果。在图像定位0确定之后,且图像3来临时,处理器会根据图像定位0、图像3、图像0来计算图像定位3。在此过程中,轮速计定位0、轮速计定位1和轮速计定位2早已被实时输出。因此,为了进一步提升Pm+1(图2中为图像定位3)的精度,可将根据图像传感器数据所确定的定位结果与相邻两个图像采样周期内的根据预设定位传感器数据所确定的定位结果相融合,这样设置可将预设定位传感器与图像传感器所在坐标系进行统一,相对于单纯结合图像传感器数据来确定后一个图像定位结果的方式,这样设置可进一步提供第一定位结果的精度。具体的,本实施例在将两种类型的传感器数据相融合的过程中,考虑到了预设定位传感器对应的第二定位结果从前一个图像采样周期开始时刻到后一个图像采样周期开始时刻的位姿增量,即将预设定位传感器所在坐标系换算到图像传感器所在坐标系中,从而避免了由于两个不同数据源的定位结果相冲突而对融合结果造成影响,使得第一定位结果的精度达到最优,这是本发明的创新处之一。
具体的,位置增量的计算过程可以为,在前一个图像采样周期开始时刻到后一个图像采样周期开始时刻的时间段内,将前后两个不同时刻的第二定位结果两两相减,得到多个第二定位结果的差值,然后再将多个差值相加。如图2所示,从t0时刻到t2时刻第二定位结果的位姿增量的计算过程可以为:计算t1时刻与t0时刻,以及t2时刻与t1时刻的位姿之差,然后将得到的两个差值相加的和值,作为从t0时刻到t2时刻第二定位结果的位姿增量。
在确定出位姿增量后,可按照如下公式所示,根据位置增量,并结合车辆在前一个图像采样周期结束时刻已完成修正的定位结果、第一图像数据和第二图像数据,计算第一定位结果。通过利用第一定位结果对第二定位结果进行修正,可使得当前定位结果的精度得到提高。
pm+1,λm=argmin(||pm*Am-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2);
其中,m表示相邻两个图像采样周期的开始时刻;对于相邻两个图像采样周期,Pm表示前一个图像采样周期对应的已完成修正的定位结果,Pm+1表示后一个图像采样周期对应的第一定位结果;λm为预设定位传感器与图像之间的尺度比例系数;ΔPm为所述位姿增量;Am为所述第一图像数据;Am+1表示所述第二图像数据。其中,预设定位传感器优选为轮速计。
本实施例在上述实施例的基础上,将预设定位传感器数据的定位结果与图像传感器数据的定位结果进行了融合,具体是在融合过程中考虑到了预设定位传感器在相邻两个图像采样周期内的位姿增量。这样设置将两种不同类型的传感器统一到了一个坐标系下,避免了由于两种不同数据源的定位结果相冲突而对融合结果造成影响,使得第一定位结果的精度达到最优,从而在利用第一定位结果对第二定位结果进行修正时,提高了修正结果的可靠性。
实施例三
请参阅图4,图4是本发明实施例提供的一种地图的构建方法的流程示意图。该方法应用于自动驾驶中,可由图的构建装置来执行,该装置可通过软件和/或硬件的方式实现,一般可集成于车载电脑、车载工业控制计算机(Industrial personal Computer,IPC)等车载终端中,本发明实施例不做限定。如图4所示,本实施例提供的地图的构建方法具体包括:
302、对图像传感器所采集的不同采样周期的图像进行识别,得到不同采样周期各个语义特征的位置信息。
本实施例中,图像传感器可以为分别安装在车辆前、后、左和右四个方向的摄像头,每个摄像头的取景范围至少包括该摄像头的下方地面。可选的,上述摄像头可以为鱼眼摄像头,鱼眼摄像头的视场(Field OF View,FOV)较大,从而可以使得单个鱼眼摄像头拍摄到的目标图像中尽可能多地包括车辆的周边环境,提高观测的完整性进,有助于提高后续车辆定位的精度。安装在上述四个方向的摄像头组成了摄像头的环视方案,使得车载终端可以一次性获取到车辆周边各个方向的环境信息,从而可以使得利用单次采集得到的目标图像构建出的局部地图包含更多的信息。此外,四路摄像头采集的图像数据存在一定的冗余,如果某一路摄像头失效,其余摄像头采集的图像数据可以作为补充,对车载终端构建地图和定位的影响较低。
本实施例中,可将安装在车辆前、后、左和右四个方向的摄像头在同一时刻拍摄到的目标图像进行拼接,得到的俯视拼接图包含了以车辆为中心360度的环境信息。通过识别俯视拼接图,可得到各个语义特征的位置信息。此外,如果用于拍摄目标图像的摄像头为鱼眼摄像头,车载终端在对多张目标图像进行拼接之前,还需要对目标图像进行反畸变处理,即按照一定的映射规则,将鱼眼摄像头拍摄到的目标图像投影到地平面上,然后再对投影完成得到的图像进行拼接,并对拼接后的图像进行识别,得到各个语义特征的位置信息。
304、根据车辆在不同采样周期的定位结果,将各语义特征对应的位置信息投影到全局地图坐标系中,得到各语义特征在全局地图坐标系中的目标位置。
本领域技术人员可以理解的是,随着车辆的移动,在不同图像采样周期,同一语义特征在图像中的位置是不同的。但如果利用不同时刻车辆的位姿,将同一语义特征投影到一个全局地图坐标系下,那么不同时刻同一语义特征在该坐标中的位置是相同的。上述原理可通过如下公式来表示:
其中,m表示前一个图像采样周期的开始时刻,m+1表示当前图像采样周期的开始时刻,j表示图像数据中的语义特征;Pm表示前一个图像采样周期对应的已完成修正的定位结果,Pm+1后一个图像采样周期对应的第一定位结果;表示前一个图像采样周期语义特征在图像中的位置;表示后一个图像采样周期语义特征在图像中的位置;Xj表示语义特征在全局地图坐标系中的目标位置。
本实施例中,车辆在不同采样周期的定位结果具体也可以为车辆在某个采样周期结束时刻的定位结果,该定位结果的技术可采用上述任意实施例所提供的车辆的定位方法,本实施例在此不作赘述。
306、将各个语义特征在地图中所对应的目标位置相结合,得到全局地图。
其中,全局地图的表示方式为MAP=(X1,X2,...,Xn),Xn表示地图中语义特征的位置。
进一步的,在根据地图进行定位阶段,观察当前图像语义信息,估计合适的位姿,使得当前语义与全局地图语义匹配,具体方法类似建图中的定位方法:
pm+1,λm=argmin(||MAP-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2)
其中,其m+1表示当前图像采样周期的开始时刻,m表示当前图像采样周期之前的前一个采样周期的开始时刻;Pm表示前一个图像采样周期结束时刻对应的已完成修正的历史定位结果,Pm+1表示当前图像采样周期对应的当前定位结果;λm为预设定位传感器与图像之间的尺度比例系数;ΔPm为预设定位传感器所对应的定位结果从m到m+1时刻的位姿增量;MAP表示全局地图;Am+1表示当前图像;arg min(f(x))表示在f(x)取最小值时,自变量x的集合。其中,预设定位传感器优选为轮速计。
上述公式中,等式右边第一项为当前语义特征与全局地图的匹配,第二项为融合轮速计信息的约束项,求解该非线性最小二乘问题即得到最优定位结果。
本实施例在上述实施例的基础上,根据车辆在不同图像采样周期内的位姿信息,并结合不同图像采样周期的语义特征的位置可得到不同语义特征在全局地图中的目标位置,从而可构建出全局地图。在此过程中,图像的采集可利用安装在车辆前、后、左和右四个方向的鱼眼摄像头来执行,这样设置可以使得单次采集得到的目标图像包含更多的环境信息,以提高地图数据的全面性,并且有助于提升车辆的定位精度。
实施例四
请参阅图5,图5是本发明实施例提供的一种车辆的定位装置的结构示意图。如图5所示,该车辆的定位装置400可以包括:定位信息确定模块402和当前定位结果确定模块404。
其中,
定位信息确定模块402,用于根据车辆中的预设定位传感器所采集的数据,确定车辆在当前时刻的定位信息;
当前定位结果确定模块404,用于根据所述定位信息和已完成修正的车辆的历史定位结果确定所述车辆的当前定位结果;
其中,所述历史定位结果是在所述当前时刻之前,利用图像传感器数据所确定的第一定位结果对预设定位传感器数据所确定的第二定位结果进行修正处理后得到的,所述图像传感器的采样频率小于所述预设定位传感器的采样频率。
本实施例提供的技术方案,通过利用采样频率高于图像传感器采样频率的预设定位传感器对车辆进行定位,提高了车辆定位的实时性。考虑到利用预设定位传感器在数据采集过程中会因数据噪声对车辆的定位精度造成影响,本申请中利用图像传感器数据所确定的第一定位结果对预设定位传感器数据所确定的第二定位结果进行了修正。由于当前定位结果是在已完成修正的车辆的历史定位结果得到的,因此,相对于单纯采用预设定位传感器数据进行车辆定位的技术方案,本申请的技术方案提高了车辆定位的精度,得到的车辆当前定位结果的精度更高、可靠性更好。
在上述实施例的基础上,所述修正处理的过程采用迭代方式,在图像传感器的任意一个图像采样周期内,利用图像传感器数据所确定的第一定位结果对该图像采样周期内各个时刻的由预设定位传感器数据所确定的第二定位结果进行依次修正处理,并将每次修正处理的输出作为下次修正处理的输入。
在上述实施例的基础上,所述预设定位传感器为轮速传感器,所述定位信息包括车轮位移、轮距和车辆的航向角;
相应的,所述当前定位结果确定模块具体用于:
根据车轮位移、轮距和车辆的航向角,并结合已完成修正的车辆的历史定位结果,按照如下公式计算车辆在当前时刻的当前定位结果:
Δs=(Δsr+Δsl)/2
Δθ=(Δsr-Δsl)/B
其中,i表示上一个时刻,i+1表示当前时刻;pi+1为车辆在当前时刻的当前定位结果,pi=(xi,yi,θi)t为上一时刻已完成修正的车辆的历史定位结果,该历史定位结果包括x,y方向坐标和航向角θ;Δsr,Δsl分别为右后车轮位移和左后车轮位移,B为轮距。
在上述实施例的基础上,所述第一定位结果通过采用如下模块来确定:
图像数据获取模块,用于对于当前时刻所属图像采样周期之前的相邻两个图像采样周期,获取所述相邻两个图像采样周期内前一个图像采样周期的第一图像数据以及后一个图像采样周期的第二图像数据;
第一定位结果计算模块,用于根据车辆在所述前一个图像采样周期结束时刻已完成修正的定位结果,并结合所述第一图像数据和所述第二图像数据计算第一定位结果。
在上述实施例的基础上,所述装置还包括:
位置增量确定模块,用于确定预设定位传感器所对应的各个第二定位结果从所述前一个图像采样周期开始时刻到所述后一个图像采样周期开始时刻的位姿增量;
相应的,所述装置还包括:
第一定位结果确定模块,用于根据所述位姿增量、所述车辆在所述前一个图像采样周期结束时刻已完成修正的定位结果、所述第一图像数据和所述第二图像数据,确定第一定位结果。
在上述实施例的基础上,所述第一定位结果确定模块具体用于:
按照如下公式确定第一定位结果:
pm+1,λm=argmin(||pm*Am-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2);
其中,m表示所述前一个图像采样周期的开始时刻,m+1表示所述后一个图像采样周期的开始时刻;Pm表示所述前一个图像采样周期对应的已完成修正的定位结果,Pm+1表示所述后一个图像采样周期对应的第一定位结果;λm为预设定位传感器与图像之间的尺度比例系数;ΔPm为所述位姿增量;Am为所述第一图像数据;Am+1表示所述第二图像数据。
本发明实施例所提供的车辆的定位装置可执行本发明任意实施例所提供的车辆的定位方法,具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的车辆的定位方法。
实施例五
请参阅图6,图6是本发明实施例提供的一种地图的构建装置的结构示意图,如图6所示,该装置500包括:位置信息确定模块502、目标位置确定模块504和全局地图构建模块506。其中
位置信息确定模块502,用于对图像传感器所采集的不同采样周期的图像进行识别,得到不同采样周期各个语义特征的位置信息;
目标位置确定模块504,用于根据车辆在不同采样周期的定位结果,将各语义特征的位置信息投影到全局地图坐标系中,得到各语义特征在所述全局地图坐标系中的目标位置;
全局地图构建模块506,用于将各个语义特征在地图中所对应的目标位置相结合,得到全局地图;
其中,车辆在不同采样周期内任意一个时刻的定位结果均可按照本发明任意实施例所提供的车辆的定位方法进行确定。
本实施例在上述实施例的基础上,根据车辆在不同图像采样周期内的位姿信息,并结合不同图像采样周期的语义特征的位置可得到不同语义特征在全局地图中的目标位置,从而可构建出全局地图。在此过程中,图像的采集可利用安装在车辆前、后、左和右四个方向的鱼眼摄像头来执行,这样设置可以使得单次采集得到的目标图像包含更多的环境信息,以提高地图数据的全面性,并且有助于提升车辆的定位精度。
实施例六
请参阅图7,图7是本发明实施例提供的一种车载终端的结构示意图。如图7所示,该车载终端可以包括:
存储有可执行程序代码的存储器701;
与存储器701耦合的处理器702;
其中,处理器702调用存储器701中存储的可执行程序代码,执行本发明任意实施例所提供的车辆的定位方法。
本发明实施例还提供了另外一种车载终端,包括存储有可执行程序代码的存储器;与存储器耦合的处理器;其中,处理器调用存储器中存储的可执行程序代码,执行本发明任意实施例所提供的地图的构建方法。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行本发明任意实施例所提供的车辆的定位方法。
本发明实施例还公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行本发明任意实施例所提供的地图的构建方法。
本发明实施例公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行本发明任意实施例所提供的车辆的定位方法的部分或全部步骤。
本发明实施例还公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行本发明任意实施例所提供的地图的构建方法的部分或全部步骤。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在本发明所提供的实施例中,应理解,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于自动驾驶电子导航地图的驾驶策略生成方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (18)
1.一种车辆的定位方法,应用于自动驾驶,其特征在于,包括:
根据车辆中的预设定位传感器所采集的数据,确定车辆在当前时刻的定位信息;
根据所述定位信息和已完成修正的车辆的历史定位结果确定所述车辆的当前定位结果;
其中,所述历史定位结果是在所述当前时刻之前,利用图像传感器数据所确定的第一定位结果对预设定位传感器数据所确定的第二定位结果进行修正处理后得到的,所述图像传感器的采样频率小于所述预设定位传感器的采样频率。
2.根据权利要求1所述的方法,其特征在于,所述历史定位结果的修正处理的过程采用迭代方式,在图像传感器的任意一个图像采样周期内,利用图像传感器数据所确定的第一定位结果对该图像采样周期内各个时刻的由预设定位传感器数据所确定的第二定位结果依次进行修正处理,并将每次修正处理的输出作为下次修正处理的输入。
3.根据权利要求1或2所述的方法,其特征在于,所述预设定位传感器为轮速传感器,所述定位信息包括车轮位移、轮距和车辆的航向角;相应的,
根据所述定位信息和已完成修正的车辆的历史定位结果确定所述车辆的当前定位结果,包括:
根据车轮位移、轮距和车辆的航向角,并结合已完成修正的车辆的历史定位结果,按照如下公式计算车辆在当前时刻的当前定位结果:
Δs=(Δsr+Δsl)/2
Δθ=(Δsr-Δsl)/B
其中,i表示上一个时刻,i+1表示当前时刻;pi+1为车辆在当前时刻的当前定位结果,pi=(xi,yi,θi)t为上一时刻已完成修正的车辆的历史定位结果,该历史定位结果包括x,y方向坐标和航向角θ;Δsr,Δsl分别为右后车轮位移和左后车轮位移,B为轮距。
4.根据权利要求1或2所述的方法,其特征在于:所述第一定位结果通过采用如下步骤来确定:
对于当前时刻所属图像采样周期之前的相邻两个图像采样周期,获取所述相邻两个图像采样周期内前一个图像采样周期的第一图像数据以及后一个图像采样周期的第二图像数据;
根据车辆在所述前一个图像采样周期结束时刻已完成修正的定位结果,并结合所述第一图像数据和所述第二图像数据计算第一定位结果。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
确定预设定位传感器所对应的各个第二定位结果从所述前一个图像采样周期开始时刻到所述后一个图像采样周期开始时刻的位姿增量;
相应的,所述方法还包括:
根据所述位姿增量、所述车辆在前一个图像采样周期结束时刻已完成修正的定位结果、所述第一图像数据和所述第二图像数据,确定第一定位结果。
6.根据权利要求5所述的方法,其特征在于,根据所述位姿增量、所述车辆在前一个图像采样周期结束时刻已完成修正的定位结果、所述第一图像数据和所述第二图像数据,确定第一定位结果,包括:
按照如下公式确定第一定位结果:
pm+1,λm=argmin(||pm*Am-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2);
其中,m表示所述前一个图像采样周期的开始时刻,m+1表示所述后一个图像采样周期的开始时刻;Pm表示所述前一个图像采样周期对应的已完成修正的定位结果,Pm+1表示所述后一个图像采样周期对应的第一定位结果;λm为预设定位传感器与图像之间的尺度比例系数;ΔPm为所述位姿增量;Am为所述第一图像数据;Am+1表示所述第二图像数据。
7.一种车辆的定位装置,应用于自动驾驶,其特征在于,包括:
定位信息确定模块,用于根据车辆中的预设定位传感器所采集的数据,确定车辆在当前时刻的定位信息;
当前定位结果确定模块,用于根据所述定位信息和已完成修正的车辆的历史定位结果确定所述车辆的当前定位结果;
其中,所述历史定位结果是在所述当前时刻之前,利用图像传感器数据所确定的第一定位结果对预设定位传感器数据所确定的第二定位结果进行修正处理后得到的,所述图像传感器的采样频率小于所述预设定位传感器的采样频率。
8.根据权利要求7所述的装置,其特征在于,所述历史定位结果的修正处理的过程采用迭代方式,在图像传感器的任意一个图像采样周期内,利用图像传感器数据所确定的第一定位结果对该图像采样周期内各个时刻的由预设定位传感器数据所确定的第二定位结果进行依次修正处理,并将每次修正处理的输出作为下次修正处理的输入。
9.根据权利要求7或8所述的装置,其特征在于,所述预设定位传感器为轮速传感器,所述定位信息包括车轮位移、轮距和车辆的航向角;
相应的,所述当前定位结果确定模块具体用于:
根据车轮位移、轮距和车辆的航向角,并结合已完成修正的车辆的历史定位结果,按照如下公式计算车辆在当前时刻的当前定位结果:
Δs=(Δsr+Δsl)/2
Δθ=(Δsr-Δsl)/B
其中,i表示上一个时刻,i+1表示当前时刻;pi+1为车辆在当前时刻的当前定位结果,pi=(xi,yi,θi)t为上一时刻已完成修正的车辆的历史定位结果,该历史定位结果包括x,y方向坐标和航向角θ;Δsr,Δsl分别为右后车轮位移和左后车轮位移,B为轮距。
10.根据权利要求7或8所述的装置,其特征在于,所述第一定位结果通过采用如下模块来确定:
图像数据获取模块,用于对于当前时刻所属图像采样周期之前的相邻两个图像采样周期,获取所述相邻两个图像采样周期内前一个图像采样周期的第一图像数据以及后一个图像采样周期的第二图像数据;
第一定位结果计算模块,用于根据车辆在所述前一个图像采样周期结束时刻已完成修正的定位结果,并结合所述第一图像数据和所述第二图像数据计算第一定位结果。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
位姿增量确定模块,用于确定预设定位传感器所对应的各个第二定位结果从所述前一个图像采样周期开始时刻到所述后一个图像采样周期开始时刻的位姿增量;
相应的,所述装置还包括:
第一定位结果确定模块,用于根据所述位姿增量、所述车辆在所述前一个图像采样周期结束时刻已完成修正的定位结果、所述第一图像数据和所述第二图像数据,确定第一定位结果。
12.根据权利要求11所述的装置,其特征在于,所述第一定位结果确定模块具体用于:
按照如下公式确定第一定位结果:
pm+1,λm=argmin(||pm*Am-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2);
其中,m表示所述前一个图像采样周期的开始时刻,m+1表示所述后一个图像采样周期的开始时刻;Pm表示所述前一个图像采样周期对应的已完成修正的定位结果,Pm+1表示所述后一个图像采样周期对应的第一定位结果;λm为预设定位传感器与图像之间的尺度比例系数;ΔPm为所述位姿增量;Am为所述第一图像数据;Am+1表示所述第二图像数据。
13.一种地图的构建方法,应用于自动驾驶,其特征在于,包括:
对图像传感器所采集的不同采样周期的图像进行识别,得到不同采样周期各个语义特征的位置信息;
根据车辆在不同采样周期的定位结果,将各语义特征的位置信息投影到全局地图坐标系中,得到各语义特征在所述全局地图坐标系中的目标位置;
将各个语义特征在地图中所对应的目标位置相结合,得到全局地图;
其中,所述车辆在不同采样周期内任意一个时刻的定位结果均是按照权利要求1-6中任一所述的车辆的定位方法得到的。
14.一种地图的构建装置,应用于自动驾驶,其特征在于,包括:
位置信息确定模块,用于对图像传感器所采集的不同采样周期的图像进行识别,得到不同采样周期各个语义特征的位置信息;
目标位置确定模块,用于根据车辆在不同采样周期的定位结果,将各语义特征的位置信息投影到全局地图坐标系中,得到各语义特征在所述全局地图坐标系中的目标位置;
全局地图构建模块,用于将各个语义特征在地图中所对应的目标位置相结合,得到全局地图;
其中,所述车辆在不同采样周期内任意一个时刻的定位结果均是按照权利要求1-6中任一所述的车辆的定位方法得到的。
15.一种车辆的定位方法,应用于自动驾驶,其特征在于,包括:
识别图像传感器在当前图像采样周期所采集的当前图像,得到所述当前图像中各语义特征的当前位置信息;
将各语义特征的当前位置信息与全局地图中对应的目标位置进行匹配,并根据匹配结果确定车辆在所述当前图像采样周期对应的当前定位结果;
其中,所述全局地图是按照权利要求13所述的方法构建的。
16.根据权利要求15所述的方法,其特征在于,所述方法还包括:
获取车辆在所述当前图像采样周期的前一个图像采样周期结束时刻已完成修正的历史定位结果,并确定预设定位传感器所对应的车辆定位结果从前一个图像采样周期开始时刻到所述当前图像采样周期开始时刻的位姿增量;
相应的,所述方法还包括:按照如下公式确定车辆在所述当前图像采样周期对应的当前定位结果:
pm+1,λm=argmin(||MAP-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2)
其中,m+1表示当前图像采样周期的开始时刻,m表示当前图像采样周期之前的前一个采样周期的开始时刻;Pm表示所述前一个图像采样周期结束时刻对应的已完成修正的历史定位结果,Pm+1表示当前图像采样周期对应的当前定位结果;λm为预设定位传感器与图像之间的尺度比例系数;ΔPm为所述位姿增量;MAP表示全局地图;Am+1表示当前图像。
17.一种车辆的定位装置,应用于自动驾驶,其特征在于,包括:
当前位置信息确定模块,用于识别图像传感器在当前图像采样周期所采集的当前图像,得到所述当前图像中各语义特征的当前位置信息;
当前定位结果确定模块,用于将各语义特征的当前位置信息与全局地图中对应的目标位置进行匹配,并根据匹配结果确定车辆在所述当前图像采样周期对应的当前定位结果;
其中,所述全局地图是按照权利要求13所述的方法构建的。
18.根据权利要求17所述的装置,其特征在于,所述装置还包括:
历史定位结果和位置增量获取模块,用于获取车辆在所述当前图像采样周期的前一个图像采样周期结束时刻已完成修正的历史定位结果,以及预设定位传感器所对应的车辆定位结果从前一个图像采样周期开始时刻到所述当前图像采样周期开始时刻的位姿增量;
相应的,所述装置还包括:
按照如下公式确定车辆在所述当前图像采样周期对应的当前定位结果:
pm+1,λm=argmin(||MAP-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2)
其中,m+1表示当前采样周期的开始时刻,m表示所述当前采样周期之前的前一个采样周期的开始时刻;Pm表示所述前一个采样周期结束时刻对应的已完成修正的历史定位结果,Pm+1表示当前采样周期对应的当前定位结果;λm为预设定位传感器与图像之间的尺度比例系数;ΔPm为所述位姿增量;MAP表示全局地图;Am+1表示当前图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811565959.4A CN111351497B (zh) | 2018-12-20 | 2018-12-20 | 一种车辆的定位方法、装置、地图的构建方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811565959.4A CN111351497B (zh) | 2018-12-20 | 2018-12-20 | 一种车辆的定位方法、装置、地图的构建方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111351497A true CN111351497A (zh) | 2020-06-30 |
CN111351497B CN111351497B (zh) | 2022-06-03 |
Family
ID=71192147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811565959.4A Active CN111351497B (zh) | 2018-12-20 | 2018-12-20 | 一种车辆的定位方法、装置、地图的构建方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111351497B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113008260A (zh) * | 2021-03-26 | 2021-06-22 | 上海商汤临港智能科技有限公司 | 一种导航信息处理方法、装置、电子设备及存储介质 |
WO2022099525A1 (zh) * | 2020-11-12 | 2022-05-19 | 深圳元戎启行科技有限公司 | 车辆定位方法、装置、计算机设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140100713A1 (en) * | 2010-07-15 | 2014-04-10 | George C. Dedes | Gnss/imu positioning, communication, and computation platforms for automotive safety applications |
CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
CN105180933A (zh) * | 2015-09-14 | 2015-12-23 | 中国科学院合肥物质科学研究院 | 基于直行路口检测的移动机器人航迹推算修正***及方法 |
CN106840179A (zh) * | 2017-03-07 | 2017-06-13 | 中国科学院合肥物质科学研究院 | 一种基于多传感器信息融合的智能车定位方法 |
CN107292949A (zh) * | 2017-05-25 | 2017-10-24 | 深圳先进技术研究院 | 场景的三维重建方法、装置及终端设备 |
CN107478214A (zh) * | 2017-07-24 | 2017-12-15 | 杨华军 | 一种基于多传感器融合的室内定位方法及*** |
CN108829116A (zh) * | 2018-10-09 | 2018-11-16 | 上海岚豹智能科技有限公司 | 基于单目摄像头的避障方法及设备 |
CN108955688A (zh) * | 2018-07-12 | 2018-12-07 | 苏州大学 | 双轮差速移动机器人定位方法及*** |
-
2018
- 2018-12-20 CN CN201811565959.4A patent/CN111351497B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140100713A1 (en) * | 2010-07-15 | 2014-04-10 | George C. Dedes | Gnss/imu positioning, communication, and computation platforms for automotive safety applications |
CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
CN105180933A (zh) * | 2015-09-14 | 2015-12-23 | 中国科学院合肥物质科学研究院 | 基于直行路口检测的移动机器人航迹推算修正***及方法 |
CN106840179A (zh) * | 2017-03-07 | 2017-06-13 | 中国科学院合肥物质科学研究院 | 一种基于多传感器信息融合的智能车定位方法 |
CN107292949A (zh) * | 2017-05-25 | 2017-10-24 | 深圳先进技术研究院 | 场景的三维重建方法、装置及终端设备 |
CN107478214A (zh) * | 2017-07-24 | 2017-12-15 | 杨华军 | 一种基于多传感器融合的室内定位方法及*** |
CN108955688A (zh) * | 2018-07-12 | 2018-12-07 | 苏州大学 | 双轮差速移动机器人定位方法及*** |
CN108829116A (zh) * | 2018-10-09 | 2018-11-16 | 上海岚豹智能科技有限公司 | 基于单目摄像头的避障方法及设备 |
Non-Patent Citations (2)
Title |
---|
王加芳: "GPS/Visual/INS多传感器融合导航算法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
薛颂东: "《群机器人协调控制》", 30 November 2016, 北京理工大学出版社 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022099525A1 (zh) * | 2020-11-12 | 2022-05-19 | 深圳元戎启行科技有限公司 | 车辆定位方法、装置、计算机设备和存储介质 |
CN113008260A (zh) * | 2021-03-26 | 2021-06-22 | 上海商汤临港智能科技有限公司 | 一种导航信息处理方法、装置、电子设备及存储介质 |
CN113008260B (zh) * | 2021-03-26 | 2024-03-22 | 上海商汤临港智能科技有限公司 | 一种导航信息处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111351497B (zh) | 2022-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111415387B (zh) | 相机位姿确定方法、装置、电子设备及存储介质 | |
CN109084782B (zh) | 基于摄像头传感器的车道线地图构建方法以及构建*** | |
CN111830953B (zh) | 车辆自定位方法、装置及*** | |
JP2020064046A (ja) | 車両位置決定方法及び車両位置決定装置 | |
CN110530372B (zh) | 定位方法、路径确定方法、装置、机器人及存储介质 | |
EP2053860A1 (en) | On-vehicle image processing device and its viewpoint conversion information generation method | |
CN110969055B (zh) | 用于车辆定位的方法、装置、设备和计算机可读存储介质 | |
CN113311905B (zh) | 一种数据处理*** | |
CN111489288B (zh) | 一种图像的拼接方法和装置 | |
CN111339802A (zh) | 实时相对地图的生成方法及装置、电子设备和存储介质 | |
CN112347205A (zh) | 一种车辆误差状态的更新方法和装置 | |
CN110596741A (zh) | 车辆定位方法、装置、计算机设备和存储介质 | |
CN111351497B (zh) | 一种车辆的定位方法、装置、地图的构建方法和装置 | |
CN111982132B (zh) | 数据处理方法、装置和存储介质 | |
CN110207715B (zh) | 车辆定位的修正方法及修正*** | |
CN116184430A (zh) | 一种激光雷达、可见光相机、惯性测量单元融合的位姿估计算法 | |
CN114248778A (zh) | 移动设备的定位方法和定位装置 | |
CN115456898A (zh) | 停车场的建图方法、装置、车辆及存储介质 | |
CN113223064A (zh) | 一种视觉惯性里程计尺度的估计方法和装置 | |
CN112184906B (zh) | 一种三维模型的构建方法及装置 | |
CN114358038B (zh) | 一种基于车辆高精度定位的二维码坐标标定方法及装置 | |
CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
CN115112125A (zh) | 自动驾驶车辆的定位方法、装置及电子设备、存储介质 | |
CN114004957B (zh) | 增强现实图片的生成方法、装置、设备和存储介质 | |
CN115205828B (zh) | 一种车辆定位方法、装置、整车控制器及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220228 Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd. Address before: Room 28, 4 / F, block a, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing 100089 Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |