CN113946151A - 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 - Google Patents
针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 Download PDFInfo
- Publication number
- CN113946151A CN113946151A CN202111224048.7A CN202111224048A CN113946151A CN 113946151 A CN113946151 A CN 113946151A CN 202111224048 A CN202111224048 A CN 202111224048A CN 113946151 A CN113946151 A CN 113946151A
- Authority
- CN
- China
- Prior art keywords
- data
- adjusted
- wheel speed
- positioning
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims description 42
- 230000000007 visual effect Effects 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 230000005484 gravity Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 1
- 230000010354 integration Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 238000011423 initialization method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种针对自动驾驶车辆的数据处理方法、装置、设备、介质、产品和自动驾驶车辆，涉及人工智能交通领域，具体为自动驾驶领域。针对自动驾驶车辆的数据处理方法包括：获取与自动驾驶车辆相关联的图像数据和参考位姿数据；获取针对自动驾驶车辆的待调整数据，其中，待调整数据包括初始位姿数据和初始环境数据中的至少一个；基于图像数据和参考位姿数据，调整待调整数据，得到用于对自动驾驶车辆进行定位的定位数据。
Description
技术领域
本公开涉及智能交通技术领域，尤其涉及自动驾驶领域，更具体地，涉及一种针对自动驾驶车辆的数据处理方法、装置、电子设备、介质、程序产品和自动驾驶车辆。
背景技术
自动驾驶车辆在驾驶过程中，需要实时定位自身的位置。但是，相关技术的自动驾驶车辆定位精度较低，导致自动驾驶车辆的驾驶过程存在安全隐患。
发明内容
本公开提供了一种针对自动驾驶车辆的数据处理方法、装置、电子设备、存储介质、程序产品和自动驾驶车辆。
根据本公开的一方面，提供了一种针对自动驾驶车辆的数据处理方法，包括：获取与所述自动驾驶车辆相关联的图像数据和参考位姿数据；获取针对所述自动驾驶车辆的待调整数据，其中，所述待调整数据包括初始位姿数据和初始环境数据中的至少一个；基于所述图像数据和所述参考位姿数据，调整所述待调整数据，得到用于对所述自动驾驶车辆进行定位的定位数据。
根据本公开的另一方面，提供了一种针对自动驾驶车辆的数据处理装置，包括：第一获取模块、第二获取模块以及调整模块。第一获取模块，用于获取与所述自动驾驶车辆相关联的图像数据和参考位姿数据；第二获取模块，用于获取针对所述自动驾驶车辆的待调整数据，其中，所述待调整数据包括初始位姿数据和初始环境数据中的至少一个；调整模块，用于基于所述图像数据和所述参考位姿数据，调整所述待调整数据，得到用于对所述自动驾驶车辆进行定位的定位数据。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器和与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的针对自动驾驶车辆的数据处理方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的针对自动驾驶车辆的数据处理方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的针对自动驾驶车辆的数据处理方法。
根据本公开的另一方面，提供了一种自动驾驶车辆，包括上述电子设备。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示意性示出了根据本公开一实施例的针对自动驾驶车辆的数据处理方法和装置的应用场景；
图2示意性示出了根据本公开一实施例的针对自动驾驶车辆的数据处理方法的流程图；
图3示意性示出了根据本公开一实施例的针对自动驾驶车辆的数据处理方法的原理图；
图4示意性示出了根据本公开另一实施例的针对自动驾驶车辆的数据处理方法的原理图；
图5示意性示出了根据本公开一实施例的数据调整的示意图；
图6示意性示出了根据本公开一实施例的针对自动驾驶车辆的数据处理装置的框图；以及
图7是用来实现本公开实施例的用于执行针对自动驾驶车辆的数据处理的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
图1示意性示出了根据本公开一实施例的针对自动驾驶车辆的数据处理方法和装置的应用场景。
如图1所示，本公开实施例的应用场景例如包括自动驾驶车辆110、数据初始化模块120和定位模块130，数据初始化模块120和定位模块130例如可以设置于自动驾驶车辆110中。数据初始化模块120例如用于对视觉惯性里程计(Visual Inertial Odmetry，VIO)进行初始化，以得到VIO初始参数。定位模块130例如用于通过同时定位和建图(Simultaneous Localization And Mapping，SLAM)技术基于VIO初始参数进行定位。
SLAM技术允许自动驾驶车辆、机器人和AR/VR***在重建场景中定位自身的位置以及了解自身所处的环境。通常SLAM技术采用单目摄像机和低成本惯性测量单元(Inertial Measurement Unit，IMU)进行数据采集并定位。在通过SLAM技术进行定位之前，通常需要进行VIO初始化，以得到VIO初始参数。
以自动驾驶车辆为例，VIO初始参数例如包括自动驾驶车辆的重力方向、IMU零偏(陀螺仪零偏、加速度计零偏)、自动驾驶车辆的速度等。在一些情况下，VIO初始化在特定运动下存在不可观量，导致得到精度较低的初始参数，从而使得后续通过SLAM技术进行定位计算时，定位算法无法收敛。
VIO初始化方法例如包括两类。第一类方法例如首先得到相机(单目摄像机)位姿，再与IMU预积分联立方程求解VIO初始化参数。根据求解思路的不同可以分为单次迭代方法与多次迭代的方法。第二类方法可以不事先求解相机位姿，而是通过图像的特征匹配和IMU预积分，建立线性方程进行求解，这种方法可以直接得到图像中特征点的深度、与IMU相关的初始化参数。第二类方法通常需要较强的假设，比如假设参与初始化的图像帧均能观测到多个相同的地图点(路标点)，该地图点在图像中表示为特征点。
基于IMU和相机的VIO初始化方法，通常在自动驾驶车辆做加速度变化较大的运行时，才能够初始化成功，这是由于建模方式的局限性所致。自动驾驶车辆做恒定加速度的运动时，除了全局位置和偏航信息不可观外，尺度也不可观，这是因为当加速度不变时，无法区分加速度和其加速度偏差。
VIO初始化通常需在激励充足的条件下进行，当轮式机器人做恒定加速度运动或直线运动时，VIO初始化存在不可观测量。在一种示例中，可以加入轮速计以解决不可观测的问题。例如以计算轮速计的位置增量以及预积分模型，旋转(姿态)数据由陀螺仪提供，基于轮式机器人位姿和IMU预积分模型的线性方程求解，得到VIO初始参数。在另一种示例中，利用左右编码器示数计算轮速计的角度增量以及预积分模型，然后基于轮式机器人位姿和IMU预积分模型的线性方程求解，得到VIO初始参数。
加入轮速计进行VIO初始化方法，例如需要首先通过运动恢复结构(StructureFrom Motion，SFM)的方法得到了相机位姿，在与IMU预积分对齐后加入轮速计对位置增量的约束。但是自动驾驶车辆在行驶时，点轨迹的帧间基线较短，三角测量得到的地图点不够准，从而导致通过SFM方法得到的相机位姿不准，导致VIO初始化精度较低。
有鉴于上述示例中提出的VIO初始化精度较低的问题，本公开的实施例提供了一种针对自动驾驶车辆的数据处理方法，包括：获取与自动驾驶车辆相关联的图像数据和参考位姿数据。然后，获取针对自动驾驶车辆的待调整数据，其中，待调整数据包括初始位姿数据和初始环境数据中的至少一个。接下来，基于图像数据和参考位姿数据，调整待调整数据，得到用于对自动驾驶车辆进行定位的定位数据。
下面结合图1的应用场景，参考图2～图5来描述根据本公开示例性实施方式的针对自动驾驶车辆的数据处理方法。
图2示意性示出了根据本公开一实施例的针对自动驾驶车辆的数据处理方法的流程图。
如图2所示，本公开实施例的针对自动驾驶车辆的数据处理方法200例如可以包括操作S210～操作S230。
在操作S210，获取与自动驾驶车辆相关联的图像数据和参考位姿数据。
在操作S220，获取针对自动驾驶车辆的待调整数据，待调整数据包括初始位姿数据和初始环境数据中的至少一个。
在操作S230，基于图像数据和参考位姿数据，调整待调整数据，得到用于对自动驾驶车辆进行定位的定位数据。
示例性地，与自动驾驶车辆相关联的图像数据，例如包括自动驾驶车辆周围环境的图像，图像数据可以由设置在自动驾驶车辆中的相机获取。与自动驾驶车辆相关联的参考位姿数据例如是基于轮速计和惯性器的采集数据得到。轮速计和惯性器例如设置在自动驾驶车辆上，惯性器例如包括惯性测量单元(IMU)，惯性测量单元(IMU)例如包括陀螺仪和加速度计。
示例性地，初始位姿数据例如包括初始位置和初始姿态。初始环境数据例如包括与自动驾驶车辆周围环境相关联的数据、与惯性器相关联的数据等。
在一些情况下，由于待调整数据的精度达不到精度要求，需要对待调整数据进行调整，以提高待调整数据的精度。然后，基于调整后的数据得到定位数据。定位数据例如包括VIO的初始化参数，自动驾驶车辆在行驶过程中，可以以定位数据为基准进行定位。
根据本公开的实施例，在获取待调整数据之后，可以基于图像数据和参考位姿数据对待调整数据进行调整，提高了待调整数据的精度，从而提高定位数据的精度。在基于定位数据进行定位时，提高了定位效果。
图3示意性示出了根据本公开一实施例的针对自动驾驶车辆的数据处理方法的原理图。
如图3所示，自动驾驶车辆例如包括相机310、轮速计320和惯性器330。相机310用于采集图像数据，图像数据包括多帧图像。轮速计320用于采集车辆的速度数据。惯性器330例如包括陀螺仪和加速度计，陀螺仪用于采集角速度数据，加速度计用于采集加速度数据。
接下来，获取轮速计采集的速度数据和惯性器采集的角速度数据，并基于轮速计采集的速度数据和惯性器采集的角速度数据，计算得到轮速计预积分，从而得到初始位姿数据。初始位姿数据例如包括初始位置和初始姿态。图像数据中每个帧图像例如可以对应一个初始位姿数据或者，相邻两帧图像分别对应的两个时刻之间包括多个时刻，每个时刻可以对应一个初始位姿数据。相邻两帧图像的时刻例如分别为k和k+1，i例如是轮速计或IMU采集数据对应的时刻，k至k+1时刻中例如有多个轮速计或IMU数据，即，i到i+1例如为k至k+1时刻之间中的某一部分数据。初始位姿数据例如通过公式(1)和公式(2)计算得到。
在公式(1)中，
表示第i时刻相对于第k时刻的初始姿态(角度)，
表示第i+1时刻相对于第k时刻的初始姿态(角度)。
和
例如均是四元数形式。Ω表示将一个多维度(例如3维度)向量转换为对应的3*3大小的反对称矩阵。
举例来说，
表示其中，ω例如是3*1维度的陀螺仪测量值，下标“×”例如表示转换，例如将3*1维的向量转成3*3维的向量。ωm，i表示第i时刻陀螺仪的测量值，下标m表示测量值。
表示第i时刻的陀螺仪的零偏，下标g表示陀螺仪。Δti表示IMU的测量步长，也就是i+1时刻减去i时刻的时间长度。上标I表示IMU坐标系。
在公式(2)中，
和
分别表示第k时刻相对于第i时刻的初始位置、第k时刻相对于第i+1时刻的初始位置。R表示旋转矩阵，
和公式(1)中的
的含义类似。
表示IMU坐标系相对于车辆坐标系的旋转矩阵，
表示
的转置。
中的下标“×”表示转换，例如将3*1维的向量转成3*3维的向量。
表示第i时刻车辆的速度。
表示尺度，例如为经验值常数。
表示车辆坐标系在IMU坐标系中的位置。Δti的含义参考公式(1)。
在通过公式(1)和公式(2)得到初始位姿数据之后，可以将初始位姿数据和初始环境数据作为待调整数据。初始环境数据例如包括特征点的初始深度信息、针对惯性器的陀螺仪偏差信息。特征点例如是地图点(路标点)在图像中对应的点。
待调整数据例如包括公式(3)χT中的各个参数。
在公式(3)中，下标F表示滑窗中的图像帧数。下标p和下标q分别表示滑窗中任意相邻的两帧。下标M表示路标点(地图点)的个数。下标N表示对车道线进行离散采样得到的采样点个数。
λm表示特征点的逆深度。
表示第l帧相对于第0帧的相对位置，
表示第l帧相对于第0帧的相对姿态(角度)。bω，l表示针对l帧的陀螺仪偏差，其中下标ω表示旋转，bω，l的初值可以设置为0。
接下来，基于图像数据和参考位姿数据，调整待调整数据。例如处理图像数据，得到特征点数据(特征点投影因子)和车道线数据(车道线ICP因子)。参考位姿数据包括基于轮速计采集数据(速度数据)和惯性器采集数据(角速度数据)得到的轮速计位姿数据(轮速计积分因子)。然后，基于特征点数据(特征点投影因子)、车道线数据(车道线ICP因子)和轮速计位姿数据(轮速计积分因子)，调整待调整数据得到定位数据。ICP(Iterative ClosestPoint)表示迭代最近点。
其中，特征点数据(特征点投影因子)、车道线数据(车道线ICP因子)和轮速计位姿数据(轮速计积分因子)作为观测数据，表示为公式(4)。可以基于观测数据调整待调整数据。
在公式(4)中，Pl m表示特征点m在第l帧的归一化坐标值(测量值)。
表示在q帧时车道线在IMU坐标系下离散采样得到N个采样点中的第n个采样点的坐标值。Ip，g表示第q帧相对于第p帧的轮速计预积分位置增量和姿态(角度)增量，与公式(1)和公式(2)类似。
示例性地，参考位姿数据还包括基于轮速计采集的速度数据和惯性器采集的角速度。在调整待调整数据时，可以基于特征点数据和待调整数据，得到特征点误差数据。基于车道线数据、特征点数据和待调整数据，得到车道线误差数据。基于轮速计位姿数据、惯性器位姿数据和待调整数据，得到轮速计误差数据，例如，基于轮速计采集的速度数据(轮速计位姿数据)和惯性器采集的角速度(惯性器位姿数据)得到两帧之间的相对位姿，相对位姿包括相对位置和相对姿态，基于相对位姿和待调整数据，得到轮速计误差数据。
然后，基于特征点误差数据、车道线误差数据和轮速计误差数据，调整待调整数据得到定位数据。
接下来，通过构造最大后验(Maximum A Posteriori，MAP)问题进行计算。例如，基于特征点误差数据、车道线误差数据和轮速计误差数据，确定误差函数，并利用最小二乘算法基于误差函数，调整待调整数据得到定位数据。其中，误差函数例如表示为以下公式(5)。
在公式(5)中，rP表示特征点误差数据，rL表示车道线误差数据，rI表示轮速计误差数据。ρ是优化问题中的鲁棒核函数，用来约束离群点。
表示锚定帧中某个特征点的坐标，也就是基准帧(锚定帧)对某个特征点的像素测量值，锚定帧是首次观测到越这个特征点对应地图点的那一帧。各个误差数据例如表示为公式(6)、(7)、(8)。
在公式(6)中，
表示将在基准帧看到的第m个路标点对应的特征点投影至第l帧得到的归一的坐标值。而第m个路标点对应的特征点在第l帧也能被观测到，在第l帧对该特征点进行归一化得到了归一化坐标
和
分别表示锚定帧中特征点的归一化坐标。
在公式(7)中，
中下标x表示反对称矩阵。
表示一个方向向量，例如为3*1维度，
例如表示车道线在p帧的切线方向。
参考公式(4)。
表示将
投影到p帧后，将p帧车道线离散得到的多个采样点中距离
最近的那个采样点的坐标值。
针对BTC、
CTB中的每个，均表示右边字母相对于左边字母的变换矩阵。其中，B表示IMU坐标系，C表示相机系，Cp表示p帧的IMU坐标系，Cq表示q帧的IMU坐标系，C0表示0帧的IMU坐标系。
在公式(8)中，pαq表示基于轮速计的轮速和陀螺仪的转速得到的p、q帧之间的相对位置，与公式(2)类似。pγq*表示基于轮速计的轮速和陀螺仪的转速得到的p、q帧之间的相对姿态，与公式(1)类似。bω，q、bω，p分别表示q、p时刻的陀螺仪偏差。
rP、rθ、
分别表示位置、姿态和陀螺仪偏差的误差数据。Ip，q参考公式(4)。CtB、
BtC分别表示右边字母相对于左边字母的相对位置。BqC、
BqC*分别表示右边字母对应的坐标系相对于左边字母对应的坐标系的相对旋转，用四元数形式表示。BRC代表C坐标系到B坐标系的旋转矩阵，R(q)表示四元数到旋转矩阵的变换。[]0：2中的下标0：2表示取多维向量中的前三个维度。
由公式(6)可知，特征点误差数据至少与特征点数据(坐标数据)相关联。由公式(7)可知，车道线误差数据至少与车道线数据(坐标数据)和特征点数据相关联。由公式(8)可知，轮速计误差数据至少与轮速计位姿数据、pαq、pγq*、bω，q、bω，p相关联。
示例性地，特征点重投影误差、车道线ICP误差以及轮速计预积分误差的定义如公式(6)、(7)、(8)所示。通过求解公式(5)中的最大后验问题的局部最优解，得到了带有绝对尺度的IMU位姿，解决相关技术中位姿不准的问题，并且也解决了相关技术中车辆均加速运动时尺度不可观的问题。在IMU预积分和已有位姿对齐的过程中加入尺度先验约束和加速度计偏差约束，解决了自动驾驶车辆做***面运动时的不可观问题。
在调整待调整数据得到调整后的数据之后，可以基于视觉惯性对齐处理调整后的数据得到定位数据，定位数据例如包括自动驾驶车辆的速度数据、自动驾驶车辆的重力方向数据、惯性器采集的加速度数据、轮速计采集的尺度数据。示例性地，可以基于IMU预积分进行视觉惯性对齐。
根据本公开的实施例，基于相机、轮速计、IMU的数据来调整待调整数据，提高了数据的准确性，从而提高了后续的定位精度。
图4示意性示出了根据本公开另一实施例的针对自动驾驶车辆的数据处理方法的原理图。
如图4所示，本公开的实施例400例如包括传感器数据流、前端、后端(初始化模块)。
首先，采集到的传感器数据流需要进行预处理。传感器数据来包括通过相机采集的图像数据、通过轮速计采集的数据和通过IMU采集的数据。由于各类传感器采集数据的频率不同，因此可以对各类传感器采集的数据进行预处理，使得数据对齐。
例如，相机采集数据的频率为15HZ、轮速计采集数据的频率为100HZ、IMU采集数据的频率为125HZ。例如，可以将IMU采集的数据向15HZ的图像数据进行插值。由于轮速计的数据需要做杆臂补偿，因此可以将轮速计采集的数据向IMU数据进行插值，也可以将轮速计采集的数据向图像数据进行插值。
然后，由前端进行数据处理。例如对图像数据进行特征点的提取与匹配以及进行车道线匹配等。基于轮速计采集的数据和IMU采集的数据进行前后两帧图像之间的轮速计预积分计算，以及基于轮速计采集的数据和IMU采集的数据进行前后两帧图像之间的IMU预积分计算。
接下来，通过后端进行参数的初始化计算。例如，通过Bundle Adjustment方法对待调整数据进行调整得到调整后的数据。然后，基于视觉惯性对齐处理调整后的数据，得到定位数据。定位数据即为所需的初始化参数。Bundle Adjustment方法简称BA方法。
具体地，在后端的数据处理流程中，可以基于特征点提取与匹配结果、车道线匹配结果和轮速计预积分结果利用BA方法进行计算。例如，首先判断自动驾驶车辆是否处于静止状态，如果不是处于静止状态，则利用BA方法对待调整数据进行调整以得到调整后的数据，如果处于静止状态，可以进行错误检测。利用BA方法计算后，可以判断BA计算是否完成，如果完成，则进行后续的错误检测，如果没有完成，可以进行状态量回滚。状态量回滚例如表示基于BA方法进行数据调整的结果出现错误时，不接受调整后的数据，而是将数据重置为调整前的数据。
在进行错误检测时，如果确定错误，则可以进行状态量回滚，如果没有错误，可以基于视觉惯性对齐处理调整后的数据得到定位数据。在基于视觉惯性对齐处理数据后，确定是否初始化完成，如果是，则将得到的定位数据作为初始化数据，初始化数据例如包括自动驾驶车辆的速度数据、自动驾驶车辆的重力方向数据、惯性器采集的加速度数据、轮速计采集的尺度数据等等。如果初始化没有完成，可以进行状态量回滚。
图5示意性示出了根据本公开一实施例的数据调整的示意图。
如图5所示，利用BA方法对待调整数据进行调整的过程，可以以图5所示的因子图形式来表示。空心正方形图标表示特征点重投影因子，空心三角形表示车道线ICP因子，空心五角星表示轮速计预积分因子。
T0～T3表示滑窗中包括的4帧图像对应的初始位姿，初始位姿包括初始位置和初始姿态。Bg0～Bg3表示与4帧图像一一对应的陀螺仪偏差。X0～X2表示3个路标点，路标点也称地图点，在图像中对应特征点。
以第X2个路标点为例，第X2个路标点出现在第T1帧和T3帧，则可以基于从图像中识别得到的特征点调整针对第T1帧和T3帧的初始位姿。第X2个路标点还出现在第T2帧和T3帧，可以基于从图像中识别得到的特征点调整针对第T2帧和T3帧的初始位姿。
示例性地，可以基于车道线ICP因子调整针对相邻两帧的初始位姿。基于轮速计预积分因子调整相邻两帧的初始位姿和陀螺仪偏差。
根据本公开的实施例，自动驾驶车辆在任意运动状态下都可以进行数据的初始化。由于车道线上像素梯度通常仅存在单个方向，使得特征点难以成功匹配，因此本公开实施例的车道线与特征点之间形成了互补的观测，对轮速积分得到的位姿进一步优化。通过本公开实施例，能够得到精度较高的位姿，使得在视觉惯性对齐时基于位姿能够得到精度更高的重力方向和IMU零偏等参数，使得SLAM定位***也更加精准。
相关技术通常仅能在自动驾驶车辆做加速度变化较大的运行时，才能够初始化成功。而本公开的实施例，通过轮速计积分得到了带尺度信息的位姿，并且将这个尺度信息通过轮速计预积分的形式加入到了BA方法中，使得在调整位姿的同时，还能保留尺度信息。
相关技术在获得归一化尺度的视觉位姿时过于依赖视觉的观测，如果视觉的观测不好，则位姿精度较差，后续视觉惯性对齐的精度也就较低。本公开实施例，通过BA方法解决了视觉位姿的不准的问题，例如位姿初值是通过轮速积分得到，并且还将车道线ICP作为尺度和横向约束，保证位姿不出现大的跳变。
图6示意性示出了根据本公开一实施例的针对自动驾驶车辆的数据处理装置的框图。
如图6所示，本公开实施例的针对自动驾驶车辆的数据处理装置600例如包括第一获取模块610、第二获取模块620和调整模块630。
第一获取模块610可以用于获取与自动驾驶车辆相关联的图像数据和参考位姿数据。根据本公开实施例，第一获取模块610例如可以执行上文参考图2描述的操作S210，在此不再赘述。
第二获取模块620可以用于获取针对自动驾驶车辆的待调整数据，其中，待调整数据包括初始位姿数据和初始环境数据中的至少一个。根据本公开实施例，第二获取模块620例如可以执行上文参考图2描述的操作S220，在此不再赘述。
调整模块630可以用于基于图像数据和参考位姿数据，调整待调整数据，得到用于对自动驾驶车辆进行定位的定位数据。根据本公开实施例，调整模块630例如可以执行上文参考图2描述的操作S230，在此不再赘述。
根据本公开的实施例，参考位姿数据包括基于轮速计采集数据得到的轮速计位姿数据；其中，调整模块630包括：处理子模块和第一调整子模块。处理子模块，用于处理图像数据，得到特征点数据和车道线数据；第一调整子模块，用于基于特征点数据、车道线数据和轮速计位姿数据，调整待调整数据，得到定位数据。
根据本公开的实施例，参考位姿数据还包括基于惯性器采集数据和惯性器采集数据得到的惯性器位姿数据；其中，第一调整子模块包括：第一获得单元、第二获得单元、第三获得单元和调整单元。第一获得单元，用于基于特征点数据和待调整数据，得到特征点误差数据；第二获得单元，用于基于车道线数据、特征点数据和待调整数据，得到车道线误差数据；第三获得单元，用于基于轮速计位姿数据、惯性器位姿数据和待调整数据，得到轮速计误差数据；调整单元，用于基于特征点误差数据、车道线误差数据和轮速计误差数据，调整待调整数据，得到定位数据。
根据本公开的实施例，调整单元包括：确定子单元和调整子单元。确定子单元，用于基于特征点误差数据、车道线误差数据和轮速计误差数据，确定误差函数；调整子单元，用于利用最小二乘算法基于误差函数，调整待调整数据，得到定位数据。
根据本公开的实施例，第二获取模块620包括：第一获取子模块、第二获取子模块和确定子模块。第一获取子模块，用于获取轮速计采集的速度数据；第二获取子模块，用于获取惯性器采集的角速度数据；确定子模块，用于基于速度数据和角速度数据，确定初始位姿数据。
根据本公开的实施例，调整模块630包括：第一调整子模块和获得子模块。第一调整子模块，用于基于图像数据和参考位姿数据，调整待调整数据，得到调整后的数据；获得子模块，用于基于视觉惯性对齐处理调整后的数据，得到定位数据，其中，定位数据包括以下至少一项：自动驾驶车辆的速度数据、自动驾驶车辆的重力方向数据、惯性器采集的加速度数据、轮速计采集的尺度数据。
根据本公开的实施例，初始环境数据包括以下至少一项：特征点的初始深度信息、针对惯性器的陀螺仪偏差信息。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例，提供了一种自动驾驶车辆，包括图7的电子设备。
图7是用来实现本公开实施例的用于执行针对自动驾驶车辆的数据处理的电子设备的框图。
图7示出了可以用来实施本公开实施例的示例电子设备700的示意性框图。电子设备700旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如针对自动驾驶车辆的数据处理方法。例如，在一些实施例中，针对自动驾驶车辆的数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的针对自动驾驶车辆的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行针对自动驾驶车辆的数据处理方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程针对自动驾驶车辆的数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (18)
1.一种针对自动驾驶车辆的数据处理方法，包括：
获取与所述自动驾驶车辆相关联的图像数据和参考位姿数据；
获取针对所述自动驾驶车辆的待调整数据，其中，所述待调整数据包括初始位姿数据和初始环境数据中的至少一个；以及
基于所述图像数据和所述参考位姿数据，调整所述待调整数据，得到用于对所述自动驾驶车辆进行定位的定位数据。
2.根据权利要求1所述的方法，其中，所述参考位姿数据包括基于轮速计采集数据和惯性器采集数据得到的轮速计位姿数据；
其中，所述基于所述图像数据和所述参考位姿数据，调整所述待调整数据，得到用于对所述自动驾驶车辆进行定位的定位数据包括：
处理所述图像数据，得到特征点数据和车道线数据；以及
基于所述特征点数据、所述车道线数据和所述轮速计位姿数据，调整所述待调整数据，得到所述定位数据。
3.根据权利要求2所述的方法，其中，所述参考位姿数据还包括基于惯性器采集数据得到的惯性器位姿数据；
其中，所述基于所述特征点数据、所述车道线数据和所述轮速计位姿数据，调整所述待调整数据，得到所述定位数据包括：
基于所述特征点数据和所述待调整数据，得到特征点误差数据；
基于所述车道线数据、所述特征点数据和所述待调整数据，得到车道线误差数据；
基于所述轮速计位姿数据、所述惯性器位姿数据和所述待调整数据，得到轮速计误差数据；以及
基于所述特征点误差数据、所述车道线误差数据和所述轮速计误差数据，调整所述待调整数据，得到所述定位数据。
4.根据权利要求3所述的方法，其中，所述基于所述特征点误差数据、所述车道线误差数据和所述轮速计误差数据，调整所述待调整数据，得到所述定位数据包括：
基于所述特征点误差数据、所述车道线误差数据和所述轮速计误差数据，确定误差函数；以及
利用最小二乘算法基于所述误差函数，调整所述待调整数据，得到所述定位数据。
5.根据权利要求1-4中任意一项所述的方法，其中，所述获取针对自动驾驶车辆的待调整数据包括：
获取轮速计采集的速度数据；
获取惯性器采集的角速度数据；以及
基于所述速度数据和所述角速度数据，确定所述初始位姿数据。
6.根据权利要求1-5中任意一项所述的方法，其中，所述基于所述图像数据和所述参考位姿数据，调整所述待调整数据，得到用于对所述自动驾驶车辆进行定位的定位数据包括：
基于所述图像数据和所述参考位姿数据，调整所述待调整数据，得到调整后的数据；以及
基于视觉惯性对齐处理所述调整后的数据，得到所述定位数据，
其中，所述定位数据包括以下至少一项：所述自动驾驶车辆的速度数据、所述自动驾驶车辆的重力方向数据、惯性器采集的加速度数据、轮速计采集的尺度数据。
7.根据权利要求1-6中任意一项所述的方法，其中，所述初始环境数据包括以下至少一项：
特征点的初始深度信息、针对惯性器的陀螺仪偏差信息。
8.一种针对自动驾驶车辆的数据处理装置，包括：
第一获取模块，用于获取与所述自动驾驶车辆相关联的图像数据和参考位姿数据；
第二获取模块，用于获取针对所述自动驾驶车辆的待调整数据，其中，所述待调整数据包括初始位姿数据和初始环境数据中的至少一个；以及
调整模块，用于基于所述图像数据和所述参考位姿数据，调整所述待调整数据，得到用于对所述自动驾驶车辆进行定位的定位数据。
9.根据权利要求8所述的装置，其中，所述参考位姿数据包括基于轮速计采集数据得到的轮速计位姿数据；
其中，所述调整模块包括：
处理子模块，用于处理所述图像数据，得到特征点数据和车道线数据；以及
第一调整子模块，用于基于所述特征点数据、所述车道线数据和所述轮速计位姿数据，调整所述待调整数据，得到所述定位数据。
10.根据权利要求9所述的装置，其中，所述参考位姿数据还包括基于惯性器采集数据和惯性器采集数据得到的惯性器位姿数据；
其中，所述第一调整子模块包括：
第一获得单元，用于基于所述特征点数据和所述待调整数据，得到特征点误差数据；
第二获得单元，用于基于所述车道线数据、所述特征点数据和所述待调整数据，得到车道线误差数据；
第三获得单元，用于基于所述轮速计位姿数据、所述惯性器位姿数据和所述待调整数据，得到轮速计误差数据；以及
调整单元，用于基于所述特征点误差数据、所述车道线误差数据和所述轮速计误差数据，调整所述待调整数据，得到所述定位数据。
11.根据权利要求10所述的装置，其中，所述调整单元包括：
确定子单元，用于基于所述特征点误差数据、所述车道线误差数据和所述轮速计误差数据，确定误差函数；以及
调整子单元，用于利用最小二乘算法基于所述误差函数，调整所述待调整数据，得到所述定位数据。
12.根据权利要求8-11中任意一项所述的装置，其中，所述第二获取模块包括：
第一获取子模块，用于获取轮速计采集的速度数据；
第二获取子模块，用于获取惯性器采集的角速度数据；以及
确定子模块，用于基于所述速度数据和所述角速度数据，确定所述初始位姿数据。
13.根据权利要求8-12中任意一项所述的装置，其中，所述调整模块包括：
第一调整子模块，用于基于所述图像数据和所述参考位姿数据，调整所述待调整数据，得到调整后的数据；以及
获得子模块，用于基于视觉惯性对齐处理所述调整后的数据，得到所述定位数据，
其中，所述定位数据包括以下至少一项：所述自动驾驶车辆的速度数据、所述自动驾驶车辆的重力方向数据、惯性器采集的加速度数据、轮速计采集的尺度数据。
14.根据权利要求8-13中任意一项所述的装置，其中，所述初始环境数据包括以下至少一项：
特征点的初始深度信息、针对惯性器的陀螺仪偏差信息。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
18.一种自动驾驶车辆，包括如权利要求15所述的电子设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111224048.7A CN113946151A (zh) | 2021-10-20 | 2021-10-20 | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111224048.7A CN113946151A (zh) | 2021-10-20 | 2021-10-20 | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113946151A true CN113946151A (zh) | 2022-01-18 |
Family
ID=79331890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111224048.7A Pending CN113946151A (zh) | 2021-10-20 | 2021-10-20 | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113946151A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023197928A1 (zh) * | 2022-04-14 | 2023-10-19 | 华为技术有限公司 | 多目测距方法及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108352056A (zh) * | 2015-11-20 | 2018-07-31 | 高通股份有限公司 | 用于校正错误深度信息的***和方法 |
| CN109520497A (zh) * | 2018-10-19 | 2019-03-26 | 天津大学 | 基于视觉和imu的无人机自主定位方法 |
| CN110136199A (zh) * | 2018-11-13 | 2019-08-16 | 北京初速度科技有限公司 | 一种基于摄像头的车辆定位、建图的方法和装置 |
| CN111274343A (zh) * | 2020-01-20 | 2020-06-12 | 北京百度网讯科技有限公司 | 一种车辆定位方法、装置、电子设备及存储介质 |
| CN111595333A (zh) * | 2020-04-26 | 2020-08-28 | 武汉理工大学 | 视觉惯性激光数据融合的模块化无人车定位方法及*** |
| CN111649739A (zh) * | 2020-06-02 | 2020-09-11 | 北京百度网讯科技有限公司 | 定位方法和装置、自动驾驶车辆、电子设备和存储介质 |
| CN111721305A (zh) * | 2020-06-28 | 2020-09-29 | 北京百度网讯科技有限公司 | 定位方法和装置、自动驾驶车辆、电子设备和存储介质 |
| CN112683281A (zh) * | 2021-03-11 | 2021-04-20 | 之江实验室 | 一种基于车辆运动学的自动驾驶车辆联合定位方法 |
| US20210116914A1 (en) * | 2019-10-16 | 2021-04-22 | Yuan Ren | Method and system for localization of an autonomous vehicle in real time |
-
2021
- 2021-10-20 CN CN202111224048.7A patent/CN113946151A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108352056A (zh) * | 2015-11-20 | 2018-07-31 | 高通股份有限公司 | 用于校正错误深度信息的***和方法 |
| CN109520497A (zh) * | 2018-10-19 | 2019-03-26 | 天津大学 | 基于视觉和imu的无人机自主定位方法 |
| CN110136199A (zh) * | 2018-11-13 | 2019-08-16 | 北京初速度科技有限公司 | 一种基于摄像头的车辆定位、建图的方法和装置 |
| US20210116914A1 (en) * | 2019-10-16 | 2021-04-22 | Yuan Ren | Method and system for localization of an autonomous vehicle in real time |
| CN111274343A (zh) * | 2020-01-20 | 2020-06-12 | 北京百度网讯科技有限公司 | 一种车辆定位方法、装置、电子设备及存储介质 |
| CN111595333A (zh) * | 2020-04-26 | 2020-08-28 | 武汉理工大学 | 视觉惯性激光数据融合的模块化无人车定位方法及*** |
| CN111649739A (zh) * | 2020-06-02 | 2020-09-11 | 北京百度网讯科技有限公司 | 定位方法和装置、自动驾驶车辆、电子设备和存储介质 |
| CN111721305A (zh) * | 2020-06-28 | 2020-09-29 | 北京百度网讯科技有限公司 | 定位方法和装置、自动驾驶车辆、电子设备和存储介质 |
| CN112683281A (zh) * | 2021-03-11 | 2021-04-20 | 之江实验室 | 一种基于车辆运动学的自动驾驶车辆联合定位方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023197928A1 (zh) * | 2022-04-14 | 2023-10-19 | 华为技术有限公司 | 多目测距方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7299261B2 (ja) | 車両のデッドレコニング方法、装置、デバイス、記憶媒体、及びプログラム | |
| CN109887057B (zh) | 生成高精度地图的方法和装置 | |
| CN110084832B (zh) | 相机位姿的纠正方法、装置、***、设备和存储介质 | |
| US9243916B2 (en) | Observability-constrained vision-aided inertial navigation | |
| CN107748569B (zh) | 用于无人机的运动控制方法、装置及无人机*** | |
| CN114018274B (zh) | 车辆定位方法、装置及电子设备 | |
| CN114013449B (zh) | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 | |
| US20220051031A1 (en) | Moving object tracking method and apparatus | |
| US20210183100A1 (en) | Data processing method and apparatus | |
| CN113933818A (zh) | 激光雷达外参的标定的方法、设备、存储介质及程序产品 | |
| WO2022193508A1 (zh) | 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 | |
| CN114323033B (zh) | 基于车道线和特征点的定位方法、设备及自动驾驶车辆 | |
| US11908198B2 (en) | Contextualization and refinement of simultaneous localization and mapping | |
| CN115164936A (zh) | 高精地图制作中用于点云拼接的全局位姿修正方法及设备 | |
| CN113946151A (zh) | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 | |
| CN115900697B (zh) | 对象运动轨迹信息处理方法、电子设备以及自动驾驶车辆 | |
| CN114413898B (zh) | 多传感器数据融合方法、装置、计算机设备及存储介质 | |
| CN115727871A (zh) | 一种轨迹质量检测方法、装置、电子设备和存储介质 | |
| CN115540854A (zh) | 一种基于uwb辅助的主动定位方法、设备和介质 | |
| CN115628754A (zh) | 里程计初始化方法、装置、电子设备及自动驾驶车辆 | |
| CN115560744A (zh) | 机器人以及基于多传感器的三维建图方法、存储介质 | |
| Li et al. | Exploring the Potential of Deep Learning Aided Kalman Filter for GNSS/INS Integration: A Study on 2D Simulation Datasets | |
| US11519974B1 (en) | Systems and methods for improving orientation measurements | |
| CN110579779B (zh) | Gps质量确定方法、装置、设备和介质 | |
| WO2022179047A1 (zh) | 一种状态信息估计方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |