CN118212280A - 一种基于单目相机的众包动态车辆深度估计方法及*** - Google Patents
一种基于单目相机的众包动态车辆深度估计方法及*** Download PDFInfo
- Publication number
- CN118212280A CN118212280A CN202410261039.2A CN202410261039A CN118212280A CN 118212280 A CN118212280 A CN 118212280A CN 202410261039 A CN202410261039 A CN 202410261039A CN 118212280 A CN118212280 A CN 118212280A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- camera
- information
- depth estimation
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000003068 static effect Effects 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims description 63
- 238000001514 detection method Methods 0.000 claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明提供一种基于单目相机的众包动态车辆深度估计方法及***，方法包括：S1，提取环境图像中的目标车辆信息与路面信息；S2，根据目标车辆信息与路面信息计算车辆的接地点信息；S3，根据所述接地点信息和静态相机模型估算目标车辆到自车的深度信息；S4，根据自车运动状态补偿静态深度估计的误差。本发明的技术方案对设备性能以及算力要求较低，在设备种类和性能有限的众包场景下能够很好地解决动态车辆深度估计的问题。
Description
技术领域
本发明涉及自动驾驶技术领域，更具体地，涉及一种基于单目相机的众包动态车辆深度估计方法及***。
背景技术
动态车辆深度估计对于自动驾驶至关重要，准确估计他车的位置可以避免车辆追尾和碰撞等交通事故，也有助于车辆行驶中的各种决策。目前由于深度学***滑损失、外观匹配损失和左右视差一致性损失的组合，在KITTI数据集上表现出非常好的性能。但其一方面复杂的网络结构和算力需求不太适用于众包建图，另一方面这种方案在只在一些数据集上效果不错，泛化性有待验证。
在自动驾驶领域，基于电子地图的导航技术很依赖于对车辆周围各种地图要素的成图结果。动态车辆是其中比较常见，也是对导航起重要影响的要素之一。而在众包建图场景下，由于设备种类以及性能有限，一般不会使用非常复杂且昂贵的设备及算法。
因此，有必要开发基于传统的视觉深度估计的技术方案，以实现较小算力消耗下达到更优性能和准确率的效果，使其更适用于众包建图的低算力及设备成本情况。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于单目相机的众包动态车辆深度估计方法及***，其在设备种类和性能有限的众包场景下能够很好地解决动态车辆深度估计的问题。
根据本发明的第一方面，提供了一种基于单目相机的众包动态车辆深度估计方法，包括：
S1，提取环境图像中的目标车辆信息与路面信息；
S2，根据目标车辆信息与路面信息计算车辆的接地点信息；
S3，根据所述接地点信息和静态相机模型估算目标车辆到自车的深度信息；
S4，根据自车运动状态补偿静态深度估计的误差。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，步骤S1，包括：
通过自车前置感知模块获取自车前方的环境图像，通过目标检测模型获取环境图像中的车辆检测框信息和路面分割结果。
可选的，步骤S2，包括：
从车辆检测框信息中提取检测框的下边沿，根据路面分割结果判断检测框的下边沿是否位于路面上；
将检测框的下边沿与路面的交界线中点作为接地点，获取接地点在图像中的坐标信息。
可选的，步骤S3，包括：
S301，基于静态相机模型得到图像坐标系到车体坐标系的转换关系，根据图像坐标系到车体坐标系的转换关系以及车辆高度推导出目标车辆到自车的深度估算关系式；
S302，检测所述接地点基于车体坐标系的高度H，将所述接地点在图像中的坐标信息(u,v)以及接地点的高度H代入所述目标车辆到自车的深度估算关系式，以计算得到目标车辆到自车的深度信息。
可选的，所述目标车辆到自车的深度估算关系式为：
其中，depth为目标车辆到自车的深度，H为检测得到的目标车辆高度，T为相机外参矩阵，T-1为相机外参矩阵的逆矩阵，K为相机内参矩阵，K-1为相机内参矩阵的逆矩阵，相机外参矩阵T和相机内参矩阵K通过相机标定获取，(*，*)为矩阵的行和列，(xn，yn)为相机归一化坐标，(u,v)为接地点在图像坐标系中的坐标信息，(x’,y’,z’)为接地点在车体坐标系的坐标信息，z’＝H。
可选的，步骤S301，所述基于静态相机模型得到图像坐标系到车体坐标系的转换关系，根据图像坐标系到车体坐标系的转换关系以及车辆高度推导出目标车辆到自车的深度估算关系式，包括：
基于静态相机模型得到图像坐标系到车体坐标系的转换关系，如式(1)～(3)：
其中，T为相机外参矩阵，T-1为相机外参矩阵的逆矩阵，K为相机内参矩阵，K-1为相机内参矩阵的逆矩阵，R为旋转矩阵，t为平移矩阵，0T为0向量，相机外参矩阵T、相机内参矩阵K、旋转矩阵R和平移矩阵t分别通过相机标定获取；(u，v)为接地点在图像坐标系中的坐标值，通过图像识别获取；(x’，y’，z’)为转换后得到的接地点在车体坐标系中的坐标值，(xn，yn)为相机归一化坐标，depth为目标车辆到自车的深度；
建立目标车辆高度H与目标车辆到自车的深度depth之间的关系式：
H＝depth*(R(2,0)*xn+R(2,1)*yn+R(2,2))+t(2,0)＝z’ (4)，
其中，目标车辆高度H通过检测得到；
根据关系式(1)～(4)推导得到所述目标车辆到自车的深度估算关系式：
可选的，步骤S4，包括：
将自车实时的姿态数据输入迭代扩展卡尔曼滤波器IEKF，将输出的更新后的姿态数据用于补偿运动状态下的相机外参误差。
根据本发明的第二方面，提供一种基于单目相机的众包动态车辆深度估计***，包括：
目标分割模块，用于提取环境图像中的目标车辆信息与路面信息；
接地点计算模块，用于根据目标车辆信息与路面信息计算车辆的接地点信息；
深度估算模块，用于根据所述接地点信息和静态相机模型估算目标车辆到自车的深度信息；
误差补偿模块，用于根据自车运动状态补偿静态深度估计的误差。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述基于单目相机的众包动态车辆深度估计方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述基于单目相机的众包动态车辆深度估计方法的步骤。
本发明提供的一种基于单目相机的众包动态车辆深度估计方法、***、电子设备及存储介质，其对设备性能以及算力要求较低，在设备种类和性能有限的众包场景下，通过一般的设备性能以及较低的算力消耗即可计算得到较为准确的车辆深度信息，且通过车辆实时的运动状态对估算误差进行补偿，能够很好地解决动态车辆深度估计的问题。
附图说明
图1为本发明提供的一种基于单目相机的众包动态车辆深度估计方法流程图；
图2为某一实施例提供的一种基于单目相机的众包动态车辆深度估计方法流程图；
图3为某一实施例中目标车辆检测以及路面分割效果示意图；
图4为某一实施例中检测框的接地点提取结果示意图；
图5为某一实施例中车辆运动状态下姿态变化示意图；
图6为某一实施例中误差补偿过程示意图；
图7为本发明提供的一种基于单目相机的众包动态车辆深度估计***组成框图；
图8为本发明提供的一种可能的电子设备的硬件结构示意图；
图9为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明提供的一种基于单目相机的众包动态车辆深度估计方法主流程图，图2为某一实施例提供的一种基于单目相机的众包动态车辆深度估计方法流程图。结合图1和图2所示，方法包括：
S1，提取环境图像中的目标车辆信息与路面信息；
S2，根据目标车辆信息与路面信息计算车辆的接地点信息；
S3，根据所述接地点信息和静态相机模型估算目标车辆到自车的深度信息(相对于当前观测坐标系)；
S4，根据自车运动状态补偿静态深度估计的误差。
可以理解的是，基于背景技术中的缺陷，本发明实施例提出了一种基于单目相机的众包动态车辆深度估计方法。
本发明对设备性能以及算力要求较低，在设备种类和性能有限的众包场景下，通过一般的设备性能以及较低的算力消耗即可计算得到较为准确的车辆深度信息，且通过车辆实时的运动状态对估算误差进行补偿，能够很好地解决动态车辆深度估计的问题。
在一种可能的实施例方式中，步骤S1，包括：
通过自车前置感知模块获取自车前方的环境图像，通过目标检测模型获取环境图像中的车辆检测框信息和路面分割结果。
如图3所示为某一实施场景下对目标车辆进行检测得到的检测框以及路面分割示意图。可以理解的是，通过步骤S1，可以通过车辆前置感知侧相机拍摄到的图像识别出自车视野范围内的其他车辆，以及这些目标车辆与路面的关系。
在一种可能的实施例方式中，步骤S2，包括：
从车辆检测框信息中提取检测框的下边沿，根据路面分割结果判断检测框的下边沿是否位于路面上；
将检测框的下边沿与路面的交界线中点作为接地点，获取接地点在图像中的坐标信息。
可以理解的是，在步骤S1中得到了图像中车辆的检测框信息以及路面的分割结果，步骤S2提取检测框的下边沿与路面交界线的中点作为接地点并提取接地点在图像坐标系中的坐标值(u,v)。如图4所示，检测得到两个目标车辆的检测框，其中一个检测框的接地点坐标为(u1,v1)，另一个检测框的接地点坐标为(u2,v2)。检测框的接地点基本可以反映出车辆与地面接触的位置，从而可以据此来估计车辆此时的深度。
在一种可能的实施例方式中，步骤S3，包括：
S301，基于静态相机模型得到图像坐标系到车体坐标系的转换关系，根据图像坐标系到车体坐标系的转换关系以及车辆高度推导出目标车辆到自车的深度估算关系式；
S302，检测所述接地点基于车体坐标系的高度H，将所述接地点在图像中的坐标信息(u,v)以及接地点的高度H代入所述目标车辆到自车的深度估算关系式，以计算得到目标车辆到自车的深度信息。
可以理解的是，自车的车体坐标系即当前观测坐标系。本实施例中将通过图像检测得到的所述接地点坐标值(u,v)，以及通过目标车辆的已知地面高度或者通过其他方法(例如感知算法)检测出目标车辆的高度值H，将二者代入目标车辆到自车的深度估算关系式即可得到深度估算结果。此结果可认为是自车处于静态下的深度估算结果。
在一种可能的实施例方式中，步骤S301中，所述基于静态相机模型得到图像坐标系到车体坐标系的转换关系，根据图像坐标系到车体坐标系的转换关系以及车辆高度推导出目标车辆到自车的深度估算关系式，包括：
对于接地点的计算，其实就是计算图像像素点对应实际物理空间中的点的位置，假设我们有某个参考点在车体坐标系下的坐标(x，y，z)(包含了测量误差)，对应图像坐标系中的像素坐标(u，v)(包含了参考点提取的误差)，该像素坐标从图像坐标系逆变换回车体坐标系的坐标为(x'，y'，z')(包含了内参误差)。因此，基于静态相机模型得到图像坐标系到车体坐标系的转换关系，如式(1)～(3)：
其中，T为相机外参矩阵，T-1为相机外参矩阵的逆矩阵，K为相机内参矩阵，K-1为相机内参矩阵的逆矩阵，R为旋转矩阵，t为平移矩阵，0T为0向量，相机外参矩阵T、相机内参矩阵K、旋转矩阵R和平移矩阵t分别通过相机标定获取；(u，v)为接地点在图像坐标系中的坐标值，通过图像识别获取；(x’，y’，z’)为转换后得到的接地点在车体坐标系中的坐标值，(xn，yn)为相机归一化坐标，depth为目标车辆到自车的深度；
对于单目相机而言，深度是无法知道的，也就是目标车辆到自车的深度depth我们无法直接求出，但是可以通过一些方法进行测量，比如地面平坦时，地面高度已知或者通过其他方法(感知算法)检测出目标的高度，来估计深度depth，基于这样的原理，建立目标车辆高度H与目标车辆到自车的深度depth之间的关系式：
H＝depth*(R(2,0)*xn+R(2,1)*yn+R(2,2))+t(2,0)＝z’ (4)，
其中，目标车辆高度H通过检测得到；
值得说明的是，由于通过图像检测目标车辆时，提取的是检测框的接地点坐标值，对应到实际物理空间中的接地点的高度位置可以认为是0，即H＝z’＝0。
因此，实际车体坐标系下以接地点位于地面(高度为0)为例，根据关系式(1)～(4)推导得到所述目标车辆到自车的深度估算关系式：
在得到的所述目标车辆到自车的深度估算关系式(5)其中，depth为目标车辆到自车的深度，H为检测得到的目标车辆高度，T为相机外参矩阵，T-1为相机外参矩阵的逆矩阵，K为相机内参矩阵，K-1为相机内参矩阵的逆矩阵，相机外参矩阵T和相机内参矩阵K通过相机标定获取，(*，*)为矩阵的行和列，(xn，yn)为相机归一化坐标，(u,v)为接地点在图像坐标系中的坐标信息，(x’,y’,z’)为接地点在车体坐标系的坐标信息，z’＝H。
将图像识别得到的接地点坐标(u,v)和高度H＝z’＝0代入式(5)，可估算得到目标车辆到自车的深度depth。
可以理解的是，由于在步骤S2中求出了接地点的像素位置，通过上述步骤S3的转换即可获取接地点的空间位置，不过这种估算方式是基于静态标定的，相机内参K一般不变的，但是如图5所示，外参T会随着车辆运动时路面平坦不平引起较大误差，大约1°的俯仰角变化就会导致米级的误差，因此需要对此进行一个补偿。
因此，如图6所示，步骤S4，包括：
将自车实时的姿态数据输入迭代扩展卡尔曼滤波器IEKF，将输出的更新后的姿态数据用于补偿运动状态下的相机外参误差。
可以理解的是，对于步骤S3得到深度估算结果，我们需要对外参由于运动引起的误差进行补偿。如图5所示，通常看到车辆在近似平稳的直线移动，路面看起来也足够平坦，但是车辆的姿态角(俯仰角)实际上是以大约1°的振幅振荡的，当车辆遇到不够平坦的路面、减速带或者加减速运动时，这种姿态角(俯仰角)的振荡就会被放大。
因此，为了提升深度估算的准确性，充分利用自身车辆数据，如图6所示，本实施例考虑基于车辆自身运动状态来使用迭代扩展卡尔曼滤波器IEKF(Invariant ExtendedKalman Filter)来估计这个姿态角度变化。通过图6所示的误差补偿方式，补偿了外参的俯仰角度误差后，动态车辆的深度估计就可以获取到较为准确的结果。
图7为本发明实施例提供的一种基于单目相机的众包动态车辆深度估计***结构图，如图7所示，一种基于单目相机的众包动态车辆深度估计***，包括目标分割模块、接地点计算模块、深度估算模块和误差补偿模块，其中：
目标分割模块，用于提取环境图像中的目标车辆信息与路面信息；
接地点计算模块，用于根据目标车辆信息与路面信息计算车辆的接地点信息；
深度估算模块，用于根据所述接地点信息和静态相机模型估算目标车辆到自车的深度信息；
误差补偿模块，用于根据自车运动状态补偿静态深度估计的误差。
可以理解的是，本发明提供的一种基于单目相机的众包动态车辆深度估计***与前述各实施例提供的基于单目相机的众包动态车辆深度估计方法相对应，基于单目相机的众包动态车辆深度估计***的相关技术特征可参考基于单目相机的众包动态车辆深度估计方法的相关技术特征，在此不再赘述。
请参阅图8，图8为本发明实施例提供的电子设备的实施例示意图。如图8所示，本发明实施例提供了一种电子设备800，包括存储器810、处理器820及存储在存储器810上并可在处理器820上运行的计算机程序811，处理器820执行计算机程序811时实现以下步骤：
S1，提取环境图像中的目标车辆信息与路面信息；
S2，根据目标车辆信息与路面信息计算车辆的接地点信息；
S3，根据所述接地点信息和静态相机模型估算目标车辆到自车的深度信息；
S4，根据自车运动状态补偿静态深度估计的误差。
请参阅图9，图9为本发明提供的一种计算机可读存储介质的实施例示意图。如图9所示，本实施例提供了一种计算机可读存储介质900，其上存储有计算机程序911，该计算机程序911被处理器执行时实现如下步骤：
S1，提取环境图像中的目标车辆信息与路面信息；
S2，根据目标车辆信息与路面信息计算车辆的接地点信息；
S3，根据所述接地点信息和静态相机模型估算目标车辆到自车的深度信息；
S4，根据自车运动状态补偿静态深度估计的误差。
本发明实施例提供的一种基于单目相机的众包动态车辆深度估计方法、***、电子设备及存储介质，其对设备性能以及算力要求较低，在设备种类和性能有限的众包场景下，通过一般的设备性能以及较低的算力消耗即可计算得到较为准确的车辆深度信息，且通过车辆实时的运动状态对估算误差进行补偿，能够很好地解决动态车辆深度估计的问题。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种基于单目相机的众包动态车辆深度估计方法，其特征在于，包括：
S1，提取环境图像中的目标车辆信息与路面信息；
S2，根据目标车辆信息与路面信息计算车辆的接地点信息；
S3，根据所述接地点信息和静态相机模型估算目标车辆到自车的深度信息；
S4，根据自车运动状态补偿静态深度估计的误差。
2.根据权利要求1所述的一种基于单目相机的众包动态车辆深度估计方法，其特征在于，步骤S1，包括：
通过自车前置感知模块获取自车前方的环境图像，通过目标检测模型获取环境图像中的车辆检测框信息和路面分割结果。
3.根据权利要求2所述的一种基于单目相机的众包动态车辆深度估计方法，其特征在于，步骤S2，包括：
从车辆检测框信息中提取检测框的下边沿，根据路面分割结果判断检测框的下边沿是否位于路面上；
将检测框的下边沿与路面的交界线中点作为接地点，获取接地点在图像中的坐标信息。
4.根据权利要求3所述的一种基于单目相机的众包动态车辆深度估计方法，其特征在于，步骤S3，包括：
S301，基于静态相机模型得到图像坐标系到车体坐标系的转换关系，根据图像坐标系到车体坐标系的转换关系以及车辆高度推导出目标车辆到自车的深度估算关系式；
S302，检测所述接地点基于车体坐标系的高度H，将所述接地点在图像中的坐标信息(u,v)以及接地点的高度H代入所述目标车辆到自车的深度估算关系式，以计算得到目标车辆到自车的深度信息。
5.根据权利要求4所述的一种基于单目相机的众包动态车辆深度估计方法，其特征在于，所述目标车辆到自车的深度估算关系式为：
其中，depth为目标车辆到自车的深度，H为检测得到的目标车辆高度，T为相机外参矩阵，T-1为相机外参矩阵的逆矩阵，K为相机内参矩阵，K-1为相机内参矩阵的逆矩阵，相机外参矩阵T和相机内参矩阵K通过相机标定获取，(*，*)为矩阵的行和列，(xn，yn)为相机归一化坐标，(u,v)为接地点在图像坐标系中的坐标信息，(x’,y’,z’)为接地点在车体坐标系的坐标信息，z’＝H。
6.根据权利要求5所述的一种基于单目相机的众包动态车辆深度估计方法，其特征在于，步骤S301，所述基于静态相机模型得到图像坐标系到车体坐标系的转换关系，根据图像坐标系到车体坐标系的转换关系以及车辆高度推导出目标车辆到自车的深度估算关系式，包括：
基于静态相机模型得到图像坐标系到车体坐标系的转换关系，如式(1)～(3)：
其中，T为相机外参矩阵，T-1为相机外参矩阵的逆矩阵，K为相机内参矩阵，K-1为相机内参矩阵的逆矩阵，R为旋转矩阵，t为平移矩阵，0T为0向量，相机外参矩阵T、相机内参矩阵K、旋转矩阵R和平移矩阵t分别通过相机标定获取；(u，v)为接地点在图像坐标系中的坐标值，通过图像识别获取；(x’，y’，z’)为转换后得到的接地点在车体坐标系中的坐标值，(xn，yn)为相机归一化坐标，depth为目标车辆到自车的深度；
建立目标车辆高度H与目标车辆到自车的深度depth之间的关系式：
H＝depth*(R(2,0)*xn+R(2,1)*yn+R(2,2))+t(2,0)＝z’ (4)，
其中，目标车辆高度H通过检测得到；
根据关系式(1)～(4)推导得到所述目标车辆到自车的深度估算关系式：
7.根据权利要求4～6任一项所述的一种基于单目相机的众包动态车辆深度估计方法，其特征在于，步骤S4，包括：
将自车实时的姿态数据输入迭代扩展卡尔曼滤波器IEKF，将输出的更新后的姿态数据用于补偿运动状态下的相机外参误差。
8.一种基于单目相机的众包动态车辆深度估计***，其特征在于，包括：
目标分割模块，用于提取环境图像中的目标车辆信息与路面信息；
接地点计算模块，用于根据目标车辆信息与路面信息计算车辆的接地点信息；
深度估算模块，用于根据所述接地点信息和静态相机模型估算目标车辆到自车的深度信息；
误差补偿模块，用于根据自车运动状态补偿静态深度估计的误差。
9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-7任一项所述的基于单目相机的众包动态车辆深度估计方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-7任一项所述的基于单目相机的众包动态车辆深度估计方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410261039.2A CN118212280A (zh) | 2024-03-07 | 2024-03-07 | 一种基于单目相机的众包动态车辆深度估计方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410261039.2A CN118212280A (zh) | 2024-03-07 | 2024-03-07 | 一种基于单目相机的众包动态车辆深度估计方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118212280A true CN118212280A (zh) | 2024-06-18 |
Family
ID=91453706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410261039.2A Pending CN118212280A (zh) | 2024-03-07 | 2024-03-07 | 一种基于单目相机的众包动态车辆深度估计方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118212280A (zh) |
-
2024
- 2024-03-07 CN CN202410261039.2A patent/CN118212280A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10762643B2 (en) | Method for evaluating image data of a vehicle camera | |
| US10268201B2 (en) | Vehicle automated parking system and method | |
| CN108520536B (zh) | 一种视差图的生成方法、装置及终端 | |
| KR102462278B1 (ko) | 어떤 대상의 자기 동작 추정을 위한 방법 | |
| EP2757527B1 (en) | System and method for distorted camera image correction | |
| EP2757524A1 (en) | Depth sensing method and system for autonomous vehicles | |
| CN109579825B (zh) | 基于双目视觉和卷积神经网络的机器人定位***及方法 | |
| US20110262009A1 (en) | Method and apparatus for identifying obstacle in image | |
| CN109472820B (zh) | 单目rgb-d相机实时人脸重建方法及装置 | |
| Chien et al. | Visual odometry driven online calibration for monocular lidar-camera systems | |
| KR20150144729A (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR20150144731A (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| CN104732518A (zh) | 一种基于智能机器人地面特征的ptam改进方法 | |
| Michot et al. | Bi-objective bundle adjustment with application to multi-sensor slam | |
| JP7173471B2 (ja) | ３次元位置推定装置及びプログラム | |
| Yuan et al. | SDV-LOAM: semi-direct visual–LiDAR Odometry and mapping | |
| CN113503873B (zh) | 一种多传感器融合的视觉定位方法 | |
| CN109115232B (zh) | 导航的方法和装置 | |
| JP7145770B2 (ja) | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム | |
| CN115015956A (zh) | 一种室内无人车的激光与视觉slam*** | |
| CN116543032B (zh) | 冲击物测距方法、装置、测距设备及存储介质 | |
| CN111260725B (zh) | 一种面向动态环境的轮速计辅助的视觉里程计方法 | |
| JP2011209070A (ja) | 画像処理装置 | |
| CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
| CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |