CN111738032A - 一种车辆行驶信息确定方法及装置、车载终端 - Google Patents
一种车辆行驶信息确定方法及装置、车载终端 Download PDFInfo
- Publication number
- CN111738032A CN111738032A CN201910224888.XA CN201910224888A CN111738032A CN 111738032 A CN111738032 A CN 111738032A CN 201910224888 A CN201910224888 A CN 201910224888A CN 111738032 A CN111738032 A CN 111738032A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- road image
- image frame
- key component
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开一种车辆行驶信息确定方法及装置、车载终端。该方法包括：获取采集的当前车辆周围的道路图像帧输入车辆关键部件检测模型，由车辆关键部件检测模型确定道路图像帧中待检测车辆的关键部件区域；获取确定的上一道路图像帧的关键部件区域；对道路图像帧和上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联；根据相关联的关键部件区域之间的位置差异，以及道路图像帧和上一道路图像帧之间的时间差，确定对应的待检测车辆相对于当前车辆的车辆速度信息；其中，道路图像帧包括当前车辆周围的待检测车辆。应用本发明实施例提供的方案，能够在无法拍摄到车辆的完整图像时确定待检测车辆的车辆行驶信息。
Description
技术领域
本发明涉及自动驾驶技术领域，具体而言，涉及一种车辆行驶信息确定方法及装置、车载终端。
背景技术
随着科学技术的发展，自动驾驶、无人车等新兴概念应运而生。高精度车辆探测识别、跟踪、距离和速度估计是道路场景分析与环境感知中的重要元素，也是自动驾驶领域一个不可或缺的部分。对道路上的车辆行驶信息的分析处理一般来说包括：对道路场景下待检测车辆的跟踪分析、待检测车辆与当前车辆的距离分析及速度分析等。当前车辆是指各种传感器所在的车辆，待检测车辆是指可能会对当前车辆的行驶起到影响作用的车辆。
相关技术中，可以通过图像采集设备获取当前车辆周围环境中包含待检测车辆的图像，采用车辆检测技术对该图像进行处理，得到图像中待检测车辆的速度、位置与姿态等。这里图像采集设备获取的图像是指具有较短时间间隔的多帧图像。并且，通过运动目标跟踪技术，能够确定图像中待检测车辆的车辆行驶信息等。
上述车辆行驶信息确定方法，能够在当前车辆距离前方或后方的待检测车辆较远时，利用运动目标跟踪技术，得到车辆行驶信息。在当前车辆距离前方或后方的待检测车辆较远时，图像帧中包含完整的待检测车辆，目标跟踪技术可以根据检测到的待检测车辆在不同图像帧中的位置，确定待检测车辆的车辆行驶信息。但是，当待检测车辆距离当前车辆较近，或者图像帧中无法拍摄到待检测车辆的完整图像时，便无法根据上述方法确定待检测车辆的车辆行驶信息。
发明内容
本发明提供了一种车辆行驶信息确定方法及装置、车载终端，以在无法拍摄到车辆的完整图像时确定待检测车辆的车辆行驶信息。具体的技术方案如下。
第一方面，本发明实施例提供了一种车辆行驶信息确定方法，包括：
获取采集的当前车辆周围的道路图像帧；其中，所述道路图像帧包括所述当前车辆周围的待检测车辆，采集所述道路图像帧的图像采集设备位于所述当前车辆；
将所述道路图像帧输入车辆关键部件检测模型，由所述车辆关键部件检测模型中的卷积层和全连接层根据预先训练好的模型参数，确定所述道路图像帧中待检测车辆的关键部件区域；
获取确定的上一道路图像帧的关键部件区域；
对所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联；
根据相关联的关键部件区域之间的位置差异，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
可选的，所述卷积层包括第一参数，所述全连接层包括第二参数；所述车辆关键部件检测模型采用以下方式训练完成：
获取样本道路图像和标注的所述样本道路图像中样本车辆的标准关键部件区域，将所述样本道路图像输入所述卷积层；
通过所述卷积层，根据所述第一参数，对所述样本道路图像的像素点进行特征提取，得到所述样本道路图像的样本特征向量；通过所述全连接层，根据所述第二参数，对所述样本特征向量进行映射，得到所述样本道路图像中样本车辆的参考关键部件区域；
将所述参考关键部件区域与对应的标准关键部件区域进行比对，得到差异量；
当所述差异量大于预设差异阈值时，根据所述差异量对所述第一参数和所述第二参数进行修正，返回执行所述将所述样本道路图像输入所述卷积层的步骤；当所述差异量小于所述预设差异阈值时，确定所述车辆关键部件检测模型训练完成。
可选的，所述对所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联的步骤，包括：
提取所述道路图像帧和所述上一道路图像帧中的关键部件区域的特征信息；其中，所述特征信息包括位置信息和/或像素信息；
将所述道路图像帧与所述上一道路图像帧的同类型关键部件区域的特征信息分别进行匹配；
将匹配成功的关键部件区域作为所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联。
可选的，所述根据相关联的关键部件区域之间的位置差异，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息的步骤，包括：
从所述相关联的关键部件区域中选取对应特征点，根据以下第一预设公式，确定所述道路图像帧对应的变换矩阵H：
其中，所述X1和X0为选取的对应特征点，所述H中的S为所述相关联的关键部件区域之间的缩放度，所述offset_y和所述offset_x分别为所述相关联的关键部件区域之间在y轴和x轴方向上的平移量，所述x轴和y轴为图像坐标系中的坐标轴；
根据所述道路图像帧对应的变换矩阵中的缩放度和平移量，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
可选的，在将所述道路图像帧输入车辆关键部件检测模型之前，所述方法还包括：
当采集所述道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将所述道路图像帧输入车辆关键部件检测模型；其中，所述第一时刻为上一次将采集的道路图像帧输入所述车辆部件检测模型的时刻。
可选的，当采集所述道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，所述方法还包括：
获取确定的上一道路图像帧的关键部件区域以及所述上一道路图像帧对应的变换矩阵；所述上一道路图像帧对应的变换矩阵为根据所述第一预设公式确定；
根据所述上一道路图像帧的关键部件区域和所述上一道路图像帧对应的变换矩阵，确定所述道路图像帧的关键部位区域。
可选的，在确定所述道路图像帧中的关键部件区域之后，所述方法还包括：
根据所述道路图像帧的关键部件区域的目标像素点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息；其中，所述目标像素点位置为：所述道路图像帧中待检测车辆的轮胎区域的接地像素点位置。
可选的，所述根据所述道路图像帧的关键部件区域的目标像素点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息的步骤，包括：
根据以下第二预设公式，确定所述待检测车辆相对于所述当前车辆的车辆距离信息D：
其中，所述hsize为所述图像采集设备距离地面的高度，所述f为所述图像采集设备中感光元件的焦距，所述y为所述目标像素点的纵向坐标，所述foey为预先确定的所述图像采集设备的图像消失点的纵向坐标。
可选的，在确定所述道路图像帧的关键部件区域之后，所述方法还包括：
将所述道路图像帧的关键部件区域输入车辆结构检测模型，由所述车辆结构检测模型根据预先训练好的模型参数，确定所述道路图像帧的关键部件区域对应的待检测车辆的整体结构数据；
根据所述待检测车辆相对于所述当前车辆的车辆距离信息，以及所述整体结构数据，确定所述待检测车辆相对于所述当前车辆的相对位置。
第二方面，本发明实施例提供了一种车辆行驶信息确定装置，包括：
第一获取模块，被配置为获取采集的当前车辆周围的道路图像帧；其中，所述道路图像帧包括所述当前车辆周围的待检测车辆，采集所述道路图像帧的图像采集设备位于所述当前车辆；
第一确定模块，被配置为将所述道路图像帧输入车辆关键部件检测模型，由所述车辆关键部件检测模型中的卷积层和全连接层根据预先训练好的模型参数，确定所述道路图像帧中待检测车辆的关键部件区域；
第二获取模块，被配置为获取确定的上一道路图像帧的关键部件区域；
关联模块，被配置为对所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联；
第二确定模块，被配置为根据相关联的关键部件区域之间的位置差异，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
可选的，所述卷积层包括第一参数，所述全连接层包括第二参数；所述装置还包括：模型训练模块，被配置为采用以下操作训练所述车辆关键部件检测模型：
获取样本道路图像和标注的所述样本道路图像中样本车辆的标准关键部件区域，将所述样本道路图像输入所述卷积层；
通过所述卷积层，根据所述第一参数，对所述样本道路图像的像素点进行特征提取，得到所述样本道路图像的样本特征向量；通过所述全连接层，根据所述第二参数，对所述样本特征向量进行映射，得到所述样本道路图像中样本车辆的参考关键部件区域；
将所述参考关键部件区域与对应的标准关键部件区域进行比对，得到差异量；
当所述差异量大于预设差异阈值时，根据所述差异量对所述第一参数和所述第二参数进行修正，将所述样本道路图像输入所述卷积层；当所述差异量小于所述预设差异阈值时，确定所述车辆关键部件检测模型训练完成。
可选的，所述关联模块，具体被配置为：
提取所述道路图像帧和所述上一道路图像帧中的关键部件区域的特征信息；其中，所述特征信息包括位置信息和/或像素信息；
将所述道路图像帧与所述上一道路图像帧的同类型关键部件区域的特征信息分别进行匹配；
将匹配成功的关键部件区域作为所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联。
可选的，所述第二确定模块，具体被配置为：
从所述相关联的关键部件区域中选取对应特征点，根据以下第一预设公式，确定所述道路图像帧对应的变换矩阵H：
其中，所述X1和X0为选取的对应特征点，所述H中的S为所述相关联的关键部件区域之间的缩放度，所述offset_y和所述offset_x分别为所述相关联的关键部件区域之间在y轴和x轴方向上的平移量，所述x轴和y轴为图像坐标系中的坐标轴；
根据所述道路图像帧对应的变换矩阵中的缩放度和平移量，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
可选的，所述第一确定模块，还被配置为：
在将所述道路图像帧输入车辆关键部件检测模型之前，当采集所述道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将所述道路图像帧输入车辆关键部件检测模型；其中，所述第一时刻为上一次将采集的道路图像帧输入所述车辆部件检测模型的时刻。
可选的，所述装置还包括：
第三确定模块，被配置为：当采集所述道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，获取确定的上一道路图像帧的关键部件区域以及所述上一道路图像帧对应的变换矩阵；所述上一道路图像帧对应的变换矩阵为根据所述第一预设公式确定；
根据所述上一道路图像帧的关键部件区域和所述上一道路图像帧对应的变换矩阵，确定所述道路图像帧的关键部位区域。
可选的，所述装置还包括：
第四确定模块，被配置为在确定所述道路图像帧中的关键部件区域之后，根据所述道路图像帧的关键部件区域的目标像素点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息；其中，所述目标像素点位置为：所述道路图像帧中待检测车辆的轮胎区域的接地像素点位置。
可选的，所述第四确定模块，根据所述道路图像帧的关键部件区域的目标像素点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息时，包括：
根据以下第二预设公式，确定所述待检测车辆相对于所述当前车辆的车辆距离信息D：
其中，所述hsize为所述图像采集设备距离地面的高度，所述f为所述图像采集设备中感光元件的焦距，所述y为所述目标像素点的纵向坐标，所述foey为预先确定的所述图像采集设备的图像消失点的纵向坐标。
可选的，所述装置还包括：
第五确定模块，被配置为在确定所述道路图像帧的关键部件区域之后，将所述道路图像帧的关键部件区域输入车辆结构检测模型，由所述车辆结构检测模型根据预先训练好的模型参数，确定所述道路图像帧的关键部件区域对应的待检测车辆的整体结构数据；根据所述待检测车辆相对于所述当前车辆的车辆距离信息，以及所述整体结构数据，确定所述待检测车辆相对于所述当前车辆的相对位置。
第三方面，本发明实施例提供了一种车载终端，包括：处理器和图像采集设备；所述图像采集设备位于当前车辆；
所述图像采集设备，采集当前车辆周围的道路图像帧；其中，所述道路图像帧包括所述当前车辆周围的待检测车辆；
所述处理器，获取所述图像采集设备采集的所述道路图像帧，将所述道路图像帧输入车辆关键部件检测模型，由所述车辆关键部件检测模型中的卷积层和全连接层根据预先训练好的模型参数，确定所述道路图像帧中待检测车辆的关键部件区域；获取确定的上一道路图像帧的关键部件区域；对所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联；根据相关联的关键部件区域之间的位置差异，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
可选的，所述卷积层包括第一参数，所述全连接层包括第二参数；所述车辆关键部件检测模型采用以下操作训练完成：
获取样本道路图像和标注的所述样本道路图像中样本车辆的标准关键部件区域，将所述样本道路图像输入所述卷积层；
通过所述卷积层，根据所述第一参数，对所述样本道路图像的像素点进行特征提取，得到所述样本道路图像的样本特征向量；通过所述全连接层，根据所述第二参数，对所述样本特征向量进行映射，得到所述样本道路图像中样本车辆的参考关键部件区域；
将所述参考关键部件区域与对应的标准关键部件区域进行比对，得到差异量；
当所述差异量大于预设差异阈值时，根据所述差异量对所述第一参数和所述第二参数进行修正，将所述样本道路图像输入所述卷积层；当所述差异量小于所述预设差异阈值时，确定所述车辆关键部件检测模型训练完成。
可选的，所述处理器，对所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联时，包括：
提取所述道路图像帧和所述上一道路图像帧中的关键部件区域的特征信息；其中，所述特征信息包括位置信息和/或像素信息；
将所述道路图像帧与所述上一道路图像帧的同类型关键部件区域的特征信息分别进行匹配；
将匹配成功的关键部件区域作为所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联。
可选的，所述处理器，根据相关联的关键部件区域之间的位置差异，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息时，包括：
从所述相关联的关键部件区域中选取对应特征点，根据以下第一预设公式，确定所述道路图像帧对应的变换矩阵H：
其中，所述X1和X0为选取的对应特征点，所述H中的S为所述相关联的关键部件区域之间的缩放度，所述offset_y和所述offset_x分别为所述相关联的关键部件区域之间在y轴和x轴方向上的平移量，所述x轴和y轴为图像坐标系中的坐标轴；
根据所述道路图像帧对应的变换矩阵中的缩放度和平移量，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
可选的，所述处理器，还在将所述道路图像帧输入车辆关键部件检测模型之前，当采集所述道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将所述道路图像帧输入车辆关键部件检测模型；其中，所述第一时刻为上一次将采集的道路图像帧输入所述车辆部件检测模型的时刻。
可选的，所述处理器，还：
当采集所述道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，获取确定的上一道路图像帧的关键部件区域以及所述上一道路图像帧对应的变换矩阵；所述上一道路图像帧对应的变换矩阵为根据所述第一预设公式确定；
根据所述上一道路图像帧的关键部件区域和所述上一道路图像帧对应的变换矩阵，确定所述道路图像帧的关键部位区域。
可选的，所述处理器，还在确定所述道路图像帧中的关键部件区域之后，根据所述道路图像帧的关键部件区域的目标像素点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息；其中，所述目标像素点位置为：所述道路图像帧中待检测车辆的轮胎区域的接地像素点位置。
可选的，所述处理器，根据所述道路图像帧的关键部件区域的目标像素点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息时，包括：
根据以下第二预设公式，确定所述待检测车辆相对于所述当前车辆的车辆距离信息D：
其中，所述hsize为所述图像采集设备距离地面的高度，所述f为所述图像采集设备中感光元件的焦距，所述y为所述目标像素点的纵向坐标，所述foey为预先确定的所述图像采集设备的图像消失点的纵向坐标。
可选的，所述处理器，还在确定所述道路图像帧的关键部件区域之后，将所述道路图像帧的关键部件区域输入车辆结构检测模型，由所述车辆结构检测模型根据预先训练好的模型参数，确定所述道路图像帧的关键部件区域对应的待检测车辆的整体结构数据；根据所述待检测车辆相对于所述当前车辆的车辆距离信息，以及所述整体结构数据，确定所述待检测车辆相对于所述当前车辆的相对位置。
由上述内容可知，本发明实施例提供的车辆行驶信息确定方法及装置、车载终端，可以由车辆关键部件检测模确定道路图像帧中待检测车辆的关键部件区域，对该道路图像帧和上一道路图像帧之间同一待检测车辆的同一关键部件进行关联，根据相关联的关键部件区域之间的位置差异以及帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息。由于本发明实施例能够检测待检测车辆的关键部件区域，并且根据关键部件区域对待检测车辆在图像帧中的移动进行追踪，当无法拍摄到车辆的完整图像时，本发明实施例也能够根据对车辆上的关键部件区域的追踪来确定待检测车辆的车辆行驶信息。
本发明实施例的创新点包括：
1、当图像帧中无法拍摄到车辆的完整图像时，可以检测车辆的关键部件区域，对关键部件区域进行追踪，根据图像帧之间关键部件区域之间的位置差异确定车辆速度，能够在无法拍摄到车辆的完整图像时实现对车辆速度的检测。
2、通过预先得到的第一预设公式以及不同道路图像帧中车辆的关键部件区域之间的差异，可以计算出车辆在横向上的平移量和在纵向上缩放量，根据该平移量和缩放量计算出车辆的速度，使得在车辆距离周围车很近或者周围车被遮挡时也能通过图像帧计算出车辆的速度。
3、根据关键部件区域的像素点位置，可以确定周围车与当前车辆之间的距离信息；并且，在间隔性地采用模型检测图像帧的关键部件区域时，也能够根据得到的变换矩阵确定每个图像帧的关键部件区域。
4、将道路图像帧和对应的关键部件区域输入车辆结构检测模型，能够检测车辆的整体结构数据，并根据检测到的整体结构数据和车辆距离信息，确定车辆距离当前车辆的相对位置。这样，在无法拍摄到车辆的完整图像时，也能更准确地确定车辆与当前车辆的相对位置。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的车辆行驶信息确定方法的一种流程示意图；
图2(1)为本发明实施例中道路图像帧的一种参考图；
图2(2)为本发明实施例中不同道路图像帧中对应特征点的一种参考图；
图3为本发明实施例提供的车辆行驶信息确定装置的一种结构示意图；
图4为本发明实施例提供的车载终端的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种车辆行驶信息确定方法及装置、车载终端，在无法拍摄到车辆的完整图像时确定待检测车辆的车辆行驶信息。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的车辆行驶信息确定方法的一种流程示意图。该方法应用于处理器或包含处理器的电子设备。该处理器可以包括CPU或微处理器。该方法具体包括以下步骤S110～S150。
S110：获取采集的当前车辆周围的道路图像帧。
其中，道路图像帧包括当前车辆周围的待检测车辆，采集道路图像帧的图像采集设备位于当前车辆。图像采集设备可以是行车记录仪或者监控相机等。图像采集设备可以安装于当前车辆内部，也可以安装在当前车辆外部。道路图像帧也可以是当前车辆中安装的摄像头出现故障时，车上的乘客通过手机等设备拍摄的道路图像。图像采集设备的采集范围可以是当前车辆前方、后方或侧方的道路场景。待检测车辆可以是当前车辆前方、后方或者侧方的车辆。待检测车辆可以理解为待检测的当前车辆周围的车辆行驶信息的车辆。车辆行驶信息通常是待检测车辆相对于当前车辆的行驶信息。
上述道路图像帧可以是图像采集设备采集的道路图像帧序列中的一个图像帧。
道路图像帧中的待检测车辆可以是完整的，也可以是不完整的。包含不完整待检测车辆的道路图像帧可以理解为，待检测车辆未被完整拍摄，但待检测车辆的至少一个关键部件区域能够在道路图像帧中完整显示。例如图2(1)所示为道路图像帧的一种参考图。其中，最左侧车辆为完整车辆，最右侧车辆为不完整车辆，只有车辆的一部分，但该车辆的关键部件如车轮、尾灯(参见图2(1)中圆圈区域)能够在道路图像中完整地显示。
以上仅为获取道路图像帧的一些具体示例，本申请对道路图像帧的获取方式不做限定，可以根据需求采取不同的实现方式。
S120：将道路图像帧输入车辆关键部件检测模型，由车辆关键部件检测模型中的卷积层和全连接层根据预先训练好的模型参数，确定道路图像帧中待检测车辆的关键部件区域。
其中，关键部件区域可以是车辆上的后视镜、车轮、尾灯、车牌等区域。确定道路图像帧中待检测车辆的关键部件区域，可以理解为，确定道路图像帧中待检测车辆的关键部件区域的坐标区域，例如，可以采用矩形框对角点的坐标表示。
确定待检测车辆的关键部件区域可以是一个，也可以是多个。例如，参见图2(1)最右侧的车辆，两个圆圈分别圈住尾灯区域和车轮区域。车辆关键部件检测模型能够检测出待检测车辆的关键部件区域的坐标，并分别输出每个关键部件区域的类别，该类别包括后视镜、车轮、尾灯、车牌等。
车辆关键部件检测模型可以是预先根据样本道路图像和标注的样本道路图像中样本车辆的标准关键部件区域训练得到的。训练好的车辆关键部件检测模型能够使得道路图像帧与其中的关键部件区域相关联。车辆关键部件检测模型可以是采用深度学习算法训练得到的模型，例如可以采用卷积神经网络训练得到。
S130：获取确定的上一道路图像帧的关键部件区域。
其中，上一道路图像帧为上述道路图像帧之前的一个道路图像帧。上一道路图像帧与上述道路图像帧之间可以不存在其他道路图像帧，也可以存在其他道路图像帧。即上一道路图像帧与上述道路图像帧可以是连续的道路图像帧，也可以是不连续的道路图像帧，例如两者可以间隔预设帧数。
上一道路图像帧的关键部件区域，可以是将上一道路图像帧输入车辆关键部件检测模型中得到的，也可以是采用其他跟踪算法得到的。
S140：对道路图像帧和上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联。
当道路图像帧和上一道路图像帧中均只包含一车辆时，可以直接将相应的关键部件区域进行关联。当道路图像帧和上一道路图像帧中包含两个以上的车辆时，可以通过图像区域之间的匹配对关键部件区域进行关联。
在一种实施方式中，在对道路图像帧和上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联时，可以针对待检测车辆建立跟踪列表。该跟踪列表可以包括：道路图像帧和上一道路图像帧之间同一待检测车辆的同一关键部件的对应关系。
S150：根据相关联的关键部件区域之间的位置差异，以及道路图像帧和上一道路图像帧之间的时间差，确定对应的待检测车辆相对于当前车辆的车辆速度信息。
其中，上述对应的待检测车辆为：与相关联的关键部件区域对应的待检测车辆。车辆速度信息可以包括横向速度和纵向速度。
上述时间差可以根据道路图像帧和上一道路图像帧之间间隔的帧数以及帧速率确定。其中，帧速率是指每秒钟采集的帧数。
当确定待检测车辆相对于当前车辆的车辆速度信息之后，根据当前车辆的车辆速度信息，可以确定待检测车辆的绝对速度信息。
由上述内容可知，本实施例可以由车辆关键部件检测模型确定道路图像帧中待检测车辆的关键部件区域，对该道路图像帧和上一道路图像帧之间同一待检测车辆的同一关键部件进行关联，根据相关联的关键部件区域之间的位置差异以及帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息。由于本实施例能够检测待检测车辆的关键部件区域，并且根据关键部件区域对待检测车辆在图像帧中的移动进行追踪，当图像帧中无法拍摄到车辆的完整图像时，本实施例也能够根据对车辆上的关键部件区域的追踪来确定待检测车辆的车辆行驶信息。
在本发明的另一实施例中，图1所示实施例中，上述卷积层包括第一参数，全连接层包括第二参数。车辆关键部件检测模型中的模型参数可以包括第一参数和第二参数。车辆关键部件检测模型可以采用以下步骤1a～4a的方式训练完成。
步骤1a：获取样本道路图像和标注的样本道路图像中样本车辆的标准关键部件区域，将样本道路图像输入卷积层。
在实际应用中，为了使得模型训练得更准确，可以获取大量样本道路图像。样本道路图像中可以包括一个或多个样本图像。在样本道路图像中的样本图像可以是完整的，也可以是不完整的。
样本道路图像可以是预先利用车辆上的摄像头采集得到的。每个样本道路图像中均标注有样本车辆的标准关键部件区域，标注的标准关键部件区域包括坐标和关键部件的类型。
在将样本道路图像输入卷积层之前，还可以将样本道路图像缩放至预设尺寸。如此，可以使得车辆关键部件检测模型对同一尺寸的样本道路图像进行学习，从而能够更快速、更准确地对含有车辆关键部件的图像进行处理，提高模型的训练效率。
在车辆关键部件检测模型中，还可以包括空间金字塔池化层。该空间金字塔池化层可以用于对样本道路图像进行缩放，使得车辆关键部件检测模型能够适应任意大小的图像，避免损失图像信息。
步骤2a：通过卷积层，根据第一参数，对样本道路图像的像素点进行特征提取，得到样本道路图像的样本特征向量；通过全连接层，根据第二参数，对样本特征向量进行映射，得到样本道路图像中样本车辆的参考关键部件区域。
第一参数和第二参数的初始值可以根据经验预先设置，例如可以设置为较小的值。在每次训练的过程中，第一参数和第二参数不断地被修正，逐渐接近真实值。
在训练过程中，得到的参考关键部件区域可能不够准确，该参考关键部件区域可以作为对第一参数和第二参数进行修正时的参考依据。
步骤3a：将参考关键部件区域与对应的标准关键部件区域进行比对，得到差异量。
其中，上述差异量可以采用损失函数得到。
步骤4a：当差异量大于预设差异阈值时，根据差异量对第一参数和第二参数进行修正，返回执行步骤1a中将样本道路图像输入卷积层的步骤；当差异量小于预设差异阈值时，确定车辆关键部件检测模型训练完成。
当差异量等于预设差异阈值时，可以根据差异量对第一参数和第二参数进行修正，也可以确定车辆关键部件检测模型训练完成。
当差异量大于预设差异阈值时，认为卷积神经网络的预测结果与真实值之间的差异较大，需要继续训练网络。根据差异量对上述第一参数和第二参数进行修正时，可以参考差异量的具体数值以及方向，根据该具体数值，向相反方向调整第一参数和第二参数。
为了更快速地得到车辆关键部位检测模型，可以采用迁移学习的方法，利用已有的在对象检测领域取得较好结果的卷积神经网络，如Faster R-CNN和SSD等，对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改，并直接采用原有网络模型中已经充分训练的参数，作为模型参数。具体来说，卷积层充分学习样本道路图像中的后视镜、车轮、尾灯和车牌等关键部件区域，根据学习到的样本道路图像的样本特征向量，全连接层可以对样本特征向量进行映射，得到后视镜、车轮、尾灯和车牌等区域的识别结果。将识别结果与样本道路图像预先标注的后视镜、车轮、尾灯和车牌等区域进行比较，可以对模型参数进行优化，当模型经过较多训练样本的迭代训练后，可以获得车辆关键部位检测模型。
综上，本实施例提供了利用大量样本道路图像和标准关键部件区域，对卷积神经网络进行循环训练的实施方式。
在本发明的另一实施例中，图1所示实施例中，步骤S140，对道路图像帧和上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联的步骤，包括步骤1b～3b。
步骤1b：提取道路图像帧和上一道路图像帧中的关键部件区域的特征信息。其中，特征信息包括位置信息和/或像素信息。
例如，位置信息可以是关键部件区域的坐标，像素信息可以是根据关键部件区域的像素值得到的特征值。
步骤2b：将道路图像帧与上一道路图像帧的同类型关键部件区域的特征信息分别进行匹配。
例如，可以将道路图像帧中每个车辆的车灯区域的坐标分别与上一道路图像帧中的每个车辆的车灯区域的坐标进行匹配。匹配时可以计算两坐标之间的差距，当差距小于预设差距阈值时，认为匹配成功。
步骤3b：将匹配成功的关键部件区域作为道路图像帧和上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联。
综上，本实施例中提供了实施步骤S140的具体实施方式。
在本发明的另一实施例中，图1所示实施例中，步骤S150，根据相关联的关键部件区域之间的位置差异，以及道路图像帧和上一道路图像帧之间的时间差，确定对应的待检测车辆相对于当前车辆的车辆速度信息的步骤，包括步骤1c和2c。
步骤1c：从相关联的关键部件区域中选取对应特征点，根据以下第一预设公式，确定道路图像帧对应的变换矩阵H：
其中，X1和X0为选取的对应特征点，X1为该道路图像帧中的特征点，X0为上一道路图像帧中的特征点，X1和X0为包含像素点图像坐标的向量，H中的S为相关联的关键部件区域之间的缩放度，offset_y和所述offset_x分别为相关联的关键部件区域之间在y轴和x轴方向上的平移量，x轴和y轴为图像坐标系中的坐标轴。根据近大远小的透视原理，可以根据缩放度S来估计车辆的纵向速度。offset_y和所述offset_x可以用来估计车辆的横向速度。纵向方向为当前车辆的行驶方向，横向方向为与纵向垂直的方向。相关联的两个关键部件区域可以近似认为与图像采集设备的成像平面平行，利用对应特征点可以求解仿射变换矩阵H。
参见图2(1)中所示的道路图像帧，其中标注了图像坐标系中x轴和y轴的方向。
从相关联的关键部件区域中选取对应特征点时，具体可以包括：将相关联的关键部件区域中相同比例位置处的像素点作为对应的特征点。具体应用时，可以针对一个关键部件区域的预设位置处的预设数量个特征点，在另一关键部件区域的相同比例位置处确定对应的特征点。
在另一种实施方式中，可以使用KLT光流追踪算法，在关键部件区域内提取对应特征点。
例如，参见图2(2)中虚线框所示的两个道路图像帧，其中所示的实线四边形区域为相关联的关键部件区域，四边形区域中标注了对应特征点A和A’。A和A’是根据以下关系确定的：左侧图像帧中的四边形区域的长宽分别为a和b，右侧图像帧中的四边形区域的长宽分别为a’和b’，在左侧四边形区域中(3a/4，5b/6)位置处为点A，在右侧四边形区域中(3a’/4，5b’/6)位置处为点A’。
步骤2c：根据道路图像帧对应的变换矩阵中的缩放度和平移量，以及道路图像帧和上一道路图像帧之间的时间差，确定对应的待检测车辆相对于当前车辆的车辆速度信息。
例如，可以根据公式
来确定待检测车辆相对于当前车辆的纵向速度，可以根据公式
来确定待检测车辆相对于当前车辆的横向速度，其中，S为缩放度，Δt为时间差，offset_y和offset_x为平移量。
综上，本实施例中根据第一预设公式和对应特征点确定变换矩阵，并根据变换矩阵中的参数求解车辆速度信息，这种实施方式能够更准确地确定待检测车辆的速度。
在本发明的另一实施例中，图1所示实施例中，为了提高检测的速度，在将道路图像帧输入车辆关键部件检测模型之前，该方法还可以包括：
当采集道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将该道路图像帧输入车辆关键部件检测模型。
其中，第一时刻为上一次将采集的道路图像帧输入车辆部件检测模型的时刻。预设时间阈值为表示时间长度的数值。当帧速率一定时，上述判断也可以采用帧数间隔来进行，例如，当该道路图像帧与上一次输入车辆关键部件检测模型的道路图像帧之间的间隔帧数大于预设帧数时，将该道路图像帧输入车辆关键部件检测模型。
具体的，在将道路图像帧输入车辆关键部件检测模型之前，可以判断采集道路图像帧的时刻与第一时刻之间的时间间隔是否大于预设时间阈值，如果是，则将道路图像帧输入车辆关键部件检测模型。如果否，则可以不做处理或者执行其他处理。由于相邻道路图像帧之间的间隔时间很短，可以间隔性地将道路图像帧输入车辆关键部件检测模型，并确定待检测车辆相对于当前车辆的车辆速度信息，无需针对每个道路图像帧都重新确定车辆速度信息，这样能够在保证精度的情况下提高检测的效率。
在另一种实施方式中，当采集道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，还可以获取确定的上一道路图像帧的关键部件区域以及上一道路图像帧对应的变换矩阵，根据上一道路图像帧的关键部件区域和上一道路图像帧对应的变换矩阵，确定该道路图像帧的关键部位区域。
其中，上一道路图像帧对应的变换矩阵为根据第一预设公式确定。
例如，当间隔性地将道路图像帧输入车辆关键部件检测模型时，针对没有输入车辆关键部件检测模型的道路图像帧，可以根据上一道路图像帧的关键部件区域和上一道路图像帧对应的变换矩阵，根据上述公式X1＝HX0确定该道路图像帧的关键部件区域中的特征点，根据该特征点确定该道路图像帧的关键部件区域。其中，X1为该道路图像帧中的特征点，X0为上一道路图像帧中的特征点，H为上一道路图像帧对应的变换矩阵，当X0和H为已知量时，可以求得X1。在实际应用中，可以采用多组特征点进行求解。
例如，针对该道路图像帧和上一道路图像帧中车辆左平面或车辆右平面的关键部件区域(诸如车轮关键部件区域)，已知上一道路图像帧中的车轮关键部件区域，要求该道路图像帧中的车辆关键部件区域。近似可以认为相邻两道路图像帧车辆左平面(或车辆右平面)位于同一个三维平面上，继而可以根据公式X1＝HX0求解该道路图像帧关键部件区域中的特征点。
上一道路图像帧的关键部件区域可以是通过车辆关键部件检测模型确定的，也可以是通过对应特征点和变换矩阵确定的。上一道路图像帧对应的变换矩阵可以是该道路图像帧之前不相连的两个道路图像帧计算得到的，也可以是在该道路图像帧之前、与该道路图像帧时间上最接近的两个道路图像帧计算得到。
在本发明的另一实施例中，图1所示实施例中，为了确定待检测车辆更多的行驶信息，在确定道路图像帧中的关键部件区域之后，该方法还包括：
根据该道路图像帧的关键部件区域的目标像素点位置，确定待检测车辆相对于当前车辆的车辆距离信息。
其中，目标像素点位置为：道路图像帧中待检测车辆的轮胎区域的接地像素点位置。
在一种实施方式中，根据道路图像帧的关键部件区域的目标像素点位置，确定待检测车辆相对于当前车辆的车辆距离信息时，可以包括：
根据以下第二预设公式，确定待检测车辆相对于当前车辆的车辆距离信息D：
其中，hsize为图像采集设备距离地面的高度，f为图像采集设备中感光元件的焦距，y为目标像素点的纵向坐标，foey为预先确定的图像采集设备的图像消失点的纵向坐标。foey可以预先使用图像采集设备拍摄包含平行线的场景，并确定拍摄得到的图像中平行线消失点的纵向坐标，即y向坐标。hsize、f和foey均可以预先获取到。当确定y时，可以求得D。
在一种实施方式中，可以确定多个目标像素点位置，得到多个车辆距离信息，并计算多个车辆距离信息的平均值，作为待检测车辆相对于当前车辆的车辆距离信息。
综上，本实施例能够根据关键部件区域中的目标像素点位置确定待检测车辆相对于当前车辆的车辆距离信息，进而能够得到更多关于待检测车辆的行驶信息。
在本发明的另一实施例中，图1所示实施例中，为了得到待检测车辆更多的信息，在确定道路图像帧的关键部件区域之后，该方法还可以包括步骤1d和2d。
步骤1d：将该道路图像帧的关键部件区域输入车辆结构检测模型，由车辆结构检测模型根据预先训练好的模型参数，确定该道路图像帧的关键部件区域对应的待检测车辆的整体结构数据。
其中，整体结构数据包括车辆的长度、宽度、高度和方位角等数据。整体结构数据能够体现待检测车辆的三维结构信息。
当道路图像帧中的待检测车辆不完整时，通过上述步骤1d可以根据道路图像帧中待检测车辆的关键部件区域确定待检测车辆的整体结构数据，能够为进一步确定待检测车辆的更多信息提供依据。
步骤2d：根据待检测车辆相对于当前车辆的车辆距离信息，以及整体结构数据，确定待检测车辆相对于当前车辆的相对位置。
相比于车辆距离信息，待检测车辆相对于当前车辆的相对位置能够更准确地反应待检测车辆与当前车辆之间的位置关系，能够提供更多的车辆信息。
当得到比较完整的待检测车辆的整体结构数据时，还可以结合待检测车辆的整体结构数据以及待检测车辆与当前车辆之间的车辆速度信息，对待检测车辆的车辆位置进行实时更新，并可以预测得到较为准确的车辆位置信息，从而对车辆的驾驶进行指导。
在本发明的另一实施例中，上述车辆结构检测模型可以为预先根据样本车辆图像对卷积神经网络训练得到的。具体的，该车辆结构检测模型可以采用以下步骤1e～训练得到。
步骤1e：获取样本车辆图像，并确定样本车辆图像中样本车辆的样本关键部件区域，以及标注的样本车辆的标准整体结构数据。
其中，样本车辆图像中包含不完整的样本车辆。样本车辆图像可以是各大类型车辆的多角度但不完整的拍摄图像。对于同一个样本车辆图像，可以采取旋转、裁剪、镜像对称等方法进行处理，从而达到扩充样本训练集的目的。在本实施例中，可以预先建立样本库，从样本库中获取样本车辆图像。样本库可以采用公开的数据集中的图像，也可以从当前车辆的存储设备中获取当前车辆的摄像头所采集的图像。本实施例中车辆结构检测模型的训练是有监督训练。在训练车辆结构检测模型时，输入模型的是样本车辆的标准车辆关键部件区域。
在确定样本车辆的样本关键部件区域之前，可以将样本车辆图像缩放至预设尺寸，例如300×300px或者512×512px。这样可以使得车辆结构检测模型对同一尺寸的样本车辆图像中的样本关键部件区域进行学习，从而能够更快速、更准确地对车辆图像进行处理，提高模型的训练效率。
步骤2e：根据车辆结构检测模型的模型参数，确定样本关键部件区域的样本特征信息，并对该样本特征信息进行回归，得到样本关键部件区域对应的样本车辆的参考整体结构数据。
车辆结构检测模型的模型参数的初始值可以根据经验预先设置，例如可以设置为较小的值。在每次训练的过程中，该模型参数不断地被修正，逐渐接近真实值。
步骤3e：将参考整体结构数据与对应的标准整体结构数据进行比对，得到第一差异量。
步骤4e：当第一差异量大于第一预设差异阈值时，根据第一差异量对车辆结构检测模型的模型参数进行修正，返回执行步骤2e；当第一差异量小于第一预设差异阈值时，确定车辆结构检测模型训练完成。
在本实施例中，可以采用迁移学习的方法，利用已有的在目标检测领域取得较好结果的卷积神经网络，对其输出类别数量及可能需要修改的结构做出相应的修改，并直接采用原有网络模型中已经充分训练的参数，作为初始的模型参数，采用微调的方法，利用样本图像对卷积神经网络进行训练。
下面以标记右车轮区域和车牌区域的样本车辆图像为例，说明车辆结构检测模型的检测原理。当正对待检测车辆尾部时，车牌右边线和车轮的左轮廓线在图像上的相对水平距离为x，相对垂直高度为y，已知图像采集设备的焦距为f，由这些参数可以得到待检测车辆与当前车辆的距离为s。并且，待检测车辆相对当前车辆的方位角为θ，待检测车辆的高度为H，宽度为W，中心点坐标为P(Px,Py,Pz)，这三个变量决定了待检测车辆的三维结构以及站姿，记为车辆姿态参量Ω(θ,H,W,P)。显然，车辆的宽度、高度、方位角和中心点，图像采集设备与当前车辆的距离，图像采集设备的焦距，都会影响图像上x与y的大小。
因此，在训练样本车辆图像的过程中，利用角点检测技术检测出边界线，测量出x、y的值作为网络模型的输入，f和s作为已知量，车辆姿态参量Ω(θ,H,W,P)作为输出，即可以通过卷积神经网络拟合以下函数：
Ω＝k(x,y,f,s)
上述操作实质是利用卷积神经网络对车辆中心点、方位角、车辆宽度、车辆高度进行回归预测。在训练过程中，确定第一差异量时可以使用L2 Loss函数作为损失函数。L2距离指的是向量的欧式距离。在实施例中，L2 Loss函数的表达式如下：
Loss＝||θpredict-θtrue||2+||Hpredict-Htrue||2
+||Wpredict-Wtrue||2+||Ppredict-Ptrue||2
其中，下标带有predict字样的参量，指的是经过模型回归得到的预测值，而下标带true字样的参量是标准值，即真实值。Loss函数实际代表的是预测值和真值的欧氏距离的平方。
在根据第一差异量对车辆结构检测模型的模型参数进行修正时，可以通过梯度下降的方法调整模型参数，反复迭代减小损失函数，直到得到损失函数较小、泛化程度较高的检测模型。也可以采用对Loss函数进行针对性改进的方式调整模型参数，例如对输出值进行归一化等等，从而得到比较好的训练效果。
在训练的学习速率设置方面，最开始设置为0.01～0.001，等到迭代经过一定轮数后，学习率可以逐渐减缓，而等到接近训练结束时，学习速率的衰减速率大概在100倍以上。具体的学习速率还可以根据样本集数量、硬件设施能力等实际情况进行调整。
在本实施例中，可以不局限于单幅照片对车辆三维结构信息进行回归预测的模式。例如，可以利用多张角度不同或者标记的关键部件区域不同的图像对同一车辆的三维结构进行回归预测，然后综合选取置信度较高的车辆整体结构数据。除此以外，因为根据二维图像对三维图像的物理结构信息进行回归预测是深度学习领域中一项比较困难的技术，为了得到更加精确的车辆整体结构数据，可以考虑预分类处理，即如果样本车辆图像上带有车辆品牌标识或者型号信息，可以预先进行识别，将此作为先验知识，以便提高训练的速度和精度。
以上实施例，主要是以卷积神经网络模型作为神经网络模型，进行检测、追踪与建模。而随着机器学习的不断发展，卷积神经网络模型也在不断发展。具体的，基于所要训练的模型的功能以及该模型所要处理的数据，可以采用不同类型的卷积神经网络作为模型原型。常见的用于对象检测的卷积神经网络包括R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、YOLO、YOLO9000、SSD、NASNet、Mask R-CNN等。
图3为本发明实施例提供的车辆行驶信息确定装置的一种结构示意图。该装置实施例与图1所示方法实施例相对应。该实施例应用于处理器或包含处理器的电子设备。该装置具体包括：
第一获取模块310，被配置为获取采集的当前车辆周围的道路图像帧；其中，所述道路图像帧包括所述当前车辆周围的待检测车辆，采集所述道路图像帧的图像采集设备位于所述当前车辆；
第一确定模块320，被配置为将所述道路图像帧输入车辆关键部件检测模型，由所述车辆关键部件检测模型中的卷积层和全连接层根据预先训练好的模型参数，确定所述道路图像帧中待检测车辆的关键部件区域；
第二获取模块330，被配置为获取确定的上一道路图像帧的关键部件区域；
关联模块340，被配置为对所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联；
第二确定模块350，被配置为根据相关联的关键部件区域之间的位置差异，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
在本发明的另一实施例中，图3所示实施例中，所述卷积层包括第一参数，所述全连接层包括第二参数；所述装置还包括：模型训练模块(图中未示出)，被配置为采用以下操作训练所述车辆关键部件检测模型：
获取样本道路图像和标注的所述样本道路图像中样本车辆的标准关键部件区域，将所述样本道路图像输入所述卷积层；
通过所述卷积层，根据所述第一参数，对所述样本道路图像的像素点进行特征提取，得到所述样本道路图像的样本特征向量；通过所述全连接层，根据所述第二参数，对所述样本特征向量进行映射，得到所述样本道路图像中样本车辆的参考关键部件区域；
将所述参考关键部件区域与对应的标准关键部件区域进行比对，得到差异量；
当所述差异量大于预设差异阈值时，根据所述差异量对所述第一参数和所述第二参数进行修正，将所述样本道路图像输入所述卷积层；当所述差异量小于所述预设差异阈值时，确定所述车辆关键部件检测模型训练完成。
在本发明的另一实施例中，图3所示实施例中，关联模块340具体被配置为：
提取所述道路图像帧和所述上一道路图像帧中的关键部件区域的特征信息；其中，所述特征信息包括位置信息和/或像素信息；
将所述道路图像帧与所述上一道路图像帧的同类型关键部件区域的特征信息分别进行匹配；
将匹配成功的关键部件区域作为所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联。
在本发明的另一实施例中，图3所示实施例中，第二确定模块350具体被配置为：
从所述相关联的关键部件区域中选取对应特征点，根据以下第一预设公式，确定所述道路图像帧对应的变换矩阵H：
其中，所述X1和X0为选取的对应特征点，所述H中的S为所述相关联的关键部件区域之间的缩放度，所述offset_y和所述offset_x分别为所述相关联的关键部件区域之间在y轴和x轴方向上的平移量，所述x轴和y轴为图像坐标系中的坐标轴；
根据所述道路图像帧对应的变换矩阵中的缩放度和平移量，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
在本发明的另一实施例中，图3所示实施例中，第一确定模块320，还被配置为：
在将所述道路图像帧输入车辆关键部件检测模型之前，当采集所述道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将所述道路图像帧输入车辆关键部件检测模型；其中，所述第一时刻为上一次将采集的道路图像帧输入所述车辆部件检测模型的时刻。
在本发明的另一实施例中，图3所示实施例中，所述装置还包括：
第三确定模块(图中未示出)，被配置为：当采集所述道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，获取确定的上一道路图像帧的关键部件区域以及所述上一道路图像帧对应的变换矩阵；所述上一道路图像帧对应的变换矩阵为根据所述第一预设公式确定；
根据所述上一道路图像帧的关键部件区域和所述上一道路图像帧对应的变换矩阵，确定所述道路图像帧的关键部位区域。
在本发明的另一实施例中，图3所示实施例中，该装置还包括：
第四确定模块(图中未示出)，被配置为在确定所述道路图像帧中的关键部件区域之后，根据所述道路图像帧的关键部件区域的目标像素点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息；其中，所述目标像素点位置为：所述道路图像帧中待检测车辆的轮胎区域的接地像素点位置。
在本发明的另一实施例中，图3所示实施例中，第四确定模块，根据所述道路图像帧的关键部件区域的目标像素点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息时，包括：
根据以下第二预设公式，确定所述待检测车辆相对于所述当前车辆的车辆距离信息D：
其中，所述hsize为所述图像采集设备距离地面的高度，所述f为所述图像采集设备中感光元件的焦距，所述y为所述目标像素点的纵向坐标，所述foey为预先确定的所述图像采集设备的图像消失点的纵向坐标。
在本发明的另一实施例中，图3所示实施例中，该装置还包括：
第五确定模块(图中未示出)，被配置为在确定所述道路图像帧的关键部件区域之后，将所述道路图像帧的关键部件区域输入车辆结构检测模型，由所述车辆结构检测模型根据预先训练好的模型参数，确定所述道路图像帧的关键部件区域对应的待检测车辆的整体结构数据；根据所述待检测车辆相对于所述当前车辆的车辆距离信息，以及所述整体结构数据，确定所述待检测车辆相对于所述当前车辆的相对位置。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
图4为本发明实施例提供的车载终端的一种结构示意图。该车载终端包括：处理器410和图像采集设备420；图像采集设备420位于当前车辆；
图像采集设备420，采集当前车辆周围的道路图像帧；其中，所述道路图像帧包括所述当前车辆周围的待检测车辆；
所述处理器410，获取所述图像采集设备420采集的所述道路图像帧，将所述道路图像帧输入车辆关键部件检测模型，由所述车辆关键部件检测模型中的卷积层和全连接层根据预先训练好的模型参数，确定所述道路图像帧中待检测车辆的关键部件区域；获取确定的上一道路图像帧的关键部件区域；对所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联；根据相关联的关键部件区域之间的位置差异，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
在本发明的另一实施例中，图4所示实施例中，上述卷积层包括第一参数，全连接层包括第二参数；车辆关键部件检测模型采用以下操作训练完成：
获取样本道路图像和标注的所述样本道路图像中样本车辆的标准关键部件区域，将所述样本道路图像输入所述卷积层；
通过所述卷积层，根据所述第一参数，对所述样本道路图像的像素点进行特征提取，得到所述样本道路图像的样本特征向量；通过所述全连接层，根据所述第二参数，对所述样本特征向量进行映射，得到所述样本道路图像中样本车辆的参考关键部件区域；
将所述参考关键部件区域与对应的标准关键部件区域进行比对，得到差异量；
当所述差异量大于预设差异阈值时，根据所述差异量对所述第一参数和所述第二参数进行修正，将所述样本道路图像输入所述卷积层；当所述差异量小于所述预设差异阈值时，确定所述车辆关键部件检测模型训练完成。
在本发明的另一实施例中，图4所示实施例中，处理器410，对所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联时，包括：
提取所述道路图像帧和所述上一道路图像帧中的关键部件区域的特征信息；其中，所述特征信息包括位置信息和/或像素信息；
将所述道路图像帧与所述上一道路图像帧的同类型关键部件区域的特征信息分别进行匹配；
将匹配成功的关键部件区域作为所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联。
在本发明的另一实施例中，图4所示实施例中，所述处理器410，根据相关联的关键部件区域之间的位置差异，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息时，包括：
从所述相关联的关键部件区域中选取对应特征点，根据以下第一预设公式，确定所述道路图像帧对应的变换矩阵H：
其中，所述X1和X0为选取的对应特征点，所述H中的S为所述相关联的关键部件区域之间的缩放度，所述offset_y和所述offset_x分别为所述相关联的关键部件区域之间在y轴和x轴方向上的平移量，所述x轴和y轴为图像坐标系中的坐标轴；
根据所述道路图像帧对应的变换矩阵中的缩放度和平移量，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
在本发明的另一实施例中，图4所示实施例中，所述处理器410，还在将所述道路图像帧输入车辆关键部件检测模型之前，当采集所述道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将所述道路图像帧输入车辆关键部件检测模型；其中，所述第一时刻为上一次将采集的道路图像帧输入所述车辆部件检测模型的时刻。
在本发明的另一实施例中，图4所示实施例中，所述处理器410，还：
当采集所述道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，获取确定的上一道路图像帧的关键部件区域以及所述上一道路图像帧对应的变换矩阵；所述上一道路图像帧对应的变换矩阵为根据所述第一预设公式确定；
根据所述上一道路图像帧的关键部件区域和所述上一道路图像帧对应的变换矩阵，确定所述道路图像帧的关键部位区域。
在本发明的另一实施例中，图4所示实施例中，所述处理器410，还在确定所述道路图像帧中的关键部件区域之后，根据所述道路图像帧的关键部件区域的目标像素点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息；其中，所述目标像素点位置为：所述道路图像帧中待检测车辆的轮胎区域的接地像素点位置。
在本发明的另一实施例中，图4所示实施例中，所述处理器410，根据所述道路图像帧的关键部件区域的目标像素点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息时，包括：
根据以下第二预设公式，确定所述待检测车辆相对于所述当前车辆的车辆距离信息D：
其中，所述hsize为所述图像采集设备距离地面的高度，所述f为所述图像采集设备中感光元件的焦距，所述y为所述目标像素点的纵向坐标，所述foey为预先确定的所述图像采集设备的图像消失点的纵向坐标。
在本发明的另一实施例中，图4所示实施例中，所述处理器410，还在确定所述道路图像帧的关键部件区域之后，将所述道路图像帧的关键部件区域输入车辆结构检测模型，由所述车辆结构检测模型根据预先训练好的模型参数，确定所述道路图像帧的关键部件区域对应的待检测车辆的整体结构数据；根据所述待检测车辆相对于所述当前车辆的车辆距离信息，以及所述整体结构数据，确定所述待检测车辆相对于所述当前车辆的相对位置。
上述车载终端可以是现有的、正在研发的或将来研发的智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。本实施例对车载终端的实施方式不进行限制。
该终端实施例与图1所示方法实施例是基于同一发明构思得到的实施例，相关之处可以相互参照。上述终端实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (10)
1.一种车辆行驶信息确定方法，其特征在于，包括：
获取采集的当前车辆周围的道路图像帧；其中，所述道路图像帧包括所述当前车辆周围的待检测车辆，采集所述道路图像帧的图像采集设备位于所述当前车辆；
将所述道路图像帧输入车辆关键部件检测模型，由所述车辆关键部件检测模型中的卷积层和全连接层根据预先训练好的模型参数，确定所述道路图像帧中待检测车辆的关键部件区域；
获取确定的上一道路图像帧的关键部件区域；
对所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联；
根据相关联的关键部件区域之间的位置差异，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
2.如权利要求1所述的方法，其特征在于，所述卷积层包括第一参数，所述全连接层包括第二参数；所述车辆关键部件检测模型采用以下方式训练完成：
获取样本道路图像和标注的所述样本道路图像中样本车辆的标准关键部件区域，将所述样本道路图像输入所述卷积层；
通过所述卷积层，根据所述第一参数，对所述样本道路图像的像素点进行特征提取，得到所述样本道路图像的样本特征向量；通过所述全连接层，根据所述第二参数，对所述样本特征向量进行映射，得到所述样本道路图像中样本车辆的参考关键部件区域；
将所述参考关键部件区域与对应的标准关键部件区域进行比对，得到差异量；
当所述差异量大于预设差异阈值时，根据所述差异量对所述第一参数和所述第二参数进行修正，返回执行所述将所述样本道路图像输入所述卷积层的步骤；当所述差异量小于所述预设差异阈值时，确定所述车辆关键部件检测模型训练完成。
3.如权利要求1所述的方法，其特征在于，所述对所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联的步骤，包括：
提取所述道路图像帧和所述上一道路图像帧中的关键部件区域的特征信息；其中，所述特征信息包括位置信息和/或像素信息；
将所述道路图像帧与所述上一道路图像帧的同类型关键部件区域的特征信息分别进行匹配；
将匹配成功的关键部件区域作为所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联。
4.如权利要求1所述的方法，其特征在于，所述根据相关联的关键部件区域之间的位置差异，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息的步骤，包括：
从所述相关联的关键部件区域中选取对应特征点，根据以下第一预设公式，确定所述道路图像帧对应的变换矩阵H：
其中，所述X1和X0为选取的对应特征点，所述H中的S为所述相关联的关键部件区域之间的缩放度，所述offset_y和所述offset_x分别为所述相关联的关键部件区域之间在y轴和x轴方向上的平移量，所述x轴和y轴为图像坐标系中的坐标轴；
根据所述道路图像帧对应的变换矩阵中的缩放度和平移量，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
5.如权利要求4所述的方法，其特征在于，在将所述道路图像帧输入车辆关键部件检测模型之前，所述方法还包括：
当采集所述道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将所述道路图像帧输入车辆关键部件检测模型；其中，所述第一时刻为上一次将采集的道路图像帧输入所述车辆部件检测模型的时刻。
6.如权利要求5所述的方法，其特征在于，当采集所述道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，所述方法还包括：
获取确定的上一道路图像帧的关键部件区域以及所述上一道路图像帧对应的变换矩阵；所述上一道路图像帧对应的变换矩阵为根据所述第一预设公式确定；
根据所述上一道路图像帧的关键部件区域和所述上一道路图像帧对应的变换矩阵，确定所述道路图像帧的关键部位区域。
7.如权利要求1或6所述的方法，其特征在于，在确定所述道路图像帧中的关键部件区域之后，所述方法还包括：
根据所述道路图像帧的关键部件区域的目标像素点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息；其中，所述目标像素点位置为：所述道路图像帧中待检测车辆的轮胎区域的接地像素点位置；
所述根据所述道路图像帧的关键部件区域的目标像素点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息的步骤，包括：
根据以下第二预设公式，确定所述待检测车辆相对于所述当前车辆的车辆距离信息D：
其中，所述hsize为所述图像采集设备距离地面的高度，所述f为所述图像采集设备中感光元件的焦距，所述y为所述目标像素点的纵向坐标，所述foey为预先确定的所述图像采集设备的图像消失点的纵向坐标。
8.如权利要求7所述的方法，其特征在于，在确定所述道路图像帧的关键部件区域之后，所述方法还包括：
将所述道路图像帧的关键部件区域输入车辆结构检测模型，由所述车辆结构检测模型根据预先训练好的模型参数，确定所述道路图像帧的关键部件区域对应的待检测车辆的整体结构数据；
根据所述待检测车辆相对于所述当前车辆的车辆距离信息，以及所述整体结构数据，确定所述待检测车辆相对于所述当前车辆的相对位置。
9.一种车辆行驶信息确定装置，其特征在于，包括：
第一获取模块，被配置为获取采集的当前车辆周围的道路图像帧；其中，所述道路图像帧包括所述当前车辆周围的待检测车辆，采集所述道路图像帧的图像采集设备位于所述当前车辆；
第一确定模块，被配置为将所述道路图像帧输入车辆关键部件检测模型，由所述车辆关键部件检测模型中的卷积层和全连接层根据预先训练好的模型参数，确定所述道路图像帧中待检测车辆的关键部件区域；
第二获取模块，被配置为获取确定的上一道路图像帧的关键部件区域；
关联模块，被配置为对所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联；
第二确定模块，被配置为根据相关联的关键部件区域之间的位置差异，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
10.一种车载终端，其特征在于，包括：处理器和图像采集设备；所述图像采集设备位于当前车辆；
所述图像采集设备，采集所述当前车辆周围的道路图像帧；其中，所述道路图像帧包括所述当前车辆周围的待检测车辆；
所述处理器，获取所述图像采集设备采集的所述道路图像帧，将所述道路图像帧输入车辆关键部件检测模型，由所述车辆关键部件检测模型中的卷积层和全连接层根据预先训练好的模型参数，确定所述道路图像帧中待检测车辆的关键部件区域；获取确定的上一道路图像帧的关键部件区域；对所述道路图像帧和所述上一道路图像帧之间同一待检测车辆的同一关键部件区域进行关联；根据相关联的关键部件区域之间的位置差异，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定对应的待检测车辆相对于所述当前车辆的车辆速度信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910224888.XA CN111738032B (zh) | 2019-03-24 | 2019-03-24 | 一种车辆行驶信息确定方法及装置、车载终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910224888.XA CN111738032B (zh) | 2019-03-24 | 2019-03-24 | 一种车辆行驶信息确定方法及装置、车载终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111738032A true CN111738032A (zh) | 2020-10-02 |
| CN111738032B CN111738032B (zh) | 2022-06-24 |
Family
ID=72645774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910224888.XA Active CN111738032B (zh) | 2019-03-24 | 2019-03-24 | 一种车辆行驶信息确定方法及装置、车载终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738032B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232326A (zh) * | 2020-12-15 | 2021-01-15 | 北京每日优鲜电子商务有限公司 | 行驶信息生成方法、装置、电子设备和计算机可读介质 |
| CN112883871A (zh) * | 2021-02-19 | 2021-06-01 | 北京三快在线科技有限公司 | 一种模型训练以及确定无人车运动策略方法及装置 |
| CN113112866A (zh) * | 2021-04-14 | 2021-07-13 | 深圳市旗扬特种装备技术工程有限公司 | 一种智能交通预警方法及智能交通预警*** |
| CN113191353A (zh) * | 2021-04-15 | 2021-07-30 | 华北电力大学扬中智能电气研究中心 | 一种车速确定方法、装置、设备和介质 |
| WO2023020004A1 (zh) * | 2021-08-16 | 2023-02-23 | 长安大学 | 一种车辆距离探测方法、***、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及*** |
| CN105551264A (zh) * | 2015-12-25 | 2016-05-04 | 中国科学院上海高等研究院 | 一种基于车牌特征匹配的车速检测方法 |
-
2019
- 2019-03-24 CN CN201910224888.XA patent/CN111738032B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及*** |
| CN105551264A (zh) * | 2015-12-25 | 2016-05-04 | 中国科学院上海高等研究院 | 一种基于车牌特征匹配的车速检测方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232326A (zh) * | 2020-12-15 | 2021-01-15 | 北京每日优鲜电子商务有限公司 | 行驶信息生成方法、装置、电子设备和计算机可读介质 |
| CN112883871A (zh) * | 2021-02-19 | 2021-06-01 | 北京三快在线科技有限公司 | 一种模型训练以及确定无人车运动策略方法及装置 |
| CN113112866A (zh) * | 2021-04-14 | 2021-07-13 | 深圳市旗扬特种装备技术工程有限公司 | 一种智能交通预警方法及智能交通预警*** |
| CN113191353A (zh) * | 2021-04-15 | 2021-07-30 | 华北电力大学扬中智能电气研究中心 | 一种车速确定方法、装置、设备和介质 |
| WO2022217630A1 (zh) * | 2021-04-15 | 2022-10-20 | 华北电力大学扬中智能电气研究中心 | 一种车速确定方法、装置、设备和介质 |
| WO2023020004A1 (zh) * | 2021-08-16 | 2023-02-23 | 长安大学 | 一种车辆距离探测方法、***、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111738032B (zh) | 2022-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738032B (zh) | 一种车辆行驶信息确定方法及装置、车载终端 | |
| Dhiman et al. | Pothole detection using computer vision and learning | |
| EP3735675B1 (en) | Image annotation | |
| Zhao et al. | Detection, tracking, and geolocation of moving vehicle from uav using monocular camera | |
| US11035958B2 (en) | Systems and methods for correcting a high-definition map based on detection of obstructing objects | |
| CN104299244B (zh) | 基于单目相机的障碍物检测方法及装置 | |
| WO2020000137A1 (en) | Integrated sensor calibration in natural scenes | |
| CN111738033B (zh) | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 | |
| CN110047108B (zh) | 无人机位姿确定方法、装置、计算机设备及存储介质 | |
| CN108648194B (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
| Parra et al. | Robust visual odometry for vehicle localization in urban environments | |
| KR20190030474A (ko) | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 | |
| CN111169468A (zh) | 一种自动泊车的***及方法 | |
| US20200279395A1 (en) | Method and system for enhanced sensing capabilities for vehicles | |
| CN111098850A (zh) | 一种自动停车辅助***及自动泊车方法 | |
| CN116469079A (zh) | 一种自动驾驶bev任务学习方法及相关装置 | |
| CN113012215A (zh) | 一种空间定位的方法、***及设备 | |
| CN112598743B (zh) | 一种单目视觉图像的位姿估算方法及相关装置 | |
| CN110909620A (zh) | 车辆检测方法、装置、电子设备及存储介质 | |
| CN112837404B (zh) | 一种平面对象的三维信息的构建方法及装置 | |
| García-García et al. | 3D visual odometry for road vehicles | |
| CN116151320A (zh) | 一种抗动态目标干扰的视觉里程计方法及视觉里程计装置 | |
| Burlacu et al. | Stereo vision based environment analysis and perception for autonomous driving applications | |
| JP2018116147A (ja) | 地図作成装置、地図作成方法及び地図作成用コンピュータプログラム | |
| García-García et al. | 3D visual odometry for GPS navigation assistance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211123 Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd. Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |