CN114037977B - 道路灭点的检测方法、装置、设备及存储介质 - Google Patents

道路灭点的检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114037977B
CN114037977B CN202210012039.XA CN202210012039A CN114037977B CN 114037977 B CN114037977 B CN 114037977B CN 202210012039 A CN202210012039 A CN 202210012039A CN 114037977 B CN114037977 B CN 114037977B
Authority
CN
China
Prior art keywords
image
vanishing point
coordinate
road vanishing
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210012039.XA
Other languages
English (en)
Other versions
CN114037977A (zh
Inventor
俞吉
刘国清
杨广
王启程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjia Innovation Technology Co.,Ltd.
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202210012039.XA priority Critical patent/CN114037977B/zh
Publication of CN114037977A publication Critical patent/CN114037977A/zh
Application granted granted Critical
Publication of CN114037977B publication Critical patent/CN114037977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种道路灭点的检测方法、装置、设备及存储介质，通过获取车辆行驶时的前方图像和车辆惯性数据，并确定所述前方图像的图像可通行区域，对所述图像可通行区域进行坐标提取，确定道路灭点的当前坐标，从而可以检测图像可通行区域的边缘像素坐标，以用于计算灭点坐标，无需对检测平行车道线的依赖；再基于预设的卡尔曼滤波器，利用所述车辆惯性数据和所述当前坐标，对所述道路灭点进行动态检测，得到所述道路灭点的坐标变化轨迹，以利用惯性传感器对灭点进行稳定跟踪，从而避免假设道路属于水平面而导致灭点检测准确度降低的情况，保证灭点检测的准确度。

Description

道路灭点的检测方法、装置、设备及存储介质
技术领域
本申请涉及智能辅助驾驶技术领域，尤其涉及一种道路灭点的检测方法、装置、设备及存储介质。
背景技术
在高级辅助驾驶***中，摄像头是采集图像，实现对车辆、行人和车道线等目标进行识别、跟踪和测距测速的重要传感器知。其中单目视觉在对目标进行跟踪和测距测速时，需要依赖动态实时的道路灭点。灭点是指在透视投影中，一束平行于投影面的平行线的投影可以保持平行，而不平行于投影面的平行线的投影会聚集到一个点，该点称为灭点。
目前，对道路灭点的动态检测方法主要有：1.假设路面水平，摄像头在车辆上的安装位置和角度固定不变，所以灭点位置固定不变；2.检测相互平行的车道线，通过图像上车道线的交点来计算灭点。但是，路面不可能都是水平面，所以方法1在很多场景会出现较大误差；而在没有清晰的车道线或者车道线不平行的道路时，方法2也无法实现灭点动态检测。
发明内容
本申请提供了一种道路灭点的检测方法、装置、设备及存储介质，以解决当前道路灭点的动态检测存在检测准确度差的技术问题。
为了解决上述技术问题，本申请实施例提供了一种道路灭点的检测方法，包括：
获取车辆行驶时的前方图像和车辆惯性数据；
确定前方图像的图像可通行区域，图像可通行区域为车辆在物理世界的正常行驶道路范围被透视到图像中的区域范围；
对图像可通行区域进行坐标提取，确定道路灭点的当前坐标；
基于预设的卡尔曼滤波器，利用车辆惯性数据和当前坐标，对道路灭点进行动态检测，得到道路灭点的坐标变化轨迹。
本实施例通过获取车辆行驶时的前方图像和车辆惯性数据，并确定前方图像的图像可通行区域，对图像可通行区域进行坐标提取，确定道路灭点的当前坐标，从而可以检测图像可通行区域的边缘像素坐标，以用于计算灭点坐标，无需对检测平行车道线的依赖；再基于预设的卡尔曼滤波器，利用车辆惯性数据和当前坐标，对道路灭点进行动态检测，得到道路灭点的坐标变化轨迹，以利用惯性传感器对灭点进行稳定跟踪，从而避免假设道路属于水平面而导致灭点检测准确度降低的情况，保证灭点检测的准确度。
在一实施例中，确定前方图像的图像可通行区域，包括：
利用预设的图像分割模型，对前方图像进行分割，得到图像可通行区域的边缘像素坐标集合。
在一实施例中，对图像可通行区域进行坐标提取，确定道路灭点的当前坐标，包括：
根据图像可通行区域的边缘像素横坐标，对图像可通行区域的边缘像素纵坐标进行分段提取，得到边缘像素纵坐标的若干个最小峰值；
对若干个最小峰值进行均值运算，得到图像可通行区域的第一纵坐标，边缘像素横坐标和第一纵坐标组成道路灭点的当前坐标。
在一实施例中，获取车辆行驶时的前方图像和车辆惯性数据，包括：
利用车辆上的摄像头，获取车辆行驶时在k时刻的前方图像；
利用车辆上的惯性传感器，获取在k-1时刻到k时刻的车辆惯性数据。
在一实施例中，基于预设的卡尔曼滤波器，利用车辆惯性数据和当前坐标，对道路灭点进行动态检测，得到道路灭点的坐标变化轨迹，包括：
利用车辆惯性数据，预测道路灭点的第二纵坐标；
确定卡尔曼滤波器的目标状态协方差矩阵；
根据第二纵坐标和目标状态协方差矩阵，对道路灭点进行动态检测，得到道路灭点的坐标变化轨迹。
在一实施例中，利用车辆惯性数据，预测道路灭点的第二纵坐标，包括：
根据车辆的摄像头的纵向归一化焦距和车辆惯性数据，预测道路灭点的第二纵坐标。
在一实施例中，确定卡尔曼滤波器的目标状态协方差矩阵，包括：
根据卡尔曼滤波器在上一时刻的第一状态协方差矩阵和当前时刻的***噪声，确定卡尔曼滤波器在当前时刻的第二状态协方差矩阵；
根据图像可通行区域的灭点噪声，确定卡尔曼滤波器的增益矩阵；
利用增益矩阵，更新第二状态协方差矩阵，得到目标状态协方差矩阵。
第二方面，本申请实施例提供一种道路灭点的检测装置，包括：
获取模块，用于获取车辆行驶时的前方图像和车辆惯性数据；
确定模块，用于确定前方图像的图像可通行区域，图像可通行区域为车辆在物理世界的正常行驶道路范围被透视到图像中的区域范围；
提取模块，用于对图像可通行区域进行坐标提取，确定道路灭点的当前坐标；
检测模块，用于基于预设的卡尔曼滤波器，利用车辆惯性数据和当前坐标，对道路灭点进行动态检测，得到道路灭点的坐标变化轨迹。
第三方面，本申请实施例提供一种终端设备，包括处理器和存储器，存储器用于存储计算机程序，计算机程序被处理器执行时实现如第一方面的道路灭点的检测方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时实现如第一方面的道路灭点的检测方法。
需要说明的是，上述第二方面至第四方面的有益效果请参见上述第一方面的相关描述，在此不再赘述。
附图说明
图1为本申请实施例提供的道路灭点的检测方法的流程示意图；
图2为本申请实施例提供的图像坐标系的示意图；
图3为本申请实施例提供的道路灭点的检测装置的结构示意图；
图4为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如相关技术记载，对道路灭点的动态检测方法主要有：1.假设路面水平，摄像头在车辆上的安装位置和角度固定不变，所以灭点位置固定不变；2.检测相互平行的车道线，通过图像上车道线的交点来计算灭点。但是，路面不可能都是水平面，所以方法1在很多场景会出现较大误差；而在没有清晰的车道线或者车道线不平行的道路时，方法2也无法实现灭点动态检测。
为此，本申请实施例提供一种道路灭点的检测方法、装置、设备及存储介质，通过获取车辆行驶时的前方图像和车辆惯性数据，并确定所述前方图像的图像可通行区域，对所述图像可通行区域进行坐标提取，确定道路灭点的当前坐标，从而可以检测图像可通行区域的边缘像素坐标，以用于计算灭点坐标，无需对检测平行车道线的依赖；再基于预设的卡尔曼滤波器，利用所述车辆惯性数据和所述当前坐标，对所述道路灭点进行动态检测，得到所述道路灭点的坐标变化轨迹，以利用惯性传感器对灭点进行稳定跟踪，从而避免假设道路属于水平面而导致灭点检测准确度降低的情况，保证灭点检测的准确度。
请参照图1，图1为本申请实施例提供的一种道路灭点的检测方法的流程示意图。本申请实施例的道路灭点的检测方法可应用于终端设备，该终端设备包括但不限于车载终端、平板电脑和笔记本电脑等设备。如图1所示，本实施例的道路灭点的检测方法包括步骤S101至步骤S104，详述如下：
步骤S101，获取车辆行驶时的前方图像和车辆惯性数据。
在本步骤中，车辆上设置有摄像头和惯性传感器，惯性传感器可以是陀螺仪。在车辆行驶时，通过摄像头实时采集车辆前方的前方图像，以及通过惯性传感器采集车辆惯性数据。
步骤S102，确定所述前方图像的图像可通行区域，所述图像可通行区域为车辆在物理世界的正常行驶道路范围被透视到图像中的区域范围。
在本步骤中，利用基于深度学***行车道线的依赖。
步骤S103，对所述图像可通行区域进行坐标提取，确定道路灭点的当前坐标。
在本步骤中，如图2所示，当前坐标包括图像坐标系下的像素横坐标和像素纵坐标，其中图2中的v为像素纵坐标，u为像素横坐标。根据图像可通行区域的像素点，以边缘像素横坐标分段，对图像可通行区域进行分段提取，得到可通行区域顶点在每个分段的像素纵坐标峰值，计算可通行区域顶点的像素纵坐标峰值的均值，以得到灭点的像素纵坐标。
步骤S104，基于预设的卡尔曼滤波器，利用所述车辆惯性数据和所述当前坐标，对所述道路灭点进行动态检测，得到所述道路灭点的坐标变化轨迹。
在本步骤中，利用卡尔曼滤波器，车辆惯性数据与当前坐标进行融合处理，以利用实时的车辆惯性数据和当前坐标，跟踪道路灭点在当前时刻的坐标。本实施例通过利用惯性传感器对灭点进行稳定跟踪，从而避免假设道路属于水平面而导致灭点检测准确度降低的情况，保证灭点检测的准确度。
在一实施例中，在图1所示实施例的基础上，上述步骤S101，包括：
利用所述车辆上的摄像头，获取所述车辆行驶时在k时刻的前方图像；
利用所述车辆上的惯性传感器，获取在k-1时刻到k时刻的车辆惯性数据。
在本实施例中，通过摄像头获取k时刻的图像，记为
Figure 11689DEST_PATH_IMAGE001
；通过惯性传感器采集从k-1时刻到k时刻之间陀螺仪数据。可选地，陀螺仪数据为图像纵轴方向的角速度数据
Figure 535074DEST_PATH_IMAGE002
。
在一实施例中，在图1所示实施例的基础上，上述步骤S102，包括：
利用预设的图像分割模型，对所述前方图像进行分割，得到所述图像可通行区域的边缘像素坐标集合。
在本实施例中，利用基于深度学习算法的图像分割模型，预测图像可通行区域。图像可通行区域一般采用可通行区边缘的像素坐标
Figure 777968DEST_PATH_IMAGE003
表示，其中v是图像坐标系下的像素纵坐标，u是图像坐标系下的像素横坐标，下标i代表可通行区边缘的第i个点，所以图像可通行区域的所有边缘点的合集为
Figure 19593DEST_PATH_IMAGE004
。
在一实施例中，在图1所示实施例的基础上，上述步骤S103，包括：
根据所述图像可通行区域的边缘像素横坐标，对所述图像可通行区域的边缘像素纵坐标进行分段提取，得到所述边缘像素纵坐标的若干个最小峰值；
对若干个所述最小峰值进行均值运算，得到所述图像可通行区域的第一纵坐标，所述边缘像素横坐标和所述第一纵坐标组成所述道路灭点的当前坐标。
在本实施例中，如图2所示，根据图像可通行区域的边缘像素横坐标，分段提取可通行区域顶点纵坐标的最小m个峰值
Figure 357034DEST_PATH_IMAGE005
，然后对m个峰值进行均值运算，得到道路灭点在k时刻的边缘像素纵坐标，即第一纵坐标
Figure 505DEST_PATH_IMAGE006
。
在一实施例中，在图1所示实施例的基础上，上述步骤S104，包括：
利用所述车辆惯性数据，预测所述道路灭点的第二纵坐标；
确定所述卡尔曼滤波器的目标状态协方差矩阵；
根据所述第二纵坐标和所述目标状态协方差矩阵，对所述道路灭点进行动态检测，得到所述道路灭点的坐标变化轨迹。
在本实施例中，目标状态协方差矩阵基于上一时刻的状态协方差矩阵确定得到。通过卡尔曼滤波器，利用车辆惯性数据预测得到的第二纵坐标，对量测得到的第一纵坐标进行滤波修正，以提高道路灭点的检测准确度。
可选地，卡尔曼滤波器进行滤波修正，得到道路在k时刻的纵坐标：
Figure 148720DEST_PATH_IMAGE007
。其中
Figure 877642DEST_PATH_IMAGE008
为道路灭点在k时刻的边缘像素纵坐标，其与边缘像素横坐标组合可得到道路灭点在k时刻的位置坐标，
Figure 956456DEST_PATH_IMAGE009
为道路灭点在k时刻的第二纵坐标，
Figure 516751DEST_PATH_IMAGE010
为卡尔曼滤波器在k时刻的增益矩阵，为道路灭点在k时刻的第一纵坐标。可以理解的是，通过计算不同时刻的第一纵坐标、第二纵坐标、增益矩阵，则可以得到不同时刻的道路灭点坐标，即得到坐标变化轨迹。
可选地，所述利用所述车辆惯性数据，预测所述道路灭点的第二纵坐标，包括：根据所述车辆的摄像头的纵向归一化焦距和所述车辆惯性数据，预测所述道路灭点的第二纵坐标。
在本可选实施例中，利用陀螺仪数据，预测道路灭点在k时刻的第二纵坐标：
Figure 52085DEST_PATH_IMAGE013
，其中
Figure 934591DEST_PATH_IMAGE014
，
Figure 287075DEST_PATH_IMAGE015
为k-1时刻的第二纵坐标，
Figure 291940DEST_PATH_IMAGE016
和
Figure 729874DEST_PATH_IMAGE017
分别是k和k-1时刻的时间点，
Figure 960611DEST_PATH_IMAGE018
是摄像头的纵向归一化焦距。
在一实施例中，所述确定所述卡尔曼滤波器的目标状态协方差矩阵，包括：
根据所述卡尔曼滤波器在上一时刻的第一状态协方差矩阵和当前时刻的***噪声，确定所述卡尔曼滤波器在当前时刻的第二状态协方差矩阵；
根据所述图像可通行区域的灭点噪声，确定所述卡尔曼滤波器的增益矩阵；
利用所述增益矩阵，更新所述第二状态协方差矩阵，得到所述目标状态协方差矩阵。
在本实施例中，预测k时刻的第一状态协方差矩阵：
Figure 433181DEST_PATH_IMAGE019
，其中
Figure 608947DEST_PATH_IMAGE020
是上一时刻的目标状态协方差矩阵，
Figure 347227DEST_PATH_IMAGE021
是***噪声；计算增益矩阵：
Figure 571535DEST_PATH_IMAGE022
，其中
Figure 695349DEST_PATH_IMAGE023
是从每帧图像可通行区中计算的灭点纵坐标的噪声；更新状态协方差矩阵：
Figure 979700DEST_PATH_IMAGE024
。
为了执行上述方法实施例对应的道路灭点的检测方法，以实现相应的功能和技术效果。参见图3，图3示出了本申请实施例提供的一种道路灭点的检测装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本申请实施例提供的道路灭点的检测装置，包括：
获取模块301，用于获取车辆行驶时的前方图像和车辆惯性数据；
确定模块302，用于确定所述前方图像的图像可通行区域，所述图像可通行区域为车辆在物理世界的正常行驶道路范围被透视到图像中的区域范围；
提取模块303，用于对所述图像可通行区域进行坐标提取，确定道路灭点的当前坐标；
检测模块304，用于基于预设的卡尔曼滤波器，利用所述车辆惯性数据和所述当前坐标，对所述道路灭点进行动态检测，得到所述道路灭点的坐标变化轨迹。
在一实施例中，所述确定模块302，包括：
分割单元，用于利用预设的图像分割模型，对所述前方图像进行分割，得到所述图像可通行区域的边缘像素坐标集合。
在一实施例中，所述提取模块303，包括：
提取单元，用于根据所述图像可通行区域的边缘像素横坐标，对所述图像可通行区域的边缘像素纵坐标进行分段提取，得到所述边缘像素纵坐标的若干个最小峰值；
运算单元，用于对若干个所述最小峰值进行均值运算，得到所述图像可通行区域的第一纵坐标，所述边缘像素横坐标和所述第一纵坐标组成所述道路灭点的当前坐标。
在一实施例中，所述获取模块301，包括：
第一获取单元，用于利用所述车辆上的摄像头，获取所述车辆行驶时在k时刻的前方图像；
第二获取单元，用于利用所述车辆上的惯性传感器，获取在k-1时刻到k时刻的车辆惯性数据。
在一实施例中，所述检测模块304，包括：
预测单元，用于利用所述车辆惯性数据，预测所述道路灭点的第二纵坐标；
确定单元，用于确定所述卡尔曼滤波器的目标状态协方差矩阵；
检测单元，用于根据所述第二纵坐标和所述目标状态协方差矩阵，对所述道路灭点进行动态检测，得到所述道路灭点的坐标变化轨迹。
在一实施例中，所述预测单元，具体用于：
根据所述车辆的摄像头的纵向归一化焦距和所述车辆惯性数据，预测所述道路灭点的第二纵坐标。
在一实施例中，所述确定单元，包括：
第一确定子单元，用于根据所述卡尔曼滤波器在上一时刻的第一状态协方差矩阵和当前时刻的***噪声，确定所述卡尔曼滤波器在当前时刻的第二状态协方差矩阵；
第二确定子单元，用于根据所述图像可通行区域的灭点噪声，确定所述卡尔曼滤波器的增益矩阵；
更新子单元，用于利用所述增益矩阵，更新所述第二状态协方差矩阵，得到所述目标状态协方差矩阵。
上述的道路灭点的检测装置可实施上述方法实施例的道路灭点的检测方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本申请实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
图4为本申请一实施例提供的终端设备的结构示意图。如图4所示，该实施例的终端设备4包括：至少一个处理器40（图4中仅示出一个）处理器、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42，所述处理器40执行所述计算机程序42时实现上述任意方法实施例中的步骤。
所述终端设备4可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该终端设备可包括但不仅限于处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的举例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，该处理器40还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41在一些实施例中可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41在另一些实施例中也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
另外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述各个方法实施例中的步骤。
在本申请所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围。特别指出，对于本领域技术人员来说，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种道路灭点的检测方法，其特征在于，包括：
获取车辆行驶时的前方图像和车辆惯性数据；
确定所述前方图像的图像可通行区域，所述图像可通行区域为车辆在物理世界的正常行驶道路范围被透视到图像中的区域范围；
对所述图像可通行区域进行坐标提取，确定道路灭点的当前坐标；
基于预设的卡尔曼滤波器，利用所述车辆惯性数据和所述当前坐标，对所述道路灭点进行动态检测，得到所述道路灭点的坐标变化轨迹；
所述对所述图像可通行区域进行坐标提取，确定道路灭点的当前坐标，包括：
根据所述图像可通行区域的边缘像素横坐标，对所述图像可通行区域的边缘像素纵坐标进行分段提取，得到所述边缘像素纵坐标的若干个最小峰值；
对若干个所述最小峰值进行均值运算，得到所述图像可通行区域的第一纵坐标，所述边缘像素横坐标和所述第一纵坐标组成所述道路灭点的当前坐标。
2.如权利要求1所述的道路灭点的检测方法，其特征在于，所述确定所述前方图像的图像可通行区域，包括：
利用预设的图像分割模型，对所述前方图像进行分割，得到所述图像可通行区域的边缘像素坐标集合。
3.如权利要求1所述的道路灭点的检测方法，其特征在于，所述获取车辆行驶时的前方图像和车辆惯性数据，包括：
利用所述车辆上的摄像头，获取所述车辆行驶时在k时刻的前方图像；
利用所述车辆上的惯性传感器，获取在k-1时刻到k时刻的车辆惯性数据。
4.如权利要求1至3任一项所述的道路灭点的检测方法，其特征在于，所述基于预设的卡尔曼滤波器，利用所述车辆惯性数据和所述当前坐标，对所述道路灭点进行动态检测，得到所述道路灭点的坐标变化轨迹，包括：
利用所述车辆惯性数据，预测所述道路灭点的第二纵坐标；
确定所述卡尔曼滤波器的目标状态协方差矩阵；
根据所述第二纵坐标和所述目标状态协方差矩阵，对所述道路灭点进行动态检测，得到所述道路灭点的坐标变化轨迹。
5.如权利要求4所述的道路灭点的检测方法，其特征在于，所述利用所述车辆惯性数据，预测所述道路灭点的第二纵坐标，包括：
根据所述车辆的摄像头的纵向归一化焦距和所述车辆惯性数据，预测所述道路灭点的第二纵坐标。
6.如权利要求4所述的道路灭点的检测方法，其特征在于，所述确定所述卡尔曼滤波器的目标状态协方差矩阵，包括：
根据所述卡尔曼滤波器在上一时刻的第一状态协方差矩阵和当前时刻的***噪声，确定所述卡尔曼滤波器在当前时刻的第二状态协方差矩阵；
根据所述图像可通行区域的灭点噪声，确定所述卡尔曼滤波器的增益矩阵；
利用所述增益矩阵，更新所述第二状态协方差矩阵，得到所述目标状态协方差矩阵。
7.一种道路灭点的检测装置，其特征在于，包括：
获取模块，用于获取车辆行驶时的前方图像和车辆惯性数据；
确定模块，用于确定所述前方图像的图像可通行区域，所述图像可通行区域为车辆在物理世界的正常行驶道路范围被透视到图像中的区域范围；
提取模块，用于对所述图像可通行区域进行坐标提取，确定道路灭点的当前坐标；
检测模块，用于基于预设的卡尔曼滤波器，利用所述车辆惯性数据和所述当前坐标，对所述道路灭点进行动态检测，得到所述道路灭点的坐标变化轨迹；
所述提取模块，包括：
提取单元，用于根据所述图像可通行区域的边缘像素横坐标，对所述图像可通行区域的边缘像素纵坐标进行分段提取，得到所述边缘像素纵坐标的若干个最小峰值；
运算单元，用于对若干个所述最小峰值进行均值运算，得到所述图像可通行区域的第一纵坐标，所述边缘像素横坐标和所述第一纵坐标组成所述道路灭点的当前坐标。
8.一种终端设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6任一项所述的道路灭点的检测方法。
9.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的道路灭点的检测方法。
CN202210012039.XA 2022-01-07 2022-01-07 道路灭点的检测方法、装置、设备及存储介质 Active CN114037977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210012039.XA CN114037977B (zh) 2022-01-07 2022-01-07 道路灭点的检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210012039.XA CN114037977B (zh) 2022-01-07 2022-01-07 道路灭点的检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114037977A CN114037977A (zh) 2022-02-11
CN114037977B true CN114037977B (zh) 2022-04-26

Family

ID=80147417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210012039.XA Active CN114037977B (zh) 2022-01-07 2022-01-07 道路灭点的检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114037977B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557616B (zh) * 2024-01-11 2024-04-02 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种单目相机俯仰角确定和深度估计方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647572A (zh) * 2018-04-04 2018-10-12 华南理工大学 一种基于霍夫变换的车道偏离预警方法
CN108932472A (zh) * 2018-05-23 2018-12-04 中国汽车技术研究中心有限公司 一种基于车道线检测的自动驾驶行驶区域判别方法
CN110414329A (zh) * 2019-06-19 2019-11-05 上海眼控科技股份有限公司 一种基于图像的车辆行驶方向判断方法
CN111797809A (zh) * 2020-07-20 2020-10-20 吉林大学 一种面向自动驾驶轨迹跟踪的驾驶员视觉融合方法
CN112146620A (zh) * 2020-11-25 2020-12-29 腾讯科技（深圳）有限公司 目标物体的测距方法及装置
CN112907678A (zh) * 2021-01-25 2021-06-04 深圳佑驾创新科技有限公司 车载相机外参姿态动态估计方法、装置、计算机设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4222411B2 (ja) * 2006-11-08 2009-02-12 日本電気株式会社 消失点検出システム、消失点検出方法および消失点検出用プログラム
WO2016151976A1 (ja) * 2015-03-26 2016-09-29 パナソニックＩｐマネジメント株式会社 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
JP7077910B2 (ja) * 2018-10-22 2022-05-31 トヨタ自動車株式会社 区画線検出装置及び区画線検出方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647572A (zh) * 2018-04-04 2018-10-12 华南理工大学 一种基于霍夫变换的车道偏离预警方法
CN108932472A (zh) * 2018-05-23 2018-12-04 中国汽车技术研究中心有限公司 一种基于车道线检测的自动驾驶行驶区域判别方法
CN110414329A (zh) * 2019-06-19 2019-11-05 上海眼控科技股份有限公司 一种基于图像的车辆行驶方向判断方法
CN111797809A (zh) * 2020-07-20 2020-10-20 吉林大学 一种面向自动驾驶轨迹跟踪的驾驶员视觉融合方法
CN112146620A (zh) * 2020-11-25 2020-12-29 腾讯科技（深圳）有限公司 目标物体的测距方法及装置
CN112907678A (zh) * 2021-01-25 2021-06-04 深圳佑驾创新科技有限公司 车载相机外参姿态动态估计方法、装置、计算机设备

Also Published As

Publication number Publication date
CN114037977A (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN113486796B (zh) 无人车位置检测方法、装置、设备、存储介质及车辆
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
WO2018177026A1 (zh) 确定道路边沿的装置和方法
US11205284B2 (en) Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device
US11436815B2 (en) Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same
JP2020052585A (ja) 区画線認識装置
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
CN112927309A (zh) 一种车载相机标定方法、装置、车载相机及存储介质
JPWO2017130285A1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
CN112529935B (zh) 目标车辆运动状态识别方法及装置
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
CN115493612A (zh) 一种基于视觉slam的车辆定位方法及装置
CN114972427A (zh) 一种基于单目视觉的目标跟踪方法、终端设备及存储介质
US20200193184A1 (en) Image processing device and image processing method
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
CN116863124B (zh) 车辆姿态确定方法、控制器及存储介质
CN112902911B (zh) 基于单目相机的测距方法、装置、设备及存储介质
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
CN116772858A (zh) 车辆定位方法、装置、定位设备及存储介质
CN113643355A (zh) 一种目标车辆位置和朝向的检测方法、***及存储介质
CN107452230B (zh) 一种障碍物检测方法、装置、终端设备及存储介质
CN110570680A (zh) 利用地图信息确定对象位置的方法和***
EP3288260A1 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means
JP2004038760A (ja) 車両用走行路認識装置
CN114119885A (zh) 图像特征点匹配方法、装置及***、地图构建方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518051 401, building 1, Shenzhen new generation industrial park, No. 136, Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address