CN110197104B - 基于车辆的测距方法及装置 - Google Patents

基于车辆的测距方法及装置 Download PDF

Info

Publication number
CN110197104B
CN110197104B CN201810162648.7A CN201810162648A CN110197104B CN 110197104 B CN110197104 B CN 110197104B CN 201810162648 A CN201810162648 A CN 201810162648A CN 110197104 B CN110197104 B CN 110197104B
Authority
CN
China
Prior art keywords
image
image acquisition
acquisition assembly
vehicle
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810162648.7A
Other languages
English (en)
Other versions
CN110197104A (zh
Inventor
谭伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810162648.7A priority Critical patent/CN110197104B/zh
Publication of CN110197104A publication Critical patent/CN110197104A/zh
Application granted granted Critical
Publication of CN110197104B publication Critical patent/CN110197104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明是关于一种基于车辆的测距方法及装置，属于智能驾驶领域。所述方法包括：在通过图像采集组件采集到包含目标对象的两帧图像后，确定该目标对象在两帧图像中的至少一对匹配特征点，两帧图像用于反映车辆周围环境的情况，图像采集组件设置在车辆上；采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型；基于至少一对匹配特征点和图像采集组件的位姿变换模型确定车辆所在的三维坐标系中的目标三维点的坐标，解决了相关技术中测距的可靠性较差，驾驶安全性较低的问题，提高了测距的可靠性和驾驶安全性，用于车辆测距。

Description

基于车辆的测距方法及装置
技术领域
本发明涉及智能驾驶领域，特别涉及一种基于车辆的测距方法及装置。
背景技术
高级驾驶辅助***(Advanced Driver Assistant System，ADAS)用于实时收集车内外的环境数据，之后对该环境数据进行处理，再基于处理结果使驾驶员在最短的时间察觉可能发生的危险，从而提高车辆的安全性。基于车辆的测距功能是ADAS中的一个主要功能，该功能主要是通过摄像头来测量前方车辆与本车之间的距离。
相关技术中，为了测量前方车辆与本车之间的距离，通常是针对前方车辆，研究其固有特征，再通过对固有特征的学习对该对象进行检测，得到该前方车辆的位置信息，进而得到该前方车辆与本车之间的距离。常用的固有特征可以包括车辆底部的阴影、车辆边缘的对称性、车辆像素的亮度或车辆的纹理等。
然而目前的基于车辆的测距方法仅能针对道路上前方车辆进行测距，无法确定本车所在空间中任一三维点的位置信息，测距的可靠性较差，驾驶安全性较低。
发明内容
本发明实施例提供了一种基于车辆的测距方法及装置，可以解决相关技术中车辆测距的可靠性较差，驾驶安全性的问题。所述技术方案如下：
根据本发明实施例的第一方面，提供一种基于车辆的测距方法，所述方法包括：
在通过图像采集组件采集到包含目标对象的两帧图像后，确定所述目标对象在所述两帧图像中的至少一对匹配特征点，所述两帧图像用于反映车辆周围环境的情况，所述图像采集组件设置在所述车辆上；
采用所述车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型；
基于所述至少一对匹配特征点和所述图像采集组件的位姿变换模型确定所述车辆所在的三维坐标系中的目标三维点的坐标。
可选的，所述两帧图像包括第一帧图像和第二帧图像，所述第一帧图像早于所述第二帧图像采集，
在所述采用所述车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型之前，所述方法还包括：
确定所述第一帧图像中消隐点的第一位置和所述第二帧图像中所述消隐点的第二位置，所述消隐点为图像中左车道线的延长线与右车道线的延长线的交点；
基于所述第一位置确定所述图像采集组件的第一俯仰角；
基于所述第二位置确定所述图像采集组件的第二俯仰角；
所述采用所述车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型，包括：
当所述第一俯仰角与所述第二俯仰角不相等时，基于所述第一俯仰角与所述第二俯仰角，采用车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型。
可选的，所述消隐点的第一位置和第二位置通过所述消隐点在图像的二维坐标系中的纵坐标表征，
所述基于所述第一位置确定所述图像采集组件的第一俯仰角，包括：
采用俯仰角计算公式基于所述消隐点在所述第一帧图像中的纵坐标确定所述图像采集组件的第一俯仰角；
所述基于所述第二位置确定所述图像采集组件的第二俯仰角，包括：
采用所述俯仰角计算公式基于所述消隐点在所述第二帧图像中的纵坐标确定所述图像采集组件的第二俯仰角；
其中，所述俯仰角计算公式为：
α＝-arctan((y0-yv)/f)，所述α为所述图像采集组件的俯仰角，所述y0为所述图像采集组件光心在图像中的纵坐标，所述yv为所述消隐点在图像中的纵坐标，所述f为所述图像采集组件的等效焦距。
可选的，所述采用所述车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型，包括：
采用所述车辆的偏转角和所述车辆的速度获取所述图像采集组件在执行拍摄操作时基于所述车辆运动状态的6个自由度的函数；
将所述6个自由度的函数作为所述图像采集组件的位姿变换模型；
其中，所述6个自由度的函数包括从所述第一帧图像的采集时刻到所述第二帧图像的采集时刻，所述图像采集组件的俯仰角的变化量，所述图像采集组件的偏转角的变化量，所述图像采集组件的旋转角的变化量，所述图像采集组件的横向位移，所述图像采集组件沿着所述图像采集组件的垂直方向所产生的位移，所述图像采集组件沿着所述图像采集组件的光轴方向所产生的位移。
可选的，所述至少一对匹配特征点包括一对匹配特征点，
所述确定所述目标对象在所述两帧图像中的至少一对匹配特征点，包括：
提取所述第一帧图像中的第一特征点，并确定用于表达所述第一特征点的第一特征描述子；
提取所述第二帧图像中的第二特征点，并确定用于表达所述第二特征点的第二特征描述子；
计算所述第一特征描述子和所述第二特征描述子的相似度；
当所述相似度大于所述预设相似度时，将所述第一特征点和所述第二特征点作为一对匹配特征点。
可选的，所述基于所述至少一对匹配特征点和所述图像采集组件的位姿变换模型确定所述车辆所在的三维坐标系中的目标三维点的坐标，包括：
确定采集所述第一帧图像时所述图像采集组件的第一矩阵；
根据所述位姿变换模型确定采集所述第二帧图像时所述图像采集组件的第二矩阵；
根据所述第一特征点的坐标、所述第一矩阵、所述第二特征点的坐标和所述第二矩阵，确定所述目标三维点的坐标。
可选的，所述确定所述第一帧图像中消隐点的第一位置，包括：
确定所述第一帧图像中左车道线对应的第一方程和右车道线对应的第二方程；
基于所述第一方程和所述第二方程确定所述第一帧图像中所述消隐点的第一位置。
可选的，在通过图像采集组件采集到包含目标对象的两帧图像后，确定所述目标对象在所述两帧图像中的至少一对匹配特征点之前，所述方法还包括：
采集所述第一帧图像；
在所述第一帧图像中确定所述目标对象；
采集所述第二帧图像；
基于所述第一帧图像和确定的所述目标对象确定所述第二帧图像中的目标对象。
可选的，所述在所述第一帧图像中确定所述目标对象，包括：
采用深度学习算法在所述第一帧图像中确定所述目标对象的位置和类别。
可选的，所述基于所述第一帧图像和确定的所述目标对象确定所述第二帧图像中的目标对象，包括：
采用目标跟踪算法，基于所述第一帧图像和确定的所述目标对象确定所述第二帧图像中的目标对象。
可选的，所述图像采集组件为单目摄像头。
根据本发明实施例的第二方面，提供一种基于车辆的测距装置，所述装置包括：
特征点确定模块，用于在通过图像采集组件采集到包含目标对象的两帧图像后，确定所述目标对象在所述两帧图像中的至少一对匹配特征点，所述两帧图像用于反映车辆周围环境的情况，所述图像采集组件设置在所述车辆上；
模型建立模块，用于采用所述车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型；
坐标确定模块，用于基于所述至少一对匹配特征点和所述图像采集组件的位姿变换模型确定所述车辆所在的三维坐标中的目标三维点的坐标。
可选的，所述两帧图像包括第一帧图像和第二帧图像，所述第一帧图像早于所述第二帧图像采集，所述装置还包括：
位置确定模块，用于确定所述第一帧图像中消隐点的第一位置和所述第二帧图像中所述消隐点的第二位置，所述消隐点为图像中左车道线的延长线与右车道线的延长线的交点；
第一俯仰角确定模块，用于基于所述第一位置确定所述图像采集组件的第一俯仰角；
第二俯仰角确定模块，用于基于所述第二位置确定所述图像采集组件的第二俯仰角；
所述模型建立模块，用于：
当所述第一俯仰角与所述第二俯仰角不相等时，基于所述第一俯仰角与所述第二俯仰角，采用车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型。
可选的，所述消隐点的第一位置和第二位置通过所述消隐点在图像的二维坐标系中的纵坐标表征，
所述第一俯仰角确定模块，用于：
采用俯仰角计算公式基于所述消隐点在所述第一帧图像中的纵坐标确定所述图像采集组件的第一俯仰角；
所述第二俯仰角确定模块，用于：
采用所述俯仰角计算公式基于所述消隐点在所述第二帧图像中的纵坐标确定所述图像采集组件的第二俯仰角；
其中，所述俯仰角计算公式为：
α＝-arctan((y0-yv)/f)，所述α为所述图像采集组件的俯仰角，所述y0为所述图像采集组件光心在图像中的纵坐标，所述yv为所述消隐点在图像中的纵坐标，所述f为所述图像采集组件的等效焦距。
可选的，所述模型建立模块，用于：
采用所述车辆的偏转角和所述车辆的速度获取所述图像采集组件在执行拍摄操作时基于所述车辆运动状态的6个自由度的函数；
将所述6个自由度的函数作为所述图像采集组件的位姿变换模型；
其中，所述6个自由度的函数包括从所述第一帧图像的采集时刻到所述第二帧图像的采集时刻，所述图像采集组件的俯仰角的变化量，所述图像采集组件的偏转角的变化量，所述图像采集组件的旋转角的变化量，所述图像采集组件的横向位移，所述图像采集组件沿着所述图像采集组件的垂直方向所产生的位移，所述图像采集组件沿着所述图像采集组件的光轴方向所产生的位移。
可选的，所述至少一对匹配特征点包括一对匹配特征点，
所述特征点确定模块，用于：
提取所述第一帧图像中的第一特征点，并确定用于表达所述第一特征点的第一特征描述子；
提取所述第二帧图像中的第二特征点，并确定用于表达所述第二特征点的第二特征描述子；
计算所述第一特征描述子和所述第二特征描述子的相似度；
当所述相似度大于所述预设相似度时，将所述第一特征点和所述第二特征点作为一对匹配特征点。
可选的，所述坐标确定模块，用于：
确定采集所述第一帧图像时所述图像采集组件的第一矩阵；
根据所述位姿变换模型确定采集所述第二帧图像时所述图像采集组件的第二矩阵；
根据所述第一特征点的坐标、所述第一矩阵、所述第二特征点的坐标和所述第二矩阵，确定所述目标三维点的坐标。
可选的，所述位置确定模块，用于：
确定所述第一帧图像中左车道线对应的第一方程和右车道线对应的第二方程；
基于所述第一方程和所述第二方程确定所述第一帧图像中所述消隐点的第一位置。
可选的，所述装置还包括：
图像采集模块，用于采集所述第一帧图像；
目标对象确定模块，用于在所述第一帧图像中确定所述目标对象；
所述图像采集模块，还用于采集所述第二帧图像；
所述目标对象确定模块，还用于基于所述第一帧图像和确定的所述目标对象确定所述第二帧图像中的目标对象。
可选的，所述目标对象确定模块，用于：
采用深度学习算法在所述第一帧图像中确定所述目标对象的位置和类别。
可选的，所述目标对象确定模块，用于：
采用目标跟踪算法，基于所述第一帧图像和确定的所述目标对象确定所述第二帧图像中的目标对象。
可选的，所述图像采集组件为单目摄像头。
根据本发明实施例的第三方面，提供一种计算机设备，包括处理器、通信接口、存储器和通信总线，
其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的计算机程序，实现第一方面所述的基于车辆的测距方法。
根据本发明实施例的第四方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的基于车辆的测距方法。
根据本发明实施例的第五方面，提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面所提供的基于车辆的测距方法。
本发明实施例提供的技术方案可以包括以下有益效果：
在通过图像采集组件采集到包含目标对象的两帧图像后，图像采集组件能够确定该目标对象在该两帧图像中的至少一对匹配特征点，然后采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型，之后，基于至少一对匹配特征点和图像采集组件的位姿变换模型确定车辆所在的三维坐标系空间中的目标三维点的坐标，相较于相关技术，能够确定车辆所在的三维坐标系中任一三维点的坐标，提高了测距的可靠性，提高了驾驶安全性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明的实施例，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明各个实施例所涉及的实施环境示意图；
图2是根据一示例性实施例示出的一种基于车辆的测距方法的方法流程图；
图3是根据一示例性实施例示出的另一种基于车辆的测距方法的方法流程图；
图4是图3所示实施例中两个目标对象在第一帧图像中的位置的示意图；
图5是图3所示实施例中两个目标对象的运动轨迹的示意图；
图6是图3所示实施例中确定目标对象的至少一对匹配特征点的方法流程图；
图7是图3所示实施例中确定目标对象的至少一对匹配特征点的方法流程图；
图8是图3所示实施例中建立图像采集组件的位姿变换模型的方法流程图；
图9是图3所示实施例中确定目标三维点的坐标的方法流程图；
图10是图3所示实施例中一对匹配特征点的示意图；
图11是根据一示例性实施例示出的又一种基于车辆的测距方法的方法流程图；
图12是图11所示实施例中消隐点的示意图；
图13是图11所示实施例中确定消隐点的第一位置的方法流程图；
图14是根据一示例性实施例示出的一种基于车辆的测距装置的框图；
图15是根据一示例性实施例示出的又一种基于车辆的测距装置的框图；
图16是根据一示例性实施例示出的一种计算机设备的框图。
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参见图1，其示出了本发明各个实施例所涉及的实施环境示意图。如图1所示，该实施例环境包括车辆01，车辆01上设置有图像采集组件，图像采集组件用于测量车辆01前方的对象与车辆之间的距离。在本发明实施例中，图像采集组件可以为单目摄像头，单目摄像头可用于对目标对象的类别进行识别和测距，比如可以识别出目标对象为车辆、行人、自行车、摩托车、交通标志、路面标志或信号灯等。
图2是根据一示例性实施例示出的一种基于车辆的测距方法的方法流程图，该基于车辆的测距方法可以由设置在图1所示的车辆上的图像采集组件执行。参见图2，该方法可以包括如下几个步骤：
步骤201、在通过图像采集组件采集到包含两帧图像后，确定该目标对象在两帧图像中的至少一对匹配特征点，该两帧图像用于反映车辆周围环境的情况，该图像采集组件设置在车辆上。
步骤202、采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型。
步骤203、基于至少一对匹配特征点和图像采集组件的位姿变换模型确定车辆所在的三维坐标系中的目标三维点的坐标。
三维坐标系可以是以图像采集组件为中心的坐标系，相应的，目标三维点的坐标是目标三维点在以图像采集组件为中心的坐标系中的坐标。
在确定了车辆所在的三维坐标系中的目标三维点的坐标后，便可以得到该目标三维点与车辆的距离，进而完成对目标三维点的测距操作。
综上所述，本发明实施例提供的基于车辆的测距方法，在通过图像采集组件采集到包含目标对象的两帧图像后，确定该目标对象在该两帧图像中的至少一对匹配特征点，然后采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型，之后，基于至少一对匹配特征点和图像采集组件的位姿变换模型确定车辆所在的三维坐标系空间中的目标三维点的坐标，相较于相关技术，能够确定车辆所在的三维坐标系中任一三维点的坐标，提高了测距的可靠性，提高了驾驶安全性。
可选的，在第一种可实现方式中，假设车辆不发生纵向颠簸现象，那么图像采集组件的俯仰角就不会受到影响，在这种情况下，图像采集组件的俯仰角不发生变化，此时，可以采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型，进而确定车辆所在的三维坐标系中目标三维点的坐标。
在第二种可实现方式中，考虑到车辆发生纵向颠簸现象，那么图像采集组件的俯仰角会受到车辆纵向颠簸的影响，在这种情况下，图像采集组件的俯仰角会发生变化，此时，可以采用基于图像采集组件的俯仰角的变化情况，采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型，进而确定车辆所在的三维坐标系中目标三维点的坐标，进一步提高了目标三维点的坐标的准确度。下面以这两种可实现方式为例分别对该基于车辆的测距方法进行说明。
在第一种可实现方式中，示例的，参见图3，该基于车辆的测距方法可以包括如下几个步骤：
步骤301、采集第一帧图像。
设置在车辆上的图像采集组件采集第一帧图像，该第一帧图像用于反映车辆周围环境。示例的，图像采集组件可以为单目摄像头。
步骤302、在第一帧图像中确定目标对象。
可选的，步骤302可以包括：采用深度学习算法在第一帧图像中确定目标对象的位置和类别。
该深度学习算法可以为离线学习算法或者在线学习算法。示例的，在确定目标对象的位置时，可以以第一帧图像的左上角为原点建立二维坐标系。其中，目标对象在第一帧图像中的位置可以采用(x，y，w，h)来表示，x表示目标对象在第一帧图像中的横坐标，y表示目标对象在第一帧图像中的纵坐标，w表示目标对象在第一帧图像中的宽度，h表示目标对象在第一帧图像中的高度。目标对象的类别可以为车辆、行人、自行车、摩托车、交通标志、路面标志或信号灯等。
图4示例性示出了两个目标对象在第一帧图像中的位置的示意图。目标对象M1在第一帧图像中的位置为(x1，y1，w1，h1)，即目标对象M1在第一帧图像中的横坐标为x1，纵坐标为y1，宽度为w1，高度为h1。目标对象M2在第一帧图像中的位置为(x2，y2，w2，h2)，即目标对象M2在第一帧图像中的横坐标为x2，纵坐标为y2，宽度为w2，高度为h2。
步骤302用于对目标对象进行检测，具体过程可以参考相关技术。
步骤303、采集第二帧图像。
第二帧图像用于反映车辆周围环境。
步骤304、基于第一帧图像和确定的目标对象确定第二帧图像中的目标对象。
可选的，步骤304可以包括：采用目标跟踪算法，基于第一帧图像和确定的目标对象确定第二帧图像中的目标对象。
示例的，目标跟踪算法可以为基于光流的跟踪算法、基于颜色的跟踪算法或基于CSK的跟踪算法，本发明实施例对此不做限定。采用目标跟踪算法可以对不同时刻目标对象的位置、形状及表象等特征进行关联，得到该目标对象的运动轨迹。
图5示例性示出了两个目标对象的运动轨迹的示意图，目标对象M1在第一帧图像中的位置为(x1，y1，w1，h1)，在第二帧图像中的位置为(x1’，y1’，w1’，h1’)；目标对象M2在第一帧图像中的位置为(x2，y2，w2，h2)，在第二帧图像中的位置为(x2’，y2’，w2’，h2’)。图5中第一帧图像和第二帧图像的大小相等。
步骤304用于对目标对象进行跟踪，具体过程可以参考相关技术。
步骤305、确定目标对象在该两帧图像中的至少一对匹配特征点。
两帧图像包括步骤301中的第一帧图像和步骤303中的第二帧图像。
在本步骤中，可以基于步骤302和步骤304中确定的目标对象的位置，确定目标对象在该两帧图像中的至少一对匹配特征点，基于目标对象的位置确定目标对象的至少一对匹配特征点，减小了匹配误差，节省了资源。
至少一对匹配特征点可以包括一对匹配特征点，也可以包括两对匹配特征点，还可以包括三对匹配特征点，现以至少一对匹配特征点包括一对匹配特征点为例，对步骤305进行说明，如图6所示，步骤305包括：
步骤3051、提取第一帧图像中的第一特征点，并确定用于表达第一特征点的第一特征描述子。
可选的，图像采集组件可以采用加速分割测试特征(Features from acceleratedsegment test，FAST)等方式来提取第一帧图像中的第一特征点，采用第一特征描述子对第一特征点进行表达。示例的，第一特征描述子可以为尺度不变特征变换(Scale InvariantFeature Transform，SIFT)特征描述子。
步骤3052、提取第二帧图像中的第二特征点，并确定用于表达第二特征点的第二特征描述子。
可选的，图像采集组件可以采用步骤3051中提取第一特征点的方式来提取第二帧图像中的第二特征点，并采用相同的方式来确定表达第二特征点的第二特征描述子。
步骤3053、计算第一特征描述子和第二特征描述子的相似度。
步骤3053的具体过程可以参考相关技术。
步骤3054、当相似度大于预设相似度时，将第一特征点和第二特征点作为一对匹配特征点。
假设步骤3053中计算的第一特征描述子和第二特征描述子的相似度为0.8，而预设相似度为0.5，那么图像采集组件可以将第一特征点和第二特征点作为一对匹配特征点。
现以图5所示的两个目标对象为例进行说明，目标对象M1在第一帧图像中的位置为(x1，y1，w1，h1)，在第二帧图像中的位置为(x1’，y1’，w1’，h1’)；目标对象M2在第一帧图像中的位置为(x2，y2，w2，h2)，在第二帧图像中的位置为(x2’，y2’，w2’，h2’)，通过步骤304可以得到目标对象M1的两对匹配特征点，以及目标对象M2的一对匹配特征点，示例的，如图7所示，目标对象M1的两对匹配特征点为：A和A’，B和B’；目标对象M2的一对匹配特征点：C和C’。
进一步的，为了提高匹配精度，还可以采用随机抽样一致(RANdom SAmpleConsensus，RANSAC)算法对匹配结果进行误匹配去除处理。关于该过程可以参考相关技术。
步骤305用于对目标对象的关键点进行定位，具体过程可以参考相关技术。
步骤306、采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型。
在本步骤中，图像采集组件采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型。其中，车辆的偏转角和车辆的速度可以是车辆通过控制器局域网络(Controller Area Network，CAN)总线传输至图像采集组件。
可选的，如图8所示，步骤306可以包括：
步骤3061、采用车辆的偏转角和车辆的速度获取图像采集组件在执行拍摄操作时基于车辆运动状态的6个自由度的函数。
其中，6个自由度的函数包括从第一帧图像的采集时刻到第二帧图像的采集时刻，图像采集组件的俯仰角的变化量rx，图像采集组件的偏转角的变化量ry，图像采集组件的旋转角的变化量rz，图像采集组件的横向位移tx，图像采集组件沿着图像采集组件的垂直方向所产生的位移ty，图像采集组件沿着图像采集组件的光轴方向所产生的位移tz。其中，图像采集组件的垂直方向分别垂直于上述横向和图像采集组件的光轴方向，这三个方向符合右手定则。
相关技术中，假如物体不受任何限制，其可以在空间运动，具有六个方向自由度：纵向、横向、垂向、横滚、俯仰和偏转。本发明实施例中，获取图像采集组件在执行拍摄操作时基于车辆运动状态的6个自由度的函数。
本发明实施例将在t1时刻获取的图像记作第一帧图像，将在t2时刻获取的图像记作第二帧图像，0<t1<t2，也即是，第一帧图像的采集时刻为t1，第二帧图像的采集时刻为t2。假设车辆获取的车辆的偏转角为yaw rad/s(转/秒)，车辆的速度为v m/s(米/秒)，且图像采集组件的旋转角是不变的，则有rz＝0，另外假设车辆不发生纵向颠簸现象，那么图像采集组件的俯仰角是不变的，则有rx＝0，这样一来，图像采集组件获取的6个自由度的函数为：
Figure BDA0001583469710000141
步骤3062、将6个自由度的函数作为图像采集组件的位姿变换模型。
图像采集组件将步骤3061得到的6个自由度的函数作为图像采集组件的位姿变换模型，该位姿变换模型可以如公式(1)所示。
步骤306用于基于车辆运动状态对图像采集组件的运动状态进行建模，图像采集组件的位姿变换模型用于确定车辆所在的三维坐标系中目标三维点的坐标。
步骤307、基于至少一对匹配特征点和图像采集组件的位姿变换模型确定车辆所在的三维坐标系中的目标三维点的坐标。
图像采集组件基于步骤305得到的至少一对匹配特征点和步骤306得到的图像采集组件的位姿变换模型，确定车辆所在的三维坐标系中的目标三维点的坐标，该目标三维点可以为该空间中的任一三维点。三维坐标系可以以车辆为中心，也可以以图像采集组件为中心，本发明实施例对此不做限定。
可选的，如图9所示，步骤307可以包括：
步骤3071、确定采集第一帧图像时图像采集组件的第一矩阵。
示例的，目标对象的一对匹配特征点为：A和A’。A位于第一帧图像，A’位于第二帧图像。第一帧图像的采集时刻为t1，第二帧图像的采集时刻为t2。参见图10，假设在t1时刻，图像采集组件的中心位于点O，特征点A在第一帧图像中的坐标为
Figure BDA0001583469710000142
在t2时刻，图像采集组件的中心位于点O’，特征点A’在第二帧图像中的坐标为
Figure BDA0001583469710000144
假设图像采集组件是单目摄像头，单目摄像头的第一矩阵P是单目摄像头基于单目摄像头成像模型建立的，用于表示世界坐标系中的点与单目摄像头坐标系中的点的成像关系，关于单目摄像头的第一矩阵的确定过程可以参考相关技术。
图像采集组件的第一矩阵P可以表示为：
Figure BDA0001583469710000151
其中，x0为图像采集组件光心在第一帧图像中的横坐标，y0为图像采集组件光心在第一帧图像中的纵坐标，f为图像采集组件的等效焦距。
步骤3072、根据位姿变换模型确定采集第二帧图像时图像采集组件的第二矩阵。
以图10为例，图像采集组件根据步骤3062确定的公式(1)所示的位姿变换模型，确定图像采集组件采集第二帧图像时图像采集组件的第二矩阵为P'，第二矩阵为P'可以表示为：
Figure BDA0001583469710000152
其中，x0为图像采集组件光心在第一帧图像中的横坐标，y0为图像采集组件光心在第一帧图像中的纵坐标，f为图像采集组件的等效焦距。M11、M12、M13、M14、M21、M22、M23、M24、M31、M32、M33和M34的表达式为：
Figure BDA0001583469710000153
sx、cx、sy、cy、sz和cz的表达式为：
Figure BDA0001583469710000161
其中，表达式(4)和表达式(5)中的rx、ry和rz的表达式参见公式(1)。
步骤3073、根据第一特征点的坐标、第一矩阵、第二特征点的坐标和第二矩阵，确定目标三维点的坐标。
该目标三维点为车辆所在的三维坐标系中的三维点，三维坐标系可以是以图像采集组件为中心的坐标系，该目标三维点的坐标是目标三维点在以图像采集组件为中心的坐标系中的坐标。
在相关技术中，齐次坐标是计算机图形学中的重要内容，通过齐次坐标能够更加方便地进行线性几何变换。比如某一个点的坐标为(x，y，z)，那么该点的齐次坐标可以为(x，y，z，1)。
在本发明实施例中，为了快速确定目标三维点的坐标，将目标三维点的坐标表示为齐次坐标，以图10为例，假设将待估计的目标三维点W的坐标表示为齐次坐标，该齐次坐标为W＝[X,Y,Z,1]T，则可以得到特征点A的坐标
Figure BDA0001583469710000162
图像采集组件的第一矩阵P和目标三维点W的齐次坐标的关系式(6)以及特征点A’的坐标
Figure BDA0001583469710000163
图像采集组件的第二矩阵P'和目标三维点W的齐次坐标的关系式(7)：
Figure BDA0001583469710000164
Figure BDA0001583469710000165
其中，上述关系式(6)可以等效表示为：
Figure BDA0001583469710000166
之后，将
Figure BDA0001583469710000167
展开后可以得到关系式(8)：
Figure BDA0001583469710000168
其中，关系式(8)包括的三个等式中任意两个等式都是线性无关的，piT表示图像采集组件的第一矩阵P的第i(i＝1,2,3)行的元素的转置。
同样的，上述关系式(7)可以等效表示为：
Figure BDA0001583469710000169
之后，将
Figure BDA00015834697100001610
展开后可以得到关系式(9)：
Figure BDA0001583469710000171
其中，关系式(9)包括的三个等式中任意两个等式都是线性无关的，p'iT表示图像采集组件的第二矩阵P'的第i(i＝1,2,3)行元素的转置。
接着，从关系式(8)和关系式(9)中选取四个等式构成AW＝0的形式，最后，再通过奇异分解方式得到目标三维点W的齐次坐标，其中，矩阵A为：
Figure BDA0001583469710000172
基于步骤307，图像采集组件能够对车辆所在的三维坐标系中的任一三维点进行测距，而不仅局限于路面上的车辆或行人。
综上所述，本发明实施例提供的基于车辆的测距方法，在通过图像采集组件采集到包含目标对象的两帧图像后，确定该目标对象在该两帧图像中的至少一对匹配特征点，然后采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型，之后，基于至少一对匹配特征点和图像采集组件的位姿变换模型确定车辆所在的三维坐标系空间中的目标三维点的坐标，相较于相关技术，能够确定车辆所在的三维坐标系中任一三维点的坐标，提高了测距的可靠性，提高了驾驶安全性。
在第二种可实现方式中，示例的，参见图11，该方法可以包括如下几个步骤：
步骤401、采集第一帧图像。
设置在车辆上的图像采集组件采集第一帧图像，第一帧图像用于反映车辆周围环境。示例的，图像采集组件可以为单目摄像头。
步骤402、在第一帧图像中确定目标对象。
步骤402可以参考步骤302。
步骤403、采集第二帧图像。
第二帧图像用于反映车辆周围环境。
步骤404、基于第一帧图像和确定的目标对象确定第二帧图像中的目标对象。
步骤404参考步骤304。
步骤405、确定目标对象在两帧图像中的至少一对匹配特征点。
步骤405可以参考步骤305。
两帧图像包括步骤401中的第一帧图像和403中的第二帧图像。
步骤406、确定第一帧图像中消隐点的第一位置和第二帧图像中消隐点的第二位置。
消隐点为图像中左车道线的延长线与右车道线的延长线的交点，图12示例性示出了消隐点的示意图。其中，左车道线为道路上位于车辆左侧的车道线，右车道线为道路上位于车辆右侧的车道线。
实际应用中，车辆运动时通常会发生纵向颠簸现象，导致图像采集组件的俯仰角发生变化，当图像采集组件的俯仰角发送变化时，需要基于图像采集组件的俯仰角来建立图像采集组件的位姿变换模型。然而车辆无法通过CAN总线获取俯仰角，所以为了得到图像采集组件的俯仰角，提高图像采集组件的位姿变换模型的精度，进而提高目标三维点的坐标的准确度，引出消隐点，在该方法中基于消隐点的位置来获取图像采集组件的俯仰角。
可选的，如图13所示，确定第一帧图像中消隐点的第一位置，包括：
步骤4061、确定第一帧图像中左车道线对应的第一方程和右车道线对应的第二方程。
第一方程和第二方程均为直线方程。
可选的，可以基于深度学习语义分割算法检测车道线(左车道线或右车道线)。比如先分割出车道线前景点，然后对前景点进行聚类和RANSAC拟合处理，得到车道线对应的直线方程。
步骤4062、基于第一方程和第二方程确定第一帧图像中消隐点的第一位置。
示例的，第一帧图像中左车道线对应的第一方程为y＝2x+4，右车道线对应的第二方程为y＝-2x+6，那么可以得到左车道线的延长线与右车道线的延长线的交点即消隐点的坐标为(0.5,5)。
同样的，参考步骤4061和步骤4062确定第二帧图像中消隐点的第二位置。
步骤407、基于第一位置确定图像采集组件的第一俯仰角。
其中，消隐点的第一位置通过消隐点在第一帧图像的二维坐标系中的纵坐标表征。相应的，步骤407可以包括：
采用俯仰角计算公式基于消隐点在第一帧图像中的纵坐标确定图像采集组件的第一俯仰角。该俯仰角计算公式为：α＝-arctan((y0-yv)/f)，α为图像采集组件的俯仰角，y0为图像采集组件光心在图像中的纵坐标，yv为消隐点在图像中的纵坐标，f为图像采集组件的等效焦距。
步骤408、基于第二位置确定图像采集组件的第二俯仰角。
消隐点的第二位置通过消隐点在第二帧图像的二维坐标系中的纵坐标表征。相应的，步骤408可以包括：
采用步骤407中所述的俯仰角计算公式基于消隐点在第二帧图像中的纵坐标确定图像采集组件的第二俯仰角。
步骤409、当第一俯仰角与第二俯仰角不相等时，基于第一俯仰角与第二俯仰角，采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型。
步骤409可以包括：当第一俯仰角与第二俯仰角不相等时，基于第一俯仰角与第二俯仰角，采用车辆的偏转角和车辆的速度建立图像采集组件在执行拍摄操作时基于车辆运动状态的6个自由度的函数；将该6个自由度的函数作为图像采集组件的位姿变换模型。
参见上述步骤3061，6个自由度的函数包括从第一帧图像的采集时刻到第二帧图像的采集时刻，图像采集组件的俯仰角的变化量rx，图像采集组件的偏转角的变化量ry，图像采集组件的旋转角的变化量rz，图像采集组件的横向位移tx，图像采集组件沿着图像采集组件的垂直方向所产生的位移ty，图像采集组件沿着图像采集组件的光轴方向所产生的位移tz。
第一帧图像的采集时刻为t1，第二帧图像的采集时刻为t2。假设图像采集组件在t1时刻的俯仰角为αt1，在t2时刻的俯仰角为αt2，那么图像采集组件的俯仰角的变化量rx＝αt2-αt1。图像采集组件得到的6个自由度的函数为：
Figure BDA0001583469710000201
公式(11)和公式(1)的区别仅在于rx的表达式不同。
步骤410、基于至少一对匹配特征点和图像采集组件的位姿变换模型确定车辆所在的三维坐标系中的目标三维点的坐标。
步骤410可以参考步骤307。
需要说明的是，本发明实施例提供的基于车辆的测距方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。
综上所述，本发明实施例提供的基于车辆的测距方法，在通过图像采集组件采集到包含目标对象的两帧图像后，确定该目标对象在该两帧图像中的至少一对匹配特征点，然后基于图像采集组件的俯仰角的变化情况，采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型，之后，基于至少一对匹配特征点和图像采集组件的位姿变换模型确定车辆所在的三维坐标系空间中的目标三维点的坐标，相较于相关技术，能够确定车辆所在的三维坐标系中任一三维点的坐标，提高了测距的可靠性，提高了驾驶安全性，且测距的准确度较高。
图14是根据一示例性实施例示出的一种基于车辆的测距装置的框图，该装置可以由图1所示实施环境中设置在车辆上的图像采集组件来执行。参见图14，该装置500包括：
特征点确定模块510，用于在通过图像采集组件采集到包含目标对象的两帧图像后，确定该目标对象在两帧图像中的至少一对匹配特征点，两帧图像用于反映车辆周围环境，图像采集组件设置在车辆上。
模型建立模块520，用于采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型。
坐标确定模块530，用于基于至少一对匹配特征点和图像采集组件的位姿变换模型确定车辆所在的三维坐标中的目标三维点的坐标。
两帧图像包括第一帧图像和第二帧图像，第一帧图像早于第二帧图像采集，进一步的，如图15所示，该装置500还可以包括：
位置确定模块540，用于确定第一帧图像中消隐点的第一位置和第二帧图像中消隐点的第二位置，消隐点为图像中左车道线的延长线与右车道线的延长线的交点。
第一俯仰角确定模块550，用于基于第一位置确定图像采集组件的第一俯仰角。
第二俯仰角确定模块560，用于基于第二位置确定图像采集组件的第二俯仰角。
模型建立模块520，用于：
当第一俯仰角与第二俯仰角不相等时，基于第一俯仰角与第二俯仰角，采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型。
其中，消隐点的第一位置和第二位置通过消隐点在图像的二维坐标系中的纵坐标表征，相应的，第一俯仰角确定模块550，用于：
采用俯仰角计算公式基于消隐点在第一帧图像中的纵坐标确定图像采集组件的第一俯仰角；
第二俯仰角确定模块560，用于：
采用俯仰角计算公式基于消隐点在第二帧图像中的纵坐标确定图像采集组件的第二俯仰角；
其中，俯仰角计算公式为：
α＝-arctan((y0-yv)/f)，α为图像采集组件的俯仰角，y0为图像采集组件光心在图像中的纵坐标，yv为消隐点在图像中的纵坐标，f为图像采集组件的等效焦距。
可选的，模型建立模块520，用于：
采用车辆的偏转角和车辆的速度获取图像采集组件在执行拍摄操作时基于车辆运动状态的6个自由度的函数；
将6个自由度的函数作为图像采集组件的位姿变换模型；
其中，6个自由度的函数包括从第一帧图像的采集时刻到第二帧图像的采集时刻，图像采集组件的俯仰角的变化量，图像采集组件的偏转角的变化量，图像采集组件的旋转角的变化量，图像采集组件的横向位移，图像采集组件沿着图像采集组件的垂直方向所产生的位移，图像采集组件沿着图像采集组件的光轴方向所产生的位移。
示例的，至少一对匹配特征点包括一对匹配特征点，相应的，特征点确定模块510，用于：
提取第一帧图像中的第一特征点，并确定用于表达第一特征点的第一特征描述子；
提取第二帧图像中的第二特征点，并确定用于表达第二特征点的第二特征描述子；
计算第一特征描述子和第二特征描述子的相似度；
当相似度大于预设相似度时，将第一特征点和第二特征点作为一对匹配特征点。
可选的，坐标确定模块530，用于：
确定采集第一帧图像时图像采集组件的第一矩阵；
根据位姿变换模型确定采集第二帧图像时图像采集组件的第二矩阵；
根据第一特征点的坐标、第一矩阵、第二特征点的坐标和第二矩阵，确定目标三维点的坐标。
可选的，位置确定模块540，用于：
确定第一帧图像中左车道线对应的第一方程和右车道线对应的第二方程；
基于第一方程和第二方程确定第一帧图像中消隐点的第一位置。
进一步的，如图15所示，该装置500还可以包括：
图像采集模块570，用于采集第一帧图像。
目标对象确定模块580，用于在第一帧图像中确定目标对象。
图像采集模块570，还用于采集第二帧图像。
目标对象确定模块580，还用于基于第一帧图像和确定的目标对象确定第二帧图像中的目标对象。
可选的，目标对象确定模块580，用于：
采用深度学习算法在第一帧图像中确定目标对象的位置和类别。
可选的，目标对象确定模块580，用于：
采用目标跟踪算法，基于第一帧图像和确定的目标对象确定第二帧图像中的目标对象。
综上所述，本发明实施例提供的基于车辆的测距装置，在通过图像采集组件采集到包含目标对象的两帧图像后，确定该目标对象在该两帧图像中的至少一对匹配特征点，然后采用车辆的偏转角和车辆的速度建立图像采集组件的位姿变换模型，之后，基于至少一对匹配特征点和图像采集组件的位姿变换模型确定车辆所在的三维坐标系空间中的目标三维点的坐标，相较于相关技术，能够确定车辆所在的三维坐标系中任一三维点的坐标，提高了测距的可靠性，提高了驾驶安全性。
图16是根据一示例性实施例示出的计算机设备的框图，该计算机设备可以由图1所示实施环境中设置在车辆上的图像采集组件来执行。参见图16，该计算机设备600包括：处理器601、通信接口602、存储器603和通信总线604。
其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信；存储器603，用于存放计算机程序6031；处理器601，用于执行存储器603上所存放的计算机程序，实现图2、图3或图4所示的基于车辆的测距方法。
本发明实施例还提供了一种计算机可读存储介质，存储介质内存储有计算机程序，计算机程序被处理器执行时实现图2、图3或图4所示的基于车辆的测距方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (22)

1.一种基于车辆的测距方法，其特征在于，所述方法包括：
在通过图像采集组件采集到包含目标对象的两帧图像后，确定所述目标对象在所述两帧图像中的至少一对匹配特征点，所述两帧图像用于反映车辆周围环境的情况，所述图像采集组件设置在所述车辆上，所述两帧图像包括第一帧图像和第二帧图像，所述第一帧图像早于所述第二帧图像采集；
采用所述车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型；
确定采集所述第一帧图像时所述图像采集组件的第一矩阵，所述第一矩阵用于表示世界坐标系中的点与所述图像采集组件坐标系中的点的成像关系；
根据所述位姿变换模型确定采集所述第二帧图像时所述图像采集组件的第二矩阵，所述第二矩阵通过x0、y0、f和所述图像采集组件在执行拍摄操作时基于所述车辆的运动状态的6个自由度的函数表示，x0为所述图像采集组件光心在所述第一帧图像中的横坐标，y0为所述图像采集组件光心在所述第一帧图像中的纵坐标，f为所述图像采集组件的等效焦距；
根据第一特征点的坐标、所述第一矩阵与目标三维点的坐标三者的关系以及第二特征点的坐标、所述第二矩阵与所述目标三维点的坐标三者的关系，进行奇异值分解，确定所述车辆所在的三维坐标系中的目标三维点的坐标，所述第一特征点属于所述第一帧图像，所述第二特征点属于所述第二帧图像，所述第一特征点和所述第二特征点为一对匹配特征点，所述三维坐标系为以所述图像采集组件为中心的坐标系，所述目标三维点属于所述三维坐标系中的坐标点。
2.根据权利要求1所述的方法，其特征在于，在所述采用所述车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型之前，所述方法还包括：
确定所述第一帧图像中消隐点的第一位置和所述第二帧图像中所述消隐点的第二位置，所述消隐点为图像中左车道线的延长线与右车道线的延长线的交点；
基于所述第一位置确定所述图像采集组件的第一俯仰角；
基于所述第二位置确定所述图像采集组件的第二俯仰角；
所述采用所述车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型，包括：
当所述第一俯仰角与所述第二俯仰角不相等时，基于所述第一俯仰角与所述第二俯仰角，采用所述车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型。
3.根据权利要求2所述的方法，其特征在于，所述消隐点的第一位置和第二位置通过所述消隐点在图像的二维坐标系中的纵坐标表征，
所述基于所述第一位置确定所述图像采集组件的第一俯仰角，包括：
采用俯仰角计算公式基于所述消隐点在所述第一帧图像中的纵坐标确定所述图像采集组件的第一俯仰角；
所述基于所述第二位置确定所述图像采集组件的第二俯仰角，包括：
采用所述俯仰角计算公式基于所述消隐点在所述第二帧图像中的纵坐标确定所述图像采集组件的第二俯仰角；
其中，所述俯仰角计算公式为：
α＝-arctan((y0-yv)/f)，所述α为所述图像采集组件的俯仰角，所述y0为所述图像采集组件光心在图像中的纵坐标，所述yv为所述消隐点在图像中的纵坐标，所述f为所述图像采集组件的等效焦距。
4.根据权利要求2所述的方法，其特征在于，所述采用所述车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型，包括：
采用所述车辆的偏转角和所述车辆的速度获取所述图像采集组件在执行拍摄操作时基于所述车辆运动状态的6个自由度的函数；
将所述6个自由度的函数作为所述图像采集组件的位姿变换模型；
其中，所述6个自由度的函数包括从所述第一帧图像的采集时刻到所述第二帧图像的采集时刻，所述图像采集组件的俯仰角的变化量，所述图像采集组件的偏转角的变化量，所述图像采集组件的旋转角的变化量，所述图像采集组件的横向位移，所述图像采集组件沿着所述图像采集组件的垂直方向所产生的位移，所述图像采集组件沿着所述图像采集组件的光轴方向所产生的位移。
5.根据权利要求2所述的方法，其特征在于，所述至少一对匹配特征点包括一对匹配特征点，
所述确定所述目标对象在所述两帧图像中的至少一对匹配特征点，包括：
提取所述第一帧图像中的第一特征点，并确定用于表达所述第一特征点的第一特征描述子；
提取所述第二帧图像中的第二特征点，并确定用于表达所述第二特征点的第二特征描述子；
计算所述第一特征描述子和所述第二特征描述子的相似度；
当所述相似度大于预设相似度时，将所述第一特征点和所述第二特征点作为一对匹配特征点。
6.根据权利要求2所述的方法，其特征在于，所述确定所述第一帧图像中消隐点的第一位置，包括：
确定所述第一帧图像中左车道线对应的第一方程和右车道线对应的第二方程；
基于所述第一方程和所述第二方程确定所述第一帧图像中所述消隐点的第一位置。
7.根据权利要求2所述的方法，其特征在于，在通过图像采集组件采集到包含目标对象的两帧图像后，确定所述目标对象在所述两帧图像中的至少一对匹配特征点之前，所述方法还包括：
采集所述第一帧图像；
在所述第一帧图像中确定所述目标对象；
采集所述第二帧图像；
基于所述第一帧图像和确定的所述目标对象确定所述第二帧图像中的目标对象。
8.根据权利要求7所述的方法，其特征在于，所述在所述第一帧图像中确定所述目标对象，包括：
采用深度学习算法在所述第一帧图像中确定所述目标对象的位置和类别。
9.根据权利要求7所述的方法，其特征在于，所述基于所述第一帧图像和确定的所述目标对象确定所述第二帧图像中的目标对象，包括：
采用目标跟踪算法，基于所述第一帧图像和确定的所述目标对象确定所述第二帧图像中的目标对象。
10.根据权利要求1至9任一所述的方法，其特征在于，
所述图像采集组件为单目摄像头。
11.一种基于车辆的测距装置，其特征在于，所述装置包括：
特征点确定模块，用于在通过图像采集组件采集到包含目标对象的两帧图像后，确定所述目标对象在所述两帧图像中的至少一对匹配特征点，所述两帧图像用于反映车辆周围环境的情况，所述图像采集组件设置在所述车辆上，所述两帧图像包括第一帧图像和第二帧图像，所述第一帧图像早于所述第二帧图像采集；
模型建立模块，用于采用所述车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型；
坐标确定模块，用于
确定采集所述第一帧图像时所述图像采集组件的第一矩阵，所述第一矩阵用于表示世界坐标系中的点与所述图像采集组件坐标系中的点的成像关系；
根据所述位姿变换模型确定采集所述第二帧图像时所述图像采集组件的第二矩阵，所述第二矩阵通过x0、y0、f和所述图像采集组件在执行拍摄操作时基于所述车辆的运动状态的6个自由度的函数表示，x0为所述图像采集组件光心在所述第一帧图像中的横坐标，y0为所述图像采集组件光心在所述第一帧图像中的纵坐标，f为所述图像采集组件的等效焦距；
根据第一特征点的坐标、所述第一矩阵与目标三维点的坐标三者的关系以及第二特征点的坐标、所述第二矩阵与所述目标三维点的坐标三者的关系，进行奇异值分解，确定所述车辆所在的三维坐标系中的目标三维点的坐标，所述第一特征点属于所述第一帧图像，所述第二特征点属于所述第二帧图像，所述第一特征点和所述第二特征点为一对匹配特征点，所述三维坐标系为以所述图像采集组件为中心的坐标系，所述目标三维点属于所述三维坐标系中的坐标点。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
位置确定模块，用于确定所述第一帧图像中消隐点的第一位置和所述第二帧图像中所述消隐点的第二位置，所述消隐点为图像中左车道线的延长线与右车道线的延长线的交点；
第一俯仰角确定模块，用于基于所述第一位置确定所述图像采集组件的第一俯仰角；
第二俯仰角确定模块，用于基于所述第二位置确定所述图像采集组件的第二俯仰角；
所述模型建立模块，用于：
当所述第一俯仰角与所述第二俯仰角不相等时，基于所述第一俯仰角与所述第二俯仰角，采用所述车辆的偏转角和所述车辆的速度建立所述图像采集组件的位姿变换模型。
13.根据权利要求12所述的装置，其特征在于，所述消隐点的第一位置和第二位置通过所述消隐点在图像的二维坐标系中的纵坐标表征，
所述第一俯仰角确定模块，用于：
采用俯仰角计算公式基于所述消隐点在所述第一帧图像中的纵坐标确定所述图像采集组件的第一俯仰角；
所述第二俯仰角确定模块，用于：
采用所述俯仰角计算公式基于所述消隐点在所述第二帧图像中的纵坐标确定所述图像采集组件的第二俯仰角；
其中，所述俯仰角计算公式为：
α＝-arctan((y0-yv)/f)，所述α为所述图像采集组件的俯仰角，所述y0为所述图像采集组件光心在图像中的纵坐标，所述yv为所述消隐点在图像中的纵坐标，所述f为所述图像采集组件的等效焦距。
14.根据权利要求12所述的装置，其特征在于，所述模型建立模块，用于：
采用所述车辆的偏转角和所述车辆的速度获取所述图像采集组件在执行拍摄操作时基于所述车辆运动状态的6个自由度的函数；
将所述6个自由度的函数作为所述图像采集组件的位姿变换模型；
其中，所述6个自由度的函数包括从所述第一帧图像的采集时刻到所述第二帧图像的采集时刻，所述图像采集组件的俯仰角的变化量，所述图像采集组件的偏转角的变化量，所述图像采集组件的旋转角的变化量，所述图像采集组件的横向位移，所述图像采集组件沿着所述图像采集组件的垂直方向所产生的位移，所述图像采集组件沿着所述图像采集组件的光轴方向所产生的位移。
15.根据权利要求12所述的装置，其特征在于，所述至少一对匹配特征点包括一对匹配特征点，
所述特征点确定模块，用于：
提取所述第一帧图像中的第一特征点，并确定用于表达所述第一特征点的第一特征描述子；
提取所述第二帧图像中的第二特征点，并确定用于表达所述第二特征点的第二特征描述子；
计算所述第一特征描述子和所述第二特征描述子的相似度；
当所述相似度大于预设相似度时，将所述第一特征点和所述第二特征点作为一对匹配特征点。
16.根据权利要求12所述的装置，其特征在于，所述位置确定模块，用于：
确定所述第一帧图像中左车道线对应的第一方程和右车道线对应的第二方程；
基于所述第一方程和所述第二方程确定所述第一帧图像中所述消隐点的第一位置。
17.根据权利要求12所述的装置，其特征在于，所述装置还包括：
图像采集模块，用于采集所述第一帧图像；
目标对象确定模块，用于在所述第一帧图像中确定所述目标对象；
所述图像采集模块，还用于采集所述第二帧图像；
所述目标对象确定模块，还用于基于所述第一帧图像和确定的所述目标对象确定所述第二帧图像中的目标对象。
18.根据权利要求17所述的装置，其特征在于，所述目标对象确定模块，用于：
采用深度学习算法在所述第一帧图像中确定所述目标对象的位置和类别。
19.根据权利要求17所述的装置，其特征在于，所述目标对象确定模块，用于：
采用目标跟踪算法，基于所述第一帧图像和确定的所述目标对象确定所述第二帧图像中的目标对象。
20.根据权利要求11至19任一所述的装置，其特征在于，
所述图像采集组件为单目摄像头。
21.一种计算机设备，其特征在于，包括处理器、通信接口、存储器和通信总线，
其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的计算机程序，实现权利要求1至10任一所述的基于车辆的测距方法。
22.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至10任一所述的基于车辆的测距方法。
CN201810162648.7A 2018-02-27 2018-02-27 基于车辆的测距方法及装置 Active CN110197104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810162648.7A CN110197104B (zh) 2018-02-27 2018-02-27 基于车辆的测距方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810162648.7A CN110197104B (zh) 2018-02-27 2018-02-27 基于车辆的测距方法及装置

Publications (2)

Publication Number Publication Date
CN110197104A CN110197104A (zh) 2019-09-03
CN110197104B true CN110197104B (zh) 2022-03-29

Family

ID=67750861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810162648.7A Active CN110197104B (zh) 2018-02-27 2018-02-27 基于车辆的测距方法及装置

Country Status (1)

Country Link
CN (1) CN110197104B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4296615A4 (en) * 2021-03-10 2024-05-15 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR MEASURING DISTANCE
CN116543032B (zh) * 2023-07-06 2023-11-21 中国第一汽车股份有限公司 冲击物测距方法、装置、测距设备及存储介质
CN116612459B (zh) * 2023-07-18 2023-11-17 小米汽车科技有限公司 目标检测方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102343912A (zh) * 2011-06-20 2012-02-08 中南大学 一种汽车行驶过程中的状态估计方法
CN102661733A (zh) * 2012-05-28 2012-09-12 天津工业大学 一种基于单目视觉的前方车辆测距方法
CN105488454A (zh) * 2015-11-17 2016-04-13 天津工业大学 基于单目视觉的前方车辆检测与测距
CN105867373A (zh) * 2016-04-07 2016-08-17 重庆大学 一种基于激光雷达数据的移动机器人位姿推算方法及***
CN106323241A (zh) * 2016-06-12 2017-01-11 广东警官学院 一种通过监控视频或车载摄像头测量人或物体三维的方法
CN106515740A (zh) * 2016-11-14 2017-03-22 江苏大学 基于icdkf的分布式电驱动汽车行驶状态参数估计算法
CN106553195A (zh) * 2016-11-25 2017-04-05 中国科学技术大学 工业机器人抓取过程中的物体6自由度定位方法及***
CN106679633A (zh) * 2016-12-07 2017-05-17 东华大学 一种车载测距***及方法
CN106909929A (zh) * 2015-12-22 2017-06-30 比亚迪股份有限公司 行人距离检测方法和装置
CN107330940A (zh) * 2017-01-25 2017-11-07 问众智能信息科技（北京）有限公司 车载相机姿态自动估计的方法和装置
CN107390205A (zh) * 2017-07-20 2017-11-24 清华大学 一种利用车联网获取前车特征的单目视觉车辆测距方法
CN107389026A (zh) * 2017-06-12 2017-11-24 江苏大学 一种基于固定点射影变换的单目视觉测距方法
CN107688174A (zh) * 2017-08-02 2018-02-13 北京纵目安驰智能科技有限公司 一种图像测距方法、***、存储介质和车载视觉感知设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5472538B2 (ja) * 2011-06-14 2014-04-16 日産自動車株式会社 距離計測装置及び環境地図生成装置
CN102722886B (zh) * 2012-05-21 2015-12-09 浙江捷尚视觉科技股份有限公司 一种基于三维标定和特征点匹配的视频测速方法
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム
CN103412648B (zh) * 2013-08-14 2016-03-02 浙江大学 基于移动设备指向的车内设备交互控制装置及方法
CN103473774B (zh) * 2013-09-09 2017-04-05 长安大学 一种基于路面图像特征匹配的车辆定位方法
KR20150079098A (ko) * 2013-12-31 2015-07-08 한국과학기술원 강인한 시각 주행거리 측정을 위한 시공간적 3차원 벡터 필터링 기법
CN104166995B (zh) * 2014-07-31 2017-05-24 哈尔滨工程大学 一种基于马步测度的Harris‑SIFT双目视觉定位方法
CN104299244B (zh) * 2014-09-26 2017-07-25 东软集团股份有限公司 基于单目相机的障碍物检测方法及装置
CN104792302A (zh) * 2015-04-29 2015-07-22 深圳市保千里电子有限公司 一种建模测车距的方法
CN105046225B (zh) * 2015-07-14 2018-09-18 安徽清新互联信息科技有限公司 一种基于车尾检测的车距检测方法
CN105182320A (zh) * 2015-07-14 2015-12-23 安徽清新互联信息科技有限公司 一种基于深度测量的车距检测方法
CN106482709B (zh) * 2015-08-25 2019-11-19 腾讯科技（深圳）有限公司 一种车距测量的方法、装置及***
CN106408589B (zh) * 2016-07-14 2019-03-29 浙江零跑科技有限公司 基于车载俯视相机的车辆运动测量方法
CN106204707B (zh) * 2016-07-18 2019-02-15 中国科学院半导体研究所 一种单目时域拓扑匹配三维成像方法
CN106371459B (zh) * 2016-08-31 2018-01-30 京东方科技集团股份有限公司 目标跟踪方法及装置
CN107305632B (zh) * 2017-02-16 2020-06-12 武汉极目智能技术有限公司 基于单目计算机视觉技术的目标对象距离测量方法与***
CN107679537B (zh) * 2017-05-09 2019-11-19 北京航空航天大学 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN107194339A (zh) * 2017-05-15 2017-09-22 武汉星巡智能科技有限公司 障碍物识别方法、设备及无人飞行器
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN107560592B (zh) * 2017-08-21 2020-08-18 河南中光学集团有限公司 一种用于光电跟踪仪联动目标的精确测距方法
CN107705333B (zh) * 2017-09-21 2021-02-26 歌尔股份有限公司 基于双目相机的空间定位方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102343912A (zh) * 2011-06-20 2012-02-08 中南大学 一种汽车行驶过程中的状态估计方法
CN102661733A (zh) * 2012-05-28 2012-09-12 天津工业大学 一种基于单目视觉的前方车辆测距方法
CN105488454A (zh) * 2015-11-17 2016-04-13 天津工业大学 基于单目视觉的前方车辆检测与测距
CN106909929A (zh) * 2015-12-22 2017-06-30 比亚迪股份有限公司 行人距离检测方法和装置
CN105867373A (zh) * 2016-04-07 2016-08-17 重庆大学 一种基于激光雷达数据的移动机器人位姿推算方法及***
CN106323241A (zh) * 2016-06-12 2017-01-11 广东警官学院 一种通过监控视频或车载摄像头测量人或物体三维的方法
CN106515740A (zh) * 2016-11-14 2017-03-22 江苏大学 基于icdkf的分布式电驱动汽车行驶状态参数估计算法
CN106553195A (zh) * 2016-11-25 2017-04-05 中国科学技术大学 工业机器人抓取过程中的物体6自由度定位方法及***
CN106679633A (zh) * 2016-12-07 2017-05-17 东华大学 一种车载测距***及方法
CN107330940A (zh) * 2017-01-25 2017-11-07 问众智能信息科技（北京）有限公司 车载相机姿态自动估计的方法和装置
CN107389026A (zh) * 2017-06-12 2017-11-24 江苏大学 一种基于固定点射影变换的单目视觉测距方法
CN107390205A (zh) * 2017-07-20 2017-11-24 清华大学 一种利用车联网获取前车特征的单目视觉车辆测距方法
CN107688174A (zh) * 2017-08-02 2018-02-13 北京纵目安驰智能科技有限公司 一种图像测距方法、***、存储介质和车载视觉感知设备

Also Published As

Publication number Publication date
CN110197104A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN112861653B (zh) 融合图像和点云信息的检测方法、***、设备及存储介质
WO2021004548A1 (zh) 一种基于双目立体视觉***的车辆智能测速方法
CN108520536B (zh) 一种视差图的生成方法、装置及终端
CN113819890B (zh) 测距方法、装置、电子设备及存储介质
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
CN112037159B (zh) 一种跨相机道路空间融合及车辆目标检测跟踪方法及***
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN113743391A (zh) 应用于低速自主驾驶机器人的三维障碍物检测***与方法
CN113111887A (zh) 一种基于相机和激光雷达信息融合的语义分割方法及***
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN110197104B (zh) 基于车辆的测距方法及装置
CN111178150A (zh) 车道线检测方法、***及存储介质
CN114792416A (zh) 一种目标检测方法及装置
CN113781562A (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN113537047A (zh) 障碍物检测方法、装置、交通工具及存储介质
Petrovai et al. Obstacle detection using stereovision for Android-based mobile devices
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN116168357A (zh) 一种智能车的前景目标机器视觉提取***及方法
KR20160063039A (ko) 3차원 데이터를 이용한 도로 인식 방법
Xiong et al. A 3d estimation of structural road surface based on lane-line information
CN114863096A (zh) 室内停车场的语义地图构建及定位方法和装置
CN114648639A (zh) 一种目标车辆的检测方法、***及装置
WO2021114775A1 (en) Object detection method, object detection device, terminal device, and medium
CN113743265A (zh) 一种基于深度相机的自动驾驶可行驶区域检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant