CN109376653A - 用于定位车辆的方法、装置、设备和介质 - Google Patents
用于定位车辆的方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN109376653A CN109376653A CN201811247083.9A CN201811247083A CN109376653A CN 109376653 A CN109376653 A CN 109376653A CN 201811247083 A CN201811247083 A CN 201811247083A CN 109376653 A CN109376653 A CN 109376653A
- Authority
- CN
- China
- Prior art keywords
- feature point
- point set
- mapping relations
- frame
- fisrt feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
根据本公开的示例实施例,提供了一种用于定位车辆的方法、装置、设备和计算机可读存储介质。该方法包括:从感测设备所获取的与车辆相关的视频流的第一帧中确定第一特征点集合;从该视频流中的、在第一帧之后的第二帧中确定与第一特征点集合相对应的第二特征点集合;以及基于第一特征点集合中的特征点和第二特征点集合中的对应特征点在图像坐标系下的位置以及图像坐标系与相机坐标系之间的第一映射关系,确定车体坐标系和相机坐标系之间的第二映射关系。以此方式,可以以简洁和有效的方式确定车体坐标系和相机坐标系之间的变换,从而精确地确定车辆的地理位置。
Description
技术领域
本公开的实施例主要涉及驾驶领域,并且更具体地,涉及用于定位车辆的方法、装置、设备和计算机可读存储介质。
背景技术
具有自动驾驶能力的智能化车辆对车辆本身的位置精度要求很高。此外,交通管理部门在获得路网中的交通参与者的精确位置的情况下也将大大提高管理效率。在现有城市交通路网中,部署了大量感测设备,诸如高清晰度路侧监控相机,但是传统定位方法仅能够获得交通参与者的近似位置,这样的精度远不能满足智能交通和自动驾驶的需求。
发明内容
根据本公开的示例实施例,提供了一种用于定位车辆的方案。
在本公开的第一方面中,提供了一种用于定位车辆的方法。该方法包括:从感测设备所获取的与车辆相关的视频流的第一帧中确定第一特征点集合;从视频流中的、在第一帧之后的第二帧中确定与第一特征点集合相对应的第二特征点集合;以及基于第一特征点集合中的特征点和第二特征点集合中的对应特征点在图像坐标系下的位置以及图像坐标系与相机坐标系之间的第一映射关系,确定车体坐标系和相机坐标系之间的第二映射关系。
在本公开的第二方面中,提供了一种用于定位车辆的装置。该装置包括:第一特征点确定模块,被配置为从感测设备所获取的与车辆相关的视频流的第一帧中确定第一特征点集合;第二特征点确定模块,被配置为从视频流中的、在第一帧之后的第二帧中确定与第一特征点集合相对应的第二特征点集合;映射关系确定模块,基于第一特征点集合中的特征点和第二特征点集合中的对应特征点在图像坐标系下的位置以及图像坐标系与相机坐标系之间的第一映射关系,确定车体坐标系和相机坐标系之间的第二映射关系。
在本公开的第三方面中,提供了一种设备,包括一个或多个处理器;以及存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第四方面中,提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现根据本公开的第一方面的方法。
应当理解,发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标记表示相同或相似的元素,其中:
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图;
图2示出了根据本公开的一些实施例的视频流的一个帧的示意图;
图3示出了根据本公开的一些实施例的用于定位车辆的过程的流程图;
图4示出了根据本公开的一些实施例的确定视频流的一个帧中的包含交通参与者的区域或图像的示意图;
图5示出了根据本公开的一些实施例的确定视频流的一个帧中的目标车辆的特征点的示意图;
图6示出了根据本公开的一些实施例的确定视频流的另一个帧中的目标车辆及其特征点的示意图;
图7示出了根据本公开的一些实施例的视频流的多个帧以及车体坐标系下与多个特征点对应的位置的示意图;
图8示出了根据本公开的实施例的用于定位车辆的装置的示意框图;以及
图9示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如以上提及的,传统定位方案准确性较低,不足以满足智能交通和自动驾驶的需求。为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题,本公开的示例实施例提出了一种用于定位车辆的方案。在该方案中,从感测设备所获取的与车辆相关的视频流的第一帧中确定第一特征点集合;从视频流中的、在第一帧之后的第二帧中确定与第一特征点集合相对应的第二特征点集合;以及基于第一特征点集合中的特征点和第二特征点集合中的对应特征点在图像坐标系下的位置以及图像坐标系与相机坐标系之间的第一映射关系,确定车体坐标系和相机坐标系之间的第二映射关系。
以该方式,由于确定了车体坐标系和相机坐标系之间的映射关系,因此可以基于车体坐标系和相机坐标系之间的映射关系以及相机坐标系和世界坐标系之间的映射关系确定车辆在世界坐标系下的位置(可互换地称为“地理位置”),从而可以以简洁和有效的方式精确地定位车辆,从而提高智能交通和自动驾驶的性能。
以下将参照附图来具体描述本公开的实施例。
图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中,感测设备110可以获取包含交通参与者120、130和140的视频流。在图1中,将感测设备110示出为路测相机,但是感测设备110的示例不限于此,并且可以是能够获取包含交通参与者120、130和140的视频流的任何设备,诸如智能电话、车载相机等。
此外,在图1中,将交通参与者示出为小型车辆120、大型车辆130和行人140,但是交通参与者的示例不限于此,并且可以是参与交通的任何事物,诸如机动车、非机动车、行人、飞行器、平衡车等。
感测设备110可以与计算设备150连接,并且向计算设备150提供所获取的视频流。计算设备150可以基于视频流,对交通参与者进行定位。计算设备150可以被嵌入在感测设备110中,可以分布于感测设备150之外,也可以部分被嵌入在感测设备110中并且部分分布于感测设备150之外。例如,计算设备150可以是分布式计算设备、大型机、服务器、个人计算机、平板计算机、智能电话等具有计算能力的任何设备。
图2示出了根据本公开的一些实施例的视频流的一个帧200的示意图。如图2所示,感测设备110所采集的视频流的第一帧200包括交通参与者120、130和140。如上所述,传统上,无法利用这样的视频流对交通参与者进行精确定位,因此本公开的实施例提出了一种用于定位车辆的方法,以实现交通参与者的精确定位。该方法将在以下结合图3详细描述。
在下文中,以车辆为例来讨论本公开的实施例,然而应当理解,本公开的方案也可以被类似地应用于定位其他类型的交通参与者,例如行人、非机动车等。
图3示出了根据本公开的一些实施例的用于定位车辆的过程300的流程图。过程300可以由计算设备150来实现,也可以由其他适当的设备来实现。
在310,计算设备150从感测设备110所获取的与车辆相关的视频流的一个帧(也被称为“第一帧”)中确定特征点集合(也被称为“第一特征点集合”)。第一特征点集合中的特征点是第一帧图像中变化梯度超过预定阈值的像素点。例如,特征点可以是灰度值的变化超过预定阈值的点或者是边缘上曲率超过预定阈值的点(即两个边缘的交点)。由于特征点能够反映图像中的物体的本质特征,因此能够使用特征点来标识图像中的目标物体。
在某些实施例中,计算设备150可以从第一帧中确定包含车辆的至少一部分的图像或区域(也被称为“第一图像”),以及基于该第一图像,确定第一特征点集合。例如,为了从第一帧中确定第一图像,计算设备150可以通过前景检测算法(诸如但不限于模版匹配检测方法或深度学习检测方法),将视频流中的移动的车辆与背景分离,来确定车辆所位于的区域(即第一图像)。
图4示出了所确定的包含小型车辆120的区域410、包含大型车辆130的区域420、以及包含行人140的区域430。虽然在图4中,将区域示出为矩形,然而应当理解,区域可以是能够包含交通参与者的任何形状的区域。
然后,计算设备150可以对第一图像进行特征点提取,以确定第一特征点集合。例如,计算设备150可以利用SIFT(Scale-Invariant Feature Transform)算法或ORB(Oriented FAST and Rotated BRIEF)算法来提取特征点,但不限于此。
图5示出了对视频流中的第一帧中的所确定的包含小型车辆120的至少一部分的图像进行特征点提取之后所得到的第一特征点集合。如图5所示,第一特征点集合包括特征点510-540。特征点510被示出为小型车辆120的前挡玻璃的左下角点,特征点520被示出为前挡玻璃的左上角点,特征点530被示出为前挡玻璃的右上角点,并且特征点540被示出为前挡玻璃的右下角点。如上所述,特征点为图像中变化梯度超过预定阈值的像素点。虽然图5中仅示出了四个特征点510-540,然而应当理解,计算设备150可以提取到更多或更少的特征点,或者不同于特征点510-540的另外的特征点。
然后,在320,计算设备150可以从视频流中的、在第一帧之后的帧(也被称为“第二帧”)中确定与第一特征点集合相对应的特征点集合(也被称为“第二特征点集合”)。例如,在视频流中,计算设备150可以将紧邻第一帧之后的帧或与第一帧具有预定间隔的帧作为第二帧。
在某些实施例中,计算设备150可以确定第一特征点集合中的第一特征点在第一帧中在图像坐标系下的第一位置,并且在第二帧中确定与第一位置相对应的第二位置,作为第二特征点集合中的、与第一特征点相对应的第二特征点的位置。在本文中,例如,图像坐标系可以是如下坐标系:以感光元件图像平面的参考点(诸如但不限于左上角顶点)为原点,X轴和Y轴分别平行于图像平面的两条垂直边,并且通常以像素为单位。
例如,计算设备150可以利用特征点跟踪方法(诸如但不限于光流法)跟踪特征点510-540,以基于特征点510-540在图像坐标系下的位置,确定与特征点510-540相对应的特征点610-640,如图6所示。
应当理解,第一特征点集合中的特征点与第二特征点集合中的对应特征点在车体坐标系下对应于相同位置。例如,特征点510和特征点610都对应于前挡玻璃的左下角点,特征点520和特征点620都对应于前挡玻璃的左上角点,特征点530和特征点630都对应于前挡玻璃的右上角点,并且特征点540和特征点640都对应于前挡玻璃的右下角点。
在本公开的实施例中,例如,车体坐标系可以是如下坐标系:以车辆纵向对称平面作为Y基准平面,以垂直于Y基准平面的铅垂平面作为X基准平面,并且以垂直于Y和X基准平面的水平面作为Z基准平面,其中XYZ基准平面确定的基准轴组成右手坐标系。
此外,在某些实施例中,计算设备150还可以从第二帧中确定包含车辆的至少一部分的图像或区域(也被称为“第二图像”)。例如,计算设备150可以利用图像区域跟踪算法(诸如但不限于相关滤波方法),跟踪第一图像,以基于第一图像,确定第二帧中与第一图像相对应的第二图像。例如,第二图像在图6中被示出为包含小型车辆120的区域650。
在某些实施例中,计算设备150可能无法跟踪第一特征点集合中的所有特征点。换句话说,计算设备150可能无法在第二帧中确定与第一特征点集合中的所有特征点相对应的特征点。在这种情况下,计算设备150可以对第二图像进行特征点提取,以确定第二特征点集合。
然后,在330,计算设备150可以基于第一特征点集合中的特征点和第二特征点集合中的对应特征点在图像坐标系下的位置以及图像坐标系与相机坐标系之间的映射关系(也被称为“第一映射关系”),确定车体坐标系和相机坐标系之间的映射关系(也被称为“第二映射关系”)。在本公开的实施例中,例如,相机坐标系可以是如下坐标系:以相机的光心为坐标原点,X轴和Y轴分别平行于图像坐标系的X轴和Y轴,以相机的光轴为Z轴。
原理在于,由于特征点(诸如特征点510)与车体坐标系下的位置(诸如前挡玻璃的左下角点)对应,该对应关系满足小孔成像相机原理,因此根据投影公式,对于单个特征点,满足如下等式:
其中(x,y,z)表示与特征点对应的车体坐标系下的位置(例如三维坐标);T4X4表示车体坐标系与相机坐标系之间的第二映射关系(诸如但不限于旋转平移矩阵);K3X4表示相机坐标系与图像坐标系之间的第一映射关系(诸如但不限于相机坐标系下的三维点到图像坐标系下的像素点的投影矩阵(即内参矩阵),该投影矩阵可以通过相机的预先标定获得);(u,v)表示在图像坐标系下的特征点的位置(例如像素坐标);Z表示使等式(1)满足齐次性的参数。
在等式(1)中,由于位置(x,y,z)和第二映射关系T4X4两者均未知,因此既无法确定与特征点对应的车体坐标系下的位置,也无法确定第二映射关系。然而,由于在视频流中对特征点集合进行了跟踪,建立了特征点在多个帧之间的对应关系,并且具有对应关系的多个帧中的特征点对应于车体坐标系下的相同位置,因此可以利用多个帧中的特征点在图像坐标系下的位置,来确定与特征点对应的车体坐标系下的位置以及第二映射关系。
如图7所示,较大的圆形(简称为“大圆”)710和大圆7201-7205(统称为720)分别表示视频流的一个帧,并且可以包括特征点集合中的特征点在图像坐标系下的位置。实心大圆710表示当前帧,而空心大圆720表示历史帧。例如,实心大圆710可以包括特征点610-640在图像坐标系下的位置,并且空心大圆7201可以包括特征点510-540在图像坐标系下的位置。
较小的圆形(简称为“小圆”)7301-7307(统称为730)表示与特征点集合中的特征点相对应的车体坐标系下的位置。例如,小圆7301-7304可以分别表示前挡玻璃的左下角点、前挡玻璃的左上角点、前挡玻璃的右上角点、和前挡玻璃的右下角点。
应当理解,大圆710或720对应于视频流中的不同帧,也对应于不同车辆位置,也即对应于等式(1)中不同第二映射关系T4X4。如果存在N个帧,则需要确定N个第二映射关系T4X4。此外,小圆730对应于车体坐标系下的位置,因此对于所跟踪的M个特征点,需要确定M个位置(x,y,z)。进一步地,大圆710或720与小圆730之间的连接对应于一个帧中的一个特征点与车体坐标系下的位置之间的对应关系。由于该对应关系体现为等式(1),因此可以产生M×N个等式。
在某些实施例中,由于在视频流的帧中,特征点的跟踪可能会中断,或有新的特征点产生,从而并非所有大圆710或720和小圆730都存在连接(即对应关系),因此等式的数量可能小于M×N。
由于产生的等式的数量(M×N)大于要确定的未知数的数量(N个第二映射关系T4X4和M个位置(x,y,z)),因此可以通过M×N个等式,确定N个第二映射关系T4X4和M个位置(x,y,z)。
在某些实施例中,计算设备150可以利用迭代算法来确定N个第二映射关系T4X4和M个位置(x,y,z)。例如,计算设备150可以首先赋予位置(x,y,z)和第二映射关系T4X4任意初始值,然后通过梯度下降法或牛顿方法进行迭代求解,也可以通过有关算法(诸如但不限于g2o或Ceres算法)进行求解,从而确定第二映射关系T4X4。
例如,计算设备150可以首先进行初始化,以将第一特征点集合中的特征点与第二特征点集合中的对应特征点在车体坐标系下所对应的、车辆的目标位置设置为预定位置,并且将第二映射关系设置为预定映射关系。然后,计算设备150可以迭代地执行以下至少一次:基于第一特征点集合中的特征点和第二特征点集合中的对应特征点在图像坐标系下的位置以及第一映射关系,确定与第二映射关系和在车体坐标系下的目标位置相关联的变化率,以及基于变化率,更新第二映射关系和目标位置。
可选地,由于已经确定出车体坐标系和相机坐标系之间的第二映射关系,因此在340,计算设备150可以获取相机坐标系和世界坐标系之间的映射关系(也被称为“第三映射关系”)(诸如但不限于旋转平移矩阵),并且在350,基于第二映射关系和第三映射关系,确定车辆的地理位置。
图8示出了根据本公开实施例的用于定位车辆的装置800的示意性框图。如图8所示,装置800包括:第一特征点确定模块810,被配置为从感测设备所获取的与车辆相关的视频流的第一帧中确定第一特征点集合;第二特征点确定模块820,被配置为从视频流中的、在第一帧之后的第二帧中确定与第一特征点集合相对应的第二特征点集合;以及映射关系确定模块830,被配置为基于第一特征点集合中的特征点和第二特征点集合中的对应特征点在图像坐标系下的位置以及图像坐标系与相机坐标系之间的第一映射关系,确定车体坐标系和相机坐标系之间的第二映射关系。
在某些实施例中,第一特征点确定模块810包括:第一图像确定模块,被配置为从第一帧中确定包含车辆的至少一部分的第一图像;以及第一特征点集合确定模块,被配置为基于第一图像,确定第一特征点集合
在某些实施例中,第二特征点确定模块820包括:第一位置确定模块,被配置为确定第一特征点集合中的第一特征点在第一帧中在图像坐标系下的第一位置;第二位置确定模块,被配置为在第二帧中确定与第一位置相对应的第二位置,作为第二特征点集合中的、与第一特征点相对应的第二特征点的位置。
在某些实施例中,第二特征点确定模块820包括:第二图像确定模块,被配置为从第二帧中确定包含车辆的至少一部分的第二图像;以及第二特征点集合确定模块,被配置为基于第二图像,确定第二特征点集合。
在某些实施例中,映射关系确定模块830包括:目标位置设置模块,被配置为将第一特征点集合中的特征点与第二特征点集合中的对应特征点在车体坐标系下所对应的、车辆的目标位置设置为预定位置;映射关系设置模块,被配置为将第二映射关系设置为预定映射关系;以及迭代模块,被配置为迭代地执行以下至少一次:基于第一特征点集合中的特征点和第二特征点集合中的对应特征点在图像坐标系下的位置以及第一映射关系,确定与第二映射关系和目标位置相关联的变化率;以及基于变化率,更新第二映射关系和目标位置。
在某些实施例中,装置800还包括:获取模块840,被配置为获取相机坐标系和世界坐标系之间的第三映射关系;以及地理位置确定模块850,被配置为基于第二映射关系和第三映射关系,确定车辆的地理位置。
图9示出了可以用来实施本公开的实施例的示例设备900的示意性框图。设备900可以用于实现图1的计算设备150。如图所示,设备900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的计算机程序指令或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序指令,来执行各种适当的动作和处理。在RAM 903中,还可存储设备900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
CPU 901执行上文所描述的各个方法和处理,例如过程300。例如,在一些实施例中,过程300可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由CPU 901执行时,可以执行上文描述的过程300的一个或多个步骤。备选地,在其他实施例中,CPU 901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行过程300。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (14)
1.一种用于定位车辆的方法,包括:
从感测设备所获取的与车辆相关的视频流的第一帧中确定第一特征点集合;
从所述视频流中的、在所述第一帧之后的第二帧中确定与所述第一特征点集合相对应的第二特征点集合;以及
基于所述第一特征点集合中的特征点和所述第二特征点集合中的对应特征点在图像坐标系下的位置以及所述图像坐标系与相机坐标系之间的第一映射关系,确定所述车体坐标系和所述相机坐标系之间的第二映射关系。
2.根据权利要求1所述的方法,其中确定所述第一特征点集合包括:
从所述第一帧中确定包含所述车辆的至少一部分的第一图像;以及
基于所述第一图像,确定所述第一特征点集合。
3.根据权利要求1所述的方法,其中确定所述第二特征点集合包括:
确定所述第一特征点集合中的第一特征点在第一帧中在图像坐标系下的第一位置;
在所述第二帧中确定与所述第一位置相对应的第二位置,作为所述第二特征点集合中的、与所述第一特征点相对应的第二特征点的位置。
4.根据权利要求1所述的方法,其中确定所述第二特征点集合包括:
从所述第二帧中确定包含所述车辆的至少一部分的第二图像;以及
基于所述第二图像,确定所述第二特征点集合。
5.根据权利要求1所述的方法,其中确定所述第二映射关系包括:
将所述第一特征点集合中的特征点与所述第二特征点集合中的对应特征点在所述车体坐标系下所对应的、所述车辆的目标位置设置为预定位置;
将所述第二映射关系设置为预定映射关系;以及
迭代地执行以下至少一次:
基于所述第一特征点集合中的特征点和所述第二特征点集合中的对应特征点在所述图像坐标系下的位置以及所述第一映射关系,确定与所述第二映射关系和所述目标位置相关联的变化率;以及基于所述变化率,更新所述第二映射关系和所述目标位置。
6.根据权利要求1所述的方法,其中所述方法还包括:
获取所述相机坐标系和世界坐标系之间的第三映射关系;以及
基于所述第二映射关系和所述第三映射关系,确定所述车辆的地理位置。
7.一种用于定位车辆的装置,包括:
第一特征点确定模块,被配置为从感测设备所获取的与车辆相关的视频流的第一帧中确定第一特征点集合;
第二特征点确定模块,被配置为从所述视频流中的、在所述第一帧之后的第二帧中确定与所述第一特征点集合相对应的第二特征点集合;以及
映射关系确定模块,被配置为基于所述第一特征点集合中的特征点和所述第二特征点集合中的对应特征点在图像坐标系下的位置以及所述图像坐标系与相机坐标系之间的第一映射关系,确定所述车体坐标系和所述相机坐标系之间的第二映射关系。
8.根据权利要求7所述的装置,其中所述第一特征点确定模块包括:
第一图像确定模块,被配置为从所述第一帧中确定包含所述车辆的至少一部分的第一图像;以及
第一特征点集合确定模块,被配置为基于所述第一图像,确定所述第一特征点集合。
9.根据权利要求7所述的装置,其中所述第二特征点确定模块包括:
第一位置确定模块,被配置为确定所述第一特征点集合中的第一特征点在第一帧中在图像坐标系下的第一位置;
第二位置确定模块,被配置为在所述第二帧中确定与所述第一位置相对应的第二位置,作为所述第二特征点集合中的、与所述第一特征点相对应的第二特征点的位置。
10.根据权利要求7所述的装置,其中所述第二特征点确定模块包括:
第二图像确定模块,被配置为从所述第二帧中确定包含所述车辆的至少一部分的第二图像;以及
第二特征点集合确定模块,被配置为基于所述第二图像,确定所述第二特征点集合。
11.根据权利要求7所述的装置,其中所述映射关系确定模块包括:
目标位置设置模块,被配置为将所述第一特征点集合中的特征点与所述第二特征点集合中的对应特征点在所述车体坐标系下所对应的、所述车辆的目标位置设置为预定位置;
映射关系设置模块,被配置为将所述第二映射关系设置为预定映射关系;以及
迭代模块,被配置为迭代地执行以下至少一次:
基于所述第一特征点集合中的特征点和所述第二特征点集合中的对应特征点在所述图像坐标系下的位置以及所述第一映射关系,确定与所述第二映射关系和所述目标位置相关联的变化率;以及
基于所述变化率,更新所述第二映射关系和所述目标位置。
12.根据权利要求7所述的装置,其中所述装置还包括:
获取模块,被配置为获取所述相机坐标系和世界坐标系之间的第三映射关系;以及
地理位置确定模块,被配置为基于所述第二映射关系和所述第三映射关系,确定所述车辆的地理位置。
13.一种设备,所述设备包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811247083.9A CN109376653B (zh) | 2018-10-24 | 2018-10-24 | 用于定位车辆的方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811247083.9A CN109376653B (zh) | 2018-10-24 | 2018-10-24 | 用于定位车辆的方法、装置、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109376653A true CN109376653A (zh) | 2019-02-22 |
CN109376653B CN109376653B (zh) | 2022-03-01 |
Family
ID=65401997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811247083.9A Active CN109376653B (zh) | 2018-10-24 | 2018-10-24 | 用于定位车辆的方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109376653B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110119698A (zh) * | 2019-04-29 | 2019-08-13 | 北京百度网讯科技有限公司 | 用于确定对象状态的方法、装置、设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208185A (zh) * | 2013-03-19 | 2013-07-17 | 东南大学 | 一种基于车灯识别的夜间车辆检测方法及*** |
CN105300403A (zh) * | 2015-09-22 | 2016-02-03 | 清华大学 | 一种基于双目视觉的车辆里程计算法 |
CN106969763A (zh) * | 2017-04-07 | 2017-07-21 | 百度在线网络技术(北京)有限公司 | 用于确定无人驾驶车辆的偏航角的方法和装置 |
US20180122231A1 (en) * | 2016-10-31 | 2018-05-03 | Echelon Corporation | Video data and gis mapping for traffic monitoring, event detection and change predicition |
CN108288386A (zh) * | 2018-01-29 | 2018-07-17 | 深圳信路通智能技术有限公司 | 基于视频的路内停车跟踪方法 |
CN108413971A (zh) * | 2017-12-29 | 2018-08-17 | 驭势科技(北京)有限公司 | 基于车道线的车辆定位技术及应用 |
-
2018
- 2018-10-24 CN CN201811247083.9A patent/CN109376653B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208185A (zh) * | 2013-03-19 | 2013-07-17 | 东南大学 | 一种基于车灯识别的夜间车辆检测方法及*** |
CN105300403A (zh) * | 2015-09-22 | 2016-02-03 | 清华大学 | 一种基于双目视觉的车辆里程计算法 |
US20180122231A1 (en) * | 2016-10-31 | 2018-05-03 | Echelon Corporation | Video data and gis mapping for traffic monitoring, event detection and change predicition |
CN106969763A (zh) * | 2017-04-07 | 2017-07-21 | 百度在线网络技术(北京)有限公司 | 用于确定无人驾驶车辆的偏航角的方法和装置 |
CN108413971A (zh) * | 2017-12-29 | 2018-08-17 | 驭势科技(北京)有限公司 | 基于车道线的车辆定位技术及应用 |
CN108288386A (zh) * | 2018-01-29 | 2018-07-17 | 深圳信路通智能技术有限公司 | 基于视频的路内停车跟踪方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110119698A (zh) * | 2019-04-29 | 2019-08-13 | 北京百度网讯科技有限公司 | 用于确定对象状态的方法、装置、设备和存储介质 |
CN110119698B (zh) * | 2019-04-29 | 2021-08-10 | 北京百度网讯科技有限公司 | 用于确定对象状态的方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109376653B (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102126724B1 (ko) | 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치 | |
JP6862409B2 (ja) | 地図生成及び移動主体の位置決めの方法及び装置 | |
Brachmann et al. | Visual camera re-localization from RGB and RGB-D images using DSAC | |
CN109242903A (zh) | 三维数据的生成方法、装置、设备及存储介质 | |
CN112328730B (zh) | 一种地图数据更新的方法、相关装置、设备及存储介质 | |
CN110135376A (zh) | 确定图像传感器的坐标系转换参数的方法、设备和介质 | |
CN110135437A (zh) | 用于车辆的定损方法、装置、电子设备和计算机存储介质 | |
CN103854283A (zh) | 一种基于在线学习的移动增强现实跟踪注册方法 | |
CN103247045A (zh) | 一种从多视图中得到人造场景主方向及图像边缘的方法 | |
EP4116935B1 (en) | High-definition map creation method and device, and electronic device | |
CN110738219A (zh) | 图像中线条提取方法和装置、存储介质及电子装置 | |
US20180130241A1 (en) | Image Modification Using Detected Symmetry | |
US11699234B2 (en) | Semantic segmentation ground truth correction with spatial transformer networks | |
Kopsida et al. | BIM registration methods for mobile augmented reality-based inspection | |
CN114004882A (zh) | 一种二维地图生成方法、装置、终端设备及存储介质 | |
CN111402413A (zh) | 三维视觉定位方法、装置及计算设备、存储介质 | |
JP2022130588A (ja) | 自動運転車両の位置合わせ方法、装置、電子機器及び車両 | |
CN113537026B (zh) | 建筑平面图中的图元检测方法、装置、设备及介质 | |
CN105631849B (zh) | 多边形目标的变化检测方法及装置 | |
CN109376653A (zh) | 用于定位车辆的方法、装置、设备和介质 | |
CN115880448B (zh) | 基于双目成像的三维测量方法及装置 | |
US10460420B2 (en) | Converting spatial features to map projection | |
US11004205B2 (en) | Hardware accelerator for histogram of oriented gradients computation | |
CN116642490A (zh) | 基于混合地图的视觉定位导航方法、机器人及存储介质 | |
CN115578386A (zh) | 泊车图像生成方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |