CN103925927A - 一种基于车载视频的交通标识定位方法 - Google Patents
一种基于车载视频的交通标识定位方法 Download PDFInfo
- Publication number
- CN103925927A CN103925927A CN201410156421.3A CN201410156421A CN103925927A CN 103925927 A CN103925927 A CN 103925927A CN 201410156421 A CN201410156421 A CN 201410156421A CN 103925927 A CN103925927 A CN 103925927A
- Authority
- CN
- China
- Prior art keywords
- traffic mark
- video
- frame
- traffic
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
一种基于车载视频的交通标识定位方法,属于智能交通领域的交通信息收集技术,通过连续视频图像解算出交通标识的多个动态观察距离,结合车载GPS轨迹,来精确估计交通标识的地理坐标,以实现在连续交通标识识别的同时精确定位其地理位置。主要包括图像帧获取位置确定、交通标识区域畸变校正、交通标识精确定位、标识区域大小计算、交通标识视距估算、基于GPS轨迹的路径位置估算、加权位置判断等步骤。本发明通过车载视频设备记录的视频图像和同时记录的GPS位置,在连续识别出交通标识的前提下,对该交通标识进行自动的精确定位,避免人为估计造成的不准确,同时提高工作效率。
Description
技术领域
本发明涉及一种基于车载视频的交通标识定位方法,属于智能交通领域的交通标识信息收集技术。
背景技术
当前车载导航中使用的交通路线图、交通标识一般是通过车载摄像机通过实地跑车进行摄像,后期通过整理视频资料获得。
起初,交通标识是通过人为发现和标记完成的。随着图像处理与识别技术的发展,交通标识识别实现了部分自动或半自动化,相关的技术发明包括西门子共同研究公司.交通标志检测方法.中国发明专利,CN101023436A,2007-08-22、江苏物联网研究发展中心.基于视频的交通信息采集方法.中国发明专利,CN102768804A,2012-12-07、重庆邮电大学.基于GPU实现PSO-SVM对道路标志的识别方法.中国发明专利,CN102999756A,2013-03-27等,在如上技术中已经能够对连续视频的交通标识进行实时的识别,并能大概确定交通标识在图像中的位置区域。
而交通标识的实际地理位置并不能直接获得。因为摄像机镜头朝向行车前方,在获得交通标识时,车上GPS收集的位置信息与交通标识本身的位置并不一致,一般的做法通过操作员的估计或借助交通标识所在的地面对应位置获得其位置信息,不直观、误差也大。
根据摄影测量的原理,利用对同一点的两次观察,结合相机的成像参数进行前方交会,可以解算出非接触点的空间位置。检索发现“一种基于球面全景视频的交通标志定位方法”,CN103345630A,2013-10-09,该方法利用立体成像原理进行空间位置解算,它是通过两次全景观察,根据标识中心点位置的方位角来进行前方交会解算的,这必然受到车载全景相机的姿态的影响,在没有精确姿态测量的条件下会产生较大误差,另外由于两个全景影像之间的成像时的差异较大,增加了交通标识匹配的难度。
发明内容
本发明要解决的问题为:克服现有技术的不足,提供一种基于车载视频的交通标识定位方法,通过车载视频设备记录的视频图像和同时记录的GPS位置,在连续识别出交通标识的前提下,对该交通标识进行自动的精确定位,避免人为估计造成的不准确,同时提高了工作效率。
本发明解决其技术问题所采用的技术方案如下:一种基于车载视频的交通标识定位方法,实现步骤如下:
第一步,图像帧获取位置确定
去除初始视频帧序列中具有相同GPS坐标位置的视频帧,得到一个位置变动的视频帧序列{Fi|i=1,2,...,N},对应的位置点序列记为{Pi|i=1,2,...,N},对应的GPS序列记为{Loi,Lai|i=1,2,...,N},Loi和Lai分别是经度和纬度坐标;设汽车在两个记录GPS坐标位置之间的行进路线为直线,根据间隔的帧数平均分配距离,插值计算出每一帧对应的GPS坐标;
第二步,交通标识区域畸变校正
进行摄像机的标定,得出相机的几何模型即求解其变换矩阵;再根据标定得到的变换矩阵对第一步得到的视频帧序列进行畸变校正,得到校正视频帧序列;
第三步,交通标识精确定位
对第二步中得到的校正视频帧序列,进行标识的检测定位,得到一个粗略的位置,再采用交通标识精确定位方法,确定交通标识的外接四边形,得到精确定位到图像中的交通标识;
第四步,标识区域大小计算
精确定位到图像中的交通标识后,根据确定的外接四边形对目标进行大小估计;再根据两帧Fi和Fi+k中目标的面积比例,估算目标尺度变化比例rik,其中i,k表示基于第i和第i+k帧计算;
第五步,交通标识视距估算
设两个视频帧Fi和Fi+k对应的GPS坐标位置分别为Pi:(Loi,Lai)和Pi+k:(Loi+k,Lai+k),计算Pi和Pi+k之间的距离记为d(i,i+k);利用d(i,i+k)和上一步的结果rik,并根据相机成像原理,计算出拍摄位置距交通标识所在位置的距离即视距uik;
第六步,基于GPS轨迹的路径位置估算
根据车辆行进轨迹与交通标识的位置关系并利用视距uik估算交通标识的位置SPik;
第七步,多次观测结果加权
对连续观察到的交通标识进行以上的位置估算,最后对所有估算的位置SPik进行加权计算,得到交通标识的地理位置SP。
所述第三步中交通标识精确定位方法实现如下:
(1)在学习阶段,提出融合多种颜色通道的、鲁棒的底层颜色特征;对于每一种颜色的交通标识,分别定义其主导颜色;通过学习,得到该标识主导颜色特征的表达集合即主导颜色词典,并获得其判定阈值Cth;
(2)判断阶段,针对得到的标识的粗略位置,抽取图像像素的底层颜色特征,寻找其在主导颜色特征集合中的k近邻的距离之和,当距离和小于一个阈值Cth则认为像素具有交通标识的主导颜色;
(3)以上判定结果得到一个与搜索框同大小的模板,模板中1表示搜索框中像素为主导颜色,0表示其他颜色,去除其中离散的像素点,再计算出交通标识的外接四边形,得到精确定位到图像中的交通标识。
所述第五步中交通标识视距估算过程是:
(1)设两个视频帧Fi和Fi+k对应的GPS坐标位置分别为Pi:(Loi,Lai)和Pi+k:(Loi+k,Lai+k),计算Pi和Pi+k之间的欧式距离为d(i,i+k),k是大于等于1的整数;
(2)在采用的拍摄条件下,相机成像时象距不变,第i次观测交通标识时成像大小为S(i),第i+k次观测交通标识时距离为u(i+k),成像大小为s(i+k),设其中i,k表示基于第i和第i+k帧计算,根据相机成像原理,有如下关系:
(3)利用第四步的结果rik和以上结果d(i,i+k),根据以上关系式,计算出拍摄位置距交通标识所在位置的距离即视距uik(即u(i+k))。
所述第六步中基于GPS轨迹的交通标识位置估算具体过程是:
(1)对于交通标识不在车的行进轨迹上的情况,根据含有交通标识的视频帧序列的前一部分对应的GPS轨迹点{Loi,Lai|i=1,2,...,N},拟合出一条直线,该直线是估计出的行进路线,记为L,N是用于估计位置的点数;交通标识的位置与观测位置的连线与L的夹角序列为{θi|i=1,2,...,N},通过几何计算的方法求出交通标识位置,得出关系:
u1和u2为第五步在点1和点2获得的两个视距值u1k和u2k,d计算得到,求解上面方程组,得到θ,则计算出交通标识的位置SPik;SPik记为{SPik:(Loik,Laik)|i=1,2,...,N;k=1,2,...,K},是指采用第i和i+k帧计算出的交通标识位置,K取值较小,例如K=5,N是用于交通标识估计的视频帧数。
(2)对于交通标识在车的行进轨迹上的情况,根据车行进的GPS轨迹和第五步获得的视距值uik计算出交通标识的位置SPik。
所述第七步中多次观测计算结果中的加权过程是:
(1)对连续观察到的交通标识做以上位置估算,得到其估算位置SPik的序列;
(2)对每个视频帧计算得到的交通标识位置SPik,去除偏离较大的点,即奇异点的去除;
(3)计算当前帧权重wik,其中si和si+k分别表示第i和i+k次观测时交通标识的大小,hi和hi+k分别表示第i和i+k次观测时交通标识的竖直方向的高度,权重定义如下:
wik=1-abs(si/si+k-hi/hi+k)
(4)最后,加权计算交通标识的地理位置SP,包括经度、纬度坐标:
本发明与现有技术相比的积极效果为:
(1)本发明中交通标识的位置计算与交通标识的识别同步进行,实现了自动化,可以提高生产效率;
(2)本发明的视频帧中,采用基于颜色特征的交通标识精确勾画,实现较精确的估计交通标识在视频帧图像中的面积大小;
(3)本发明根据视频帧序列中交通标识的水平与竖直方向变化趋势,判断车辆行进(摄像机移动)方向是否变化,采用了两种不同的方法估算交通标识位置,实现对车辆转弯、掉头等情况下拍摄到的交通标识的定位;
(4)本发明采用了连续多次的位置估计加权,其定位位置更精确。
附图说明
图1为本发明实现流程图;
图2为视频中交通标识变化的例子:上半部分为三角形的交通标识,其中A区域表示黑边,B区域表示黑色图案,C区域表示黄底;下半部分为圆形的交通标识,其中A区域表示红边,B区域表示黑色图案,C区域表示白底。
图3为摄像机实际采集到的几种交通标识示例:第一二行为圆形的交通标识,其中A区域表示红边,B区域表示黑色图案,C区域表示白底;第三四行为三角形图案的交通标识,其中A区域表示黑边,B区域表示黑色图案,C区域表示黄底;第五六行为矩形的图案的交通标识,其中A区域表示白边,B区域表示白色图案,C区域表示蓝底;第七八行为矩形的图案的交通标识,其中A区域表示白边,B区域表示白色图案,C区域表示绿底;
图4为交通标识主导颜色训练图像示例:左图为圆形图案的交通标识图像,其中A区域表示红边,B区域表示黑色图案,C区域表示白底;右图为人工标记的主导颜色区域;
图5为交通标识位置计算示意图:交通标识不在车行进轨迹上的情况;
图6为交通标识位置计算示意图:交通标识在车行进轨迹上的情况。
具体实施方式
下面结合附图及实施例对本发明进行详细说明。
在叙述本发明前,对相关原理与实现条件进行说明。
成像条件:车载相机拍摄时,不变焦、不调焦,采用大景深的长焦段成像,这也是车载摄像机的正常工作模式,已知视频帧对应的车所在位置的GPS轨迹坐标。
输入条件:已经根据序列帧图像识别出交通标识的图像位置区域和类型(类型识别到大类即可,不识别到具体的交通标识),建立了前后帧之间的交通标识关系(即得到同一交通标识在视频帧中的位置)。对于一个交通标识,从检测到满足设置阈值的大小的视频帧开始,到标识消失前的最后一帧组成一个初始视频图像帧序列{OFi|i=1,2,...,M}。实际中,可根据交通标识的类型,设置大小的上限和下限(即最大和最小),去除较可能引入较大误差的视频帧。图2给出了两个视频中交通标识变化的例子。
在以上条件下,相机成像时象距不变,标识大小为s,第i次观测交通标识时距离为u(i),成像大小为s(i),象距为v,则有如下关系:
即:
s(i)·u(i)=v·s=定值 (2)
所以:
s(i)·u(i)=s(i+k)·u(i+k) (3)
其中,第i+k次观测交通标识时距离为u(i+k),成像大小为s(i+k),k是大于等于1的整数。在成像间隔很短、目标在车的前方的情况下,两次成像之间相机的位移为车的位移,记为d(i,i+k)。在车的行进中,第i+k次观测交通标识时距离目标更近,即物距u(i+k)较u(i)小,相差车的位移,有u(i+k)=u(i)-d(i,i+k),公式(3)可写为:
设其中i,k表示基于第i和第i+k帧计算,则有:
从上面推导可知,当车沿直线前进、标识在车正前方的情况下,已知两帧图像之间的相机位移和对应图像中目标的大小之比,即可根据公式(5)计算出相机与目标的空间距离。
但是,实际行车轨迹不可能是直线,不可能保证交通标识在摄像机前方。前进过程中摄像机的视角随车在变化,视频帧中的交通标识大小也在随视角变化而变化。当两帧之间的距离足够小时,可近似认为公式(5)成立,但普通的GPS定位精度十分有限,通常所用的GPS定位的打点频率不高(通常10米左右一个点),因此,d的值可能存在很大的误差,导致计算不正确。另外,在车行驶路线发生转弯的情况时,两帧之间的交通标识的面积可能由于时间变化发生突变,致使标识定位错误。
由于道路的高度基本在一定范围内不会有较大的改变,即使有桥存在,桥的坡度也较小,因此,视频帧中交通标识的竖直方向大小变化较小。观察大量实际采集得到的视频,视频帧中交通标识的竖直方向大小变化较小,不易受视角变化的影响;而水平方向变化非常大,水平放向的变化可以体现出摄像机视角的变化。公式(4)中的可以由代替,其中h(i)和h(i+k)分别表示第i和i+k次观测时交通标识的竖直方向的高度,则有:
设其中i,k表示基于第i和第i+k帧计算,则有:
实际计算中,使用的两个观测点之间的欧式距离计算d,没有考虑观测点与交通标识所在位置之间的相对关系,假设三者在一条直线上,因此存在一定的误差。当摄像机与交通标识之间的距离(物距)较大时,纵向偏移远远小于横向偏移,这一误差可以忽略。因此,使用从较远处拍摄到的视频帧来估计交通标识位置更精确。
如图1所示,本发明具体实现如下:
1.图像帧获取位置确定
普通的车载导航仪记录GPS坐标有一定的间隔,例如间隔一个固定时间记录一次,这个间隔时间通常远大于视频帧的间隔(例如1/29秒),并不是每一个视频帧都对应一个实际采集的经纬度坐标位置。因此,首先根据导航仪与视频记录的开始时间来插值每一帧的地理位置。假设汽车在两个记录GPS坐标位置之间的行进路线为直线,根据间隔的帧数平均分配距离,插值计算出每一帧对应的GPS坐标。
可用于物距计算的连续两个视频帧必须对应不同的GPS坐标位置,因此需要去除初始视频帧序列{OFi|i=1,2,...,M}中具有相同GPS坐标位置的视频帧,得到一个位置变动的视频帧序列,记作{Fi|i=1,2,...,N},对应的位置点序列记为{Pi|i=1,2,...,N},对应的GPS序列记为{Loi,Lai|i=1,2,...,N},Loi和Lai分别是经度和纬度坐标。
2.标识区域畸变校正
在机器视觉、图像测量、摄影测量、三维重建等应用中,为校正镜头畸变、确定物理尺寸和像素间的换算关系、以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,需要建立相机成像的几何模型。为得到交通标识的无畸变图像,首先需要进行摄像机标定,求解其变换矩阵,从而实现标识区域的畸变校正。相机标定主要分为传统相机标定法、主动视觉相机标定法、相机自标定法等。不同的标定方法各有利弊,实际应用通常根据具体情况和标定精度要求选择。这里,考虑操作方便性和稳定性,采用传统相机标定法进行摄像机的标定,即通过拍摄带有固定间距图案阵列平板(标定模板选用国际象棋盘图案)、经过标定算法的计算,可以得出相机的几何模型,从而得到高精度的测量和重建结果。根据实际情况需求,可以选择使用其他的摄像机标定方法。摄像机标定完成后,则可根据标定得到的变换矩阵对视频帧进行畸变校正。
3.交通标识精确定位
在交通标识检测定位结果上,为了精确计算交通标识在图像中的大小,需要进一步进行精确定位,即尽量精确的确定交通标识的外接四变形。无遮挡情况下,圆形标识成像为椭圆形,三角形标识成像也是三角形,矩形标识成像为平行四边形。为图像操作方便,定位到外接交通标识的矩形窗即可。对于一个交通标识,在摄像机视角变化不大的情况下,其外接矩形的大小比例与交通标识的大小比例基本相同。
一般的交通标识都包含两种以上的颜色,两种颜色的对比度较大,其中一种较为醒目,以得到人的注意。因此,使用交通标识的颜色这一重要特征进行精确定位。由于户外拍摄受到天气、光照、遮挡、拍摄距离等问题的影响很大,同一个交通标识牌会呈现出不同的颜色,同一类的交通标识牌颜色也可能不同,这就导致交通标识在视频中的颜色变化非常大,图3给出了一些示例。简单的设定阈值判断颜色的方法不适用,需要提取鲁棒的颜色特征。
把交通标识中较为醒目的颜色定义为主导颜色,例如红色、黄色、蓝色、绿色等。可以不考虑主导颜色以外的边框的颜色,把主导颜色的外边缘作为交通标识的边缘。因此,交通标识的精确定位问题就转化为找到交通标识主导颜色的问题。对于不同的主导颜色,分别进行样本收集、标记,组成训练样本库,样本库中应尽可能多的包含不同环境下的交通标识。训练数据库由在多种环境下实际拍摄的交通标识视频帧组成,每一帧中都标记出交通标识的主导颜色像素,图4给出了一个例子。
仅在一个颜色空间内,以RGB颜色空间为例,用一个字节表示一个颜色通道,就有16,800,000种颜色。在这么多种颜色的空间内,很难判断两个对象的颜色是否一样。使用单个颜色空间,非常容易受到光照变化等因素的影响。因此,提出使用多个颜色空间和主导颜色方法进行鲁棒的颜色特征抽取。一幅彩色图像中的像素在RGB、HSI和lαβ三个颜色空间的值串联起来作为颜色特征,即9维特征向量[r,g,b,h,s,i,l,α,β]其中r、g、b、h、s、i、l、α、β是分别把每个通道采用最大-最小值法归一化到相同的数量级得到的。RGB颜色空间向HIS颜色空间的转换是由一个基于笛卡尔直角坐标系的单位立方体向基于圆柱极坐标的双锥体的转换。H是色度、S是饱和度、I是亮度,W表示颜色空间中颜色向量与红轴的夹角。从RGB颜色空间到HSI颜色空间的转换公式如下:
从RGB颜色空间到lαβ颜色空间的转换公式如下:
lαβ颜色空间是圆锥颜色空间LMS的一种变换,因此先把RGB颜色空间先转换为LMS颜色空间,再转换为lαβ颜色空间。其中,LMS分别表示(人眼中三种接收器敏感的)长、中、短三种波长,l是无色通道,α和β分别是“黄-蓝”和“红-绿”对立颜色通道。
训练阶段主要是实现主导颜色词典的学习,并确定用于判断是否为主导颜色的阈值Cth。实际使用中对每一种交通标识分别处理,分别得到一个主导颜色词典,这里对一种交通标识的处理进行说明。主导颜色词典学习步骤:首先,对训练视频帧中的主导颜色的像素提取鲁棒的颜色特征,组成主导颜色特征池。然后,采用K-means方法,聚类得到C个聚类中心,这C歌聚类中心集合组成主导颜色词典,用于代表一种主导颜色,C的取值可以是1000、2000等。主导颜色判断阈值Cth学习阶段:对训练频帧中的主导颜色像素提取鲁棒的颜色特征,寻找主导颜色词典中的与之最相似的k个单词(欧式距离最近),计算提取的颜色特征与这k个单词的距离之和,记为sum。则得一系列的sum值,计算sum值的分布累计直方图,选取90%(这一阈值可以根据实际视频质量和人工标记精度调整)的像素小于的sum值作为阈值C_th。这样做是认为90%的人工标记主导颜色像素是准确的,因为人工标记很难做到完全精确,特别是对主导颜色与非主导颜色交错存在的区域、存在噪声的区域。
使用阶段,对于待精确定位交通标识,已经定位到一个粗略的位置,该位置覆盖了交通标识目标大部分区域,其结果可能比目标大也可能比目标小,定位以矩形的左上角图上坐标和矩形的长宽(占多少个像素)给定。要实现精确定位,主要包含以下几个步骤:(1)选定精确定位中考虑的窗口大小,即根据粗定位的坐标位置和大小确定一个稍大的包含定位矩形的窗口。设粗定位结果为(x,y,dx,dy),其中x,y分别为矩形左上角竖直方向和水平方向图上坐标,dx,dy分别为矩形的竖直方向高和水平方向长。则精确定位的搜索窗口定为(x-dx/b,y-dy/b,dx+2dx/b,dy+2dy/b),其中b为提前设定的值,控制矩形扩大的比例,例如选b=3。当搜索矩形的边界超出视频帧边界时,按照视频帧边界的部分作为矩形边界。(2)在搜索窗口内,对每一个像素提取鲁棒的颜色特征,寻找主导颜色词典中的与之最相似的k个单词(欧式距离最近),计算提取的颜色特征与这k个单词的距离之和,记为sum。如果sum小于阈值C_th(训练阶段学***直线,通过B点和D点分别作两条垂直直线,这四条直线组成的区域即为交通标识的外接四边形。
4.交通标识区域的大小计算
精确定位到图像中的交通标识后,即可根据确定的外接矩形进行大小估计,计算不同帧的大小比例。在进行距离解算时需要知道交通标识成像的面积比例或者竖直方向长度比例,为了更精确估算成像目标的大小,在计算时,同时计算交通标识的面积比例、竖直方向长度比例以及水平方向长度比例,得到面积比例序列、竖直方向长度比例序列、水平方向比例序列。根据两帧Fi和Fi+k之间水平与垂直方向的相对变化,可以估算两帧之间的目标相对旋转角度,根据该旋转角度对相应的面积进行校正,使其中一帧中的目标面积投影到另一帧方向的平面中,再根据校正后的两帧目标的面积比例估算目标尺度变化比例rik(尺度比例是面积比例的平方根),其中i,k表示基于第i和第i+k帧计算。
5.交通标识视距估算
两个视频帧Fi和Fi+k对应的GPS坐标位置分别为Pi:(Loi,Lai)和Pi+k:(Loi+k,Lai+k),计算两帧图像成像时的位移。通常,根据地球上两个点的经纬度坐标计算它们之间的距离需要计算球面距离,同时需要考虑高度因素,计算较为复杂。这里,计算的是一个很小的范围的距离,可以近似看作为一个平面,不需要计算球面距离,高度因素影响也可忽略,因此可使用欧式距离近似计算。Pi和Pi+k之间的距离记为根据公式(5)或者(7)可计算uik(即式中的u(i+k)),其中i,k表示基于第i和第i+k帧计算。
6.基于GPS轨迹的交通标识位置估算
经过上一步计算,得到包含交通标识的每一个视频帧拍摄位置距离交通标识所在位置的距离u,下一步是根据u估算交通标识的位置。对于摄像机采集到的交通标识在视频中的消失分为两种情况:一是车不经过交通标志所在位置的路,而是发生了转弯,标识从侧面消失,即交通标识不在车的行进轨迹上;二是车经过交通标志所在位置的路,车靠近标识一定程度时,标识向上方或者后方消失,即交通标识在车的行进轨迹上。
对于交通标识不在车的行进轨迹上的情况,GPS轨迹不能直接用于标识位置的确定。使用含有交通标识的视频帧序列的前一部分对应的GPS轨迹点估计交通标志的位置,例如前三分之一帧的位置等。根据{Loi,Lai|i=1,2,...,N}(N是用于估计位置的点数)拟合出一条直线(见图5中水平虚线),该直线是估计出的行进路线,记为L。交通标识的位置与观测位置的连线与L的夹角序列为{θi|i=1,2,...,N}。如果θi序列发生突变(abs(θi+k-θi)>th,th为设定的阈值),说明车行进中发生了转弯、掉头等,交通标识很可能不在车的行进轨迹上,而是在估计出的L上前方的某一点,可以通过几何计算的方法求出交通标识位置。如图5所示,不难得出关系:
u已经估算出,d可计算得到,求解上面方程组,得到θ,则可得出交通标识的位置。
如果θi序列没有发生突变,说明车行进中没有转弯、掉头等,交通标识在车的行进轨迹上。此时,可根据车行进的GPS轨迹和u估算出交通标识的位置。根据成像位置、成像位置与交通标识的距离生成一个圆,一般该圆与轨迹曲线相交于两点,其中前向交点即为交通标识的地理位置点如图6所示。
根据不同情况,采用上面两种方法可估算出交通标识的位置,采用GPS坐标点相同的经度纬度表示,记为{SPik:(Loik,Laik)|i=1,2,...,N;k=1,2,...,K}。SPik是采用第i和i+k帧计算出的交通标识位置,K取值较小,例如K=5,n是用于交通标识估计的视频帧数。
7.多次观测结果加权
实际上,交通标识的定位、GPS坐标点、距离计算都存在一定的误差,根据不同视频帧计算估计的位置会有一定的偏差,因此,需要根据不同的视频帧计算,最后统计预测分布情况确定交通标识的位置。
对连续观察到的交通标识做相同的位置估算,最后对所有估算的位置进行综合分析。首先,根据每个视频帧计算得到的交通标识位置,去除偏离较大的点,即奇异点的去除。然后,根据交通标识在视频中的大小及位置变化,判断摄像机视角是否满足方法假设,计算当前帧权重wik,
wik=1-abs(si/si+k-hi/hi+k)
最后,加权计算交通标识的地理位置(经度、纬度坐标),
本发明未详细阐述部分属于本领域公知技术。
显然,本发明的上述实施例仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (5)
1.一种基于车载视频的交通标识定位方法,其特征在于实现步骤如下:
第一步,图像帧获取位置确定
去除初始视频帧序列中具有相同GPS坐标位置的视频帧,得到一个位置变动的视频帧序列{Fi|i=1,2,...,N},对应的位置点序列记为{Pi|i=1,2,...,N},对应的GPS序列记为{Loi,Lai|i=1,2,...,N},Loi和Lai分别是经度和纬度坐标;设汽车在两个记录GPS坐标位置之间的行进路线为直线,根据间隔的帧数平均分配距离,插值计算出每一帧对应的GPS坐标;
第二步,交通标识区域畸变校正
进行摄像机的标定,得出相机的几何模型即求解其变换矩阵;再根据标定得到的变换矩阵对第一步得到的视频帧序列进行畸变校正,得到校正视频帧序列;
第三步,交通标识精确定位
对第二步中得到的校正视频帧序列,进行标识的检测定位,得到一个粗略的位置,再采用交通标识精确定位方法,确定交通标识的外接四边形,得到精确定位到图像中的交通标识;
第四步,标识区域大小计算
精确定位到图像中的交通标识后,根据确定的外接四边形对目标进行大小估计;再根据两帧Fi和Fi+k中目标的面积比例,估算目标尺度变化比例rik,其中i,k表示基于第i和第i+k帧计算;
第五步,交通标识视距估算
设两个视频帧Fi和Fi+k对应的GPS坐标位置分别为Pi:(Loi,Lai)和Pi+k:(Loi+k,Lai+k),计算Pi和Pi+k之间的距离记为d(i,i+k);利用d(i,i+k)和上一步的结果rik,并根据相机成像原理,计算出拍摄位置距交通标识所在位置的距离即视距uik;
第六步,基于GPS轨迹的路径位置估算
根据车辆行进轨迹与交通标识的位置关系并利用视距uik估算交通标识的位置SPik;
第七步,多次观测结果加权
对连续观察到的交通标识进行以上的位置估算,最后对所有估算的位置SPik进行加权计算,得到交通标识的地理位置SP。
2.根据权利要求1所述的基于车载视频的交通标识定位方法,其特征在于:所述第三步中交通标识精确定位方法实现如下:
(1)在学习阶段,提出融合多种颜色通道的、鲁棒的底层颜色特征;对于每一种颜色的交通标识,分别定义其主导颜色;通过学习,得到该标识主导颜色特征的表达集合即主导颜色词典,并获得其判定阈值Cth;
(2)判断阶段,针对得到的标识的粗略位置,抽取图像像素的底层颜色特征,寻找其在主导颜色特征集合中的k近邻的距离之和,当距离和小于一个阈值Cth则认为像素具有交通标识的主导颜色;
(3)以上判定结果得到一个与搜索框同大小的模板,模板中1表示搜索框中像素为主导颜色,0表示其他颜色,去除其中离散的像素点,再计算出交通标识的外接四边形,得到精确定位到图像中的交通标识。
3.根据权利要求1所述的基于车载视频的交通标识定位方法,其特征在于:所述第五步中交通标识视距估算过程是:
(1)设两个视频帧Fi和Fi+k对应的GPS坐标位置分别为Pi:(Loi,Lai)和Pi+k:(Loi+k,Lai+k),计算Pi和Pi+k之间的欧式距离为d(i,i+k),k是大于等于1的整数;
(2)在采用的拍摄条件下,相机成像时象距不变,第i次观测交通标识时成像大小为S(i),第i+k次观测交通标识时距离为u(i+k),成像大小为s(i+k),设其中i,k表示基于第i和第i+k帧计算,根据相机成像原理,有如下关系:
(3)利用第四步的结果rik和以上结果d(i,i+k),根据以上关系式,计算出拍摄位置距交通标识所在位置的距离即视距uik,即u(i+k)。
4.根据权利要求1所述的基于车载视频的交通标识定位方法,其特征在于:所述第六步中基于GPS轨迹的交通标识位置估算具体过程是:
(1)对于交通标识不在车的行进轨迹上的情况,根据含有交通标识的视频帧序列的前一部分对应的GPS轨迹点{Loi,Lai|i=1,2,...,N},拟合出一条直线,该直线是估计出的行进路线,记为L,N是用于估计位置的点数;交通标识的位置与观测位置的连线与L的夹角序列为{θi|i=1,2,...,N},通过几何计算的方法求出交通标识位置,得出关系:
u1和u2为第五步在点1和点2获得的两个视距值u1k和u2k,d计算得到,求解上面方程组,得到θ,则计算出交通标识的位置SPik;SPik记为{SPik:(Loik,Laik)|i=1,2,...,N;k=1,2,...,K},是指采用第i和i+k帧计算出的交通标识位置,,N是用于交通标识估计的视频帧数;
(2)对于交通标识在车的行进轨迹上的情况,根据车行进的GPS轨迹和第五步获得的视距值uik计算出交通标识的位置SPik。
5.根据权利要求1所述的基于车载视频的交通标识定位方法,其特征在于:所述第七步中多次观测计算结果中的加权过程是:
(1)对连续观察到的交通标识做以上位置估算,得到其估算位置SPik的序列;
(2)对每个视频帧计算得到的交通标识位置SPik,去除偏离较大的点,即奇异点的去除;
(3)计算当前帧权重wik,其中si和si+k分别表示第i和i+k次观测时交通标识的大小,hi和hi+k分别表示第i和i+k次观测时交通标识的竖直方向的高度,权重定义如下:
wik=1-abs(si/si+k-hi/hi+k)
(4)最后,加权计算交通标识的地理位置SP,包括经度、纬度坐标:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410156421.3A CN103925927B (zh) | 2014-04-18 | 2014-04-18 | 一种基于车载视频的交通标识定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410156421.3A CN103925927B (zh) | 2014-04-18 | 2014-04-18 | 一种基于车载视频的交通标识定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103925927A true CN103925927A (zh) | 2014-07-16 |
CN103925927B CN103925927B (zh) | 2016-09-07 |
Family
ID=51144228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410156421.3A Expired - Fee Related CN103925927B (zh) | 2014-04-18 | 2014-04-18 | 一种基于车载视频的交通标识定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103925927B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106650724A (zh) * | 2016-10-31 | 2017-05-10 | 北京汽车集团有限公司 | 建立交通标志数据库的方法和装置 |
CN106980855A (zh) * | 2017-04-01 | 2017-07-25 | 公安部交通管理科学研究所 | 交通标志快速识别定位***及方法 |
WO2017143562A1 (zh) * | 2016-02-25 | 2017-08-31 | 吴伟民 | 车辆导航路径检测方法及*** |
CN107121115A (zh) * | 2017-05-16 | 2017-09-01 | 郑州大学 | 基于gps运动摄像机数据确定道路圆曲线半径及行车视距的方法 |
CN108010355A (zh) * | 2018-01-02 | 2018-05-08 | 湖北汽车工业学院 | 交通灯匹配过程中运动车辆定位滤波及预测方法 |
CN109640145A (zh) * | 2018-12-24 | 2019-04-16 | 郑州畅想高科股份有限公司 | 一种用于轨道列车的行车演练方法及装置 |
CN109635639A (zh) * | 2018-10-31 | 2019-04-16 | 百度在线网络技术(北京)有限公司 | 交通标识的位置检测方法、装置、设备和存储介质 |
CN110658809A (zh) * | 2019-08-15 | 2020-01-07 | 北京致行慕远科技有限公司 | 可移动设备行进的处理方法、装置及存储介质 |
US10552692B2 (en) | 2017-09-19 | 2020-02-04 | Ford Global Technologies, Llc | Color learning |
CN110852278A (zh) * | 2019-11-12 | 2020-02-28 | 深圳创维数字技术有限公司 | 地面标识线识别方法、设备及计算机可读存储介质 |
WO2020083103A1 (zh) * | 2018-10-24 | 2020-04-30 | 中车株洲电力机车研究所有限公司 | 一种基于深度神经网络图像识别的车辆定位方法 |
CN112991397A (zh) * | 2021-04-19 | 2021-06-18 | 深圳佑驾创新科技有限公司 | 交通牌跟踪方法、装置、设备和存储介质 |
CN113597535A (zh) * | 2021-06-25 | 2021-11-02 | 闻泰科技(深圳)有限公司 | 基于图像的测距方法、装置和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246590A (zh) * | 2008-03-03 | 2008-08-20 | 北京航空航天大学 | 星载相机空间畸变图像几何校正方法 |
CN201269758Y (zh) * | 2008-09-22 | 2009-07-08 | 交通部公路科学研究所 | 一种交通标志车载全自动检测记录*** |
US20110118973A1 (en) * | 2009-11-16 | 2011-05-19 | Industrial Technology Research Institute | Image processing method and system |
CN102117487A (zh) * | 2011-02-25 | 2011-07-06 | 南京大学 | 一种针对视频运动目标的尺度方向自适应Mean-shift跟踪方法 |
CN103345630A (zh) * | 2013-06-14 | 2013-10-09 | 合肥工业大学 | 一种基于球面全景视频的交通标志定位方法 |
-
2014
- 2014-04-18 CN CN201410156421.3A patent/CN103925927B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246590A (zh) * | 2008-03-03 | 2008-08-20 | 北京航空航天大学 | 星载相机空间畸变图像几何校正方法 |
CN201269758Y (zh) * | 2008-09-22 | 2009-07-08 | 交通部公路科学研究所 | 一种交通标志车载全自动检测记录*** |
US20110118973A1 (en) * | 2009-11-16 | 2011-05-19 | Industrial Technology Research Institute | Image processing method and system |
CN102117487A (zh) * | 2011-02-25 | 2011-07-06 | 南京大学 | 一种针对视频运动目标的尺度方向自适应Mean-shift跟踪方法 |
CN103345630A (zh) * | 2013-06-14 | 2013-10-09 | 合肥工业大学 | 一种基于球面全景视频的交通标志定位方法 |
Non-Patent Citations (1)
Title |
---|
罗艳等: "指示类交通标识的自动检测", 《智能***学报》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017143562A1 (zh) * | 2016-02-25 | 2017-08-31 | 吴伟民 | 车辆导航路径检测方法及*** |
CN106650724A (zh) * | 2016-10-31 | 2017-05-10 | 北京汽车集团有限公司 | 建立交通标志数据库的方法和装置 |
CN106980855A (zh) * | 2017-04-01 | 2017-07-25 | 公安部交通管理科学研究所 | 交通标志快速识别定位***及方法 |
CN107121115B (zh) * | 2017-05-16 | 2019-05-28 | 郑州大学 | 基于gps运动摄像机数据确定道路圆曲线半径及行车视距的方法 |
CN107121115A (zh) * | 2017-05-16 | 2017-09-01 | 郑州大学 | 基于gps运动摄像机数据确定道路圆曲线半径及行车视距的方法 |
US10552692B2 (en) | 2017-09-19 | 2020-02-04 | Ford Global Technologies, Llc | Color learning |
CN108010355B (zh) * | 2018-01-02 | 2020-08-04 | 湖北汽车工业学院 | 交通灯匹配过程中运动车辆定位滤波及预测方法 |
CN108010355A (zh) * | 2018-01-02 | 2018-05-08 | 湖北汽车工业学院 | 交通灯匹配过程中运动车辆定位滤波及预测方法 |
WO2020083103A1 (zh) * | 2018-10-24 | 2020-04-30 | 中车株洲电力机车研究所有限公司 | 一种基于深度神经网络图像识别的车辆定位方法 |
CN109635639A (zh) * | 2018-10-31 | 2019-04-16 | 百度在线网络技术(北京)有限公司 | 交通标识的位置检测方法、装置、设备和存储介质 |
CN109640145A (zh) * | 2018-12-24 | 2019-04-16 | 郑州畅想高科股份有限公司 | 一种用于轨道列车的行车演练方法及装置 |
CN109640145B (zh) * | 2018-12-24 | 2021-08-06 | 郑州畅想高科股份有限公司 | 一种用于轨道列车的行车演练方法及装置 |
CN110658809A (zh) * | 2019-08-15 | 2020-01-07 | 北京致行慕远科技有限公司 | 可移动设备行进的处理方法、装置及存储介质 |
CN110852278A (zh) * | 2019-11-12 | 2020-02-28 | 深圳创维数字技术有限公司 | 地面标识线识别方法、设备及计算机可读存储介质 |
CN110852278B (zh) * | 2019-11-12 | 2022-08-30 | 深圳创维数字技术有限公司 | 地面标识线识别方法、设备及计算机可读存储介质 |
CN112991397A (zh) * | 2021-04-19 | 2021-06-18 | 深圳佑驾创新科技有限公司 | 交通牌跟踪方法、装置、设备和存储介质 |
CN113597535A (zh) * | 2021-06-25 | 2021-11-02 | 闻泰科技(深圳)有限公司 | 基于图像的测距方法、装置和存储介质 |
CN113597535B (zh) * | 2021-06-25 | 2023-07-04 | 闻泰科技(深圳)有限公司 | 基于图像的测距方法、装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103925927B (zh) | 2016-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103925927B (zh) | 一种基于车载视频的交通标识定位方法 | |
CN104848851B (zh) | 基于多传感器数据融合构图的变电站巡检机器人及其方法 | |
CN106407315B (zh) | 一种基于街景图像数据库的车辆自主定位方法 | |
CN106651953B (zh) | 一种基于交通指示牌的车辆位姿估计方法 | |
CN106919915B (zh) | 基于adas***的地图道路标记及道路质量采集装置及方法 | |
CN110501018B (zh) | 一种服务于高精度地图生产的交通标志牌信息采集方法 | |
CN104637073B (zh) | 一种基于太阳照射阴影补偿的带状地下结构探测方法 | |
CN103955920B (zh) | 基于三维点云分割的双目视觉障碍物检测方法 | |
CN105930819A (zh) | 基于单目视觉和gps组合导航***的实时城区交通灯识别*** | |
CN107516077A (zh) | 基于激光点云和影像数据融合的交通标牌信息提取方法 | |
CN104121902B (zh) | 基于Xtion摄像机的室内机器人视觉里程计实现方法 | |
CN105654732A (zh) | 一种基于深度图像的道路监控***及方法 | |
CN112801074B (zh) | 一种基于交通摄像头的深度图估计方法 | |
CN104700414A (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
CN104574415B (zh) | 一种基于单摄像机的目标空间定位方法 | |
CN107451593A (zh) | 一种基于图像特征点的高精度gps定位方法 | |
CN109949593A (zh) | 一种基于路口先验知识的交通信号灯识别方法及*** | |
CN107610128A (zh) | 一种油位计的巡检方法和装置 | |
CN103440629B (zh) | 激光标记自动跟踪的视频引伸计的数字图像处理方法 | |
CN108846333A (zh) | 标志牌地标数据集生成及车辆定位方法 | |
CN106558051A (zh) | 一种改进的从单幅图像检测道路的方法 | |
CN109190483A (zh) | 一种基于视觉的车道线检测方法 | |
CN111723778A (zh) | 基于MobileNet-SSD的车辆测距***及方法 | |
CN112906616A (zh) | 一种车道线提取与生成方法 | |
CN101498581B (zh) | 一种基于三共面点的航天器相对姿态确定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160907 |
|
CF01 | Termination of patent right due to non-payment of annual fee |