CN102176243A - 一种基于可见光和红外摄像机的目标测距方法 - Google Patents

一种基于可见光和红外摄像机的目标测距方法 Download PDF

Info

Publication number
CN102176243A
CN102176243A CN2010106149100A CN201010614910A CN102176243A CN 102176243 A CN102176243 A CN 102176243A CN 2010106149100 A CN2010106149100 A CN 2010106149100A CN 201010614910 A CN201010614910 A CN 201010614910A CN 102176243 A CN102176243 A CN 102176243A
Authority
CN
China
Prior art keywords
point
image
match
unique
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010106149100A
Other languages
English (en)
Inventor
金学波
王雷雷
杜晶晶
鲍佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN2010106149100A priority Critical patent/CN102176243A/zh
Publication of CN102176243A publication Critical patent/CN102176243A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于可见光和红外摄像机的目标测距方法。现有的基于视觉检测的***无法用于阴雨、大雾、夜晚等光线较为不好的情况或中、长距离目标的测距。本发明首先采用Retinex理论对图像进行增强处理并计算物体反射分量图像，其次采用平面标定法对***进行标定，得到单应性矩阵并利用SIFT对红外图像与可见光图像进行匹配。然后通过设置适当的阈值，判定匹配点与估计的投影矩阵
Figure DEST_PATH_IMAGE002
是否相一致，利用RANSAC算法消除误匹配点。最后利用匹配点获取空间三维信息。本发明利用了多源视觉传感器，从不同方面获取空间景物信息，扩展了其环境使用范围，而且降低了成本。

Description

一种基于可见光和红外摄像机的目标测距方法
技术领域
本发明属于计算机视觉应用领域，涉及一种基于可见光和红外摄像机的目标测距方法，具体是通过运用计算机双目立体视觉、图像处理以及图像的特征匹配等机器视觉理论和技术进行目标测距的方法。
背景技术
基于多传感器的视觉图像测距技术可以充分利用现有成像传感器的特点，通过信息处理与视频处理技术，更全面地获取目标的信息，在军事、安防、监控、辅助驾驶等领域有重要的应用价值。
针对车辆发生的恶***通事故现象，在研究智能交通***发展状况和国内外智能车辆测距技术的基础上，通过对国内外智能车辆防撞预警***的研究分析发现，现有的基于视觉检测的***在阴雨、大雾、夜晚等光线较为不好的情况下，无法进行用于辅助驾驶的中长距离目标检测。
目前在目标测距方面已申请的专利有：一种基于改进SIFT算法的移动机器人视觉定位方法（200910072078），采集移动机器人行走路径中的特定模板图像，运用改进的SIFT算法计算模板图像的SIFT特征点向量集，根据标示物模板图像中匹配特征点集合的坐标位置，实现对待识别图像中的特定标示物的识别，最后确定移动机器人的位置，达到视觉定位的目的。因为使用的是两个可见光摄像机，因此该方法无法用于光线比较暗的情况；一种基于GPS的车载测距***（200820092045），GPS主机模块用于采集车间距检测信号和车速检测信号，并将车间距检测信号发送到所述显示装置，同时将车间距检测信号和车速检测信号与安全车间距进行分析比较，判断是否驱动报警装置报警，并显示出车间距，其成本相对于使用视觉测距的***高；汽车用红外线测距倒车语音提示器（200820063940），由安装在汽车后备箱上红外线发射管与红外线吸收管，所吸收的红外线信号传递到红外线测距装置，输出音频到前面安装在汽车右方的喇叭上发出汽车与障碍物之间距离（２米、１米等）的语音提示；一种倒车可视测距***（200820042567），由雷达***，摄像装置，OSD显示控制器和显示器组成，不仅能够显示车后的图像，而且还能够显示障碍物的距离以及与距离相应的彩色标识，但上述两个***只能在停车、倒车时测得较近目标，无法用于辅助驾驶。通过对上面测距***的研究分析发现，现有的基于视觉检测的***无法用于阴雨、大雾、夜晚等光线较为不好的情况或中、长距离目标的测距。
发明内容
本发明的目的就是针对现有技术的不足，提供一种基于可见光和红外摄像机的目标测距方法，该方法将可见光和红外摄像机应用于目标测距***中，采用图像增强、双目***标定、图像匹配、消除误匹配以及目标距离测定五个步骤，能够在光线较为不好的情况下得到较远目标的距离信息并用于夜间的辅助驾驶。
本发明的目标测距方法的具体步骤是：
步骤(1)采用Retinex理论对图像进行增强处理，计算物体反射分量图像。
步骤(2)采用平面标定法对***进行标定，得到单应性矩阵。
步骤(3)利用SIFT对红外图像与可见光图像进行匹配。
步骤(4)通过设置适当的阈值，判定匹配点与估计的投影矩阵                                                
Figure 2010106149100100002DEST_PATH_IMAGE001
是否相一致，利用RANSAC算法消除误匹配点。
步骤(5)利用匹配点获取空间三维信息。
本发明方法利用Retinex理论从生物学角度来对图像进行增强处理，使增强后的图像目标更加清晰，有利于图像的匹配，该方法利用了多源视觉传感器，从不同方面获取空间景物信息，扩展了其环境使用范围，而且降低了成本更有利于普通消费者所接受；并且利用RAMSAC算法消除了两幅图像的误匹配点，提高了求解目标距离的精确度。
附图说明
图1是目标测距的结构流程图；
图2是sift特征向量的生成。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1所示，本发明方法的具体步骤是：
步骤(1)采用Retinex理论对图像进行增强处理，计算物体的反射分量图像
Figure 783122DEST_PATH_IMAGE002
。
Retinex算法将一幅给定的图像分解成照射分量图像与物体的反射分量图像。因此，对于一幅图像
Figure 2010106149100100002DEST_PATH_IMAGE003
可以用下式来表示
Figure 345164DEST_PATH_IMAGE004
   (1)
其中，表示像素点在图像中的坐标，是由传感器接收到的图像，
Figure 510752DEST_PATH_IMAGE002
表示物体的反射分量图像，
Figure 544567DEST_PATH_IMAGE006
表示照射分量图像。
照射分量图像
Figure 193855DEST_PATH_IMAGE006
可以利用二维高斯卷积函数
Figure 2010106149100100002DEST_PATH_IMAGE007
从已知图像
Figure 435873DEST_PATH_IMAGE003
中得到：
Figure 574731DEST_PATH_IMAGE008
   (2)
其中，
Figure 2010106149100100002DEST_PATH_IMAGE009
代表了卷积运算；
Figure 469743DEST_PATH_IMAGE007
表示高斯函数，
Figure 657142DEST_PATH_IMAGE010
；
Figure 2010106149100100002DEST_PATH_IMAGE011
是唯一参数，为概率分布的标准差。不同大小类型的高斯卷积函数是由
Figure 517782DEST_PATH_IMAGE011
的大小决定的，它与滤波器的邻域半径
Figure 266688DEST_PATH_IMAGE012
（
Figure 2010106149100100002DEST_PATH_IMAGE013
）的关系是
Figure 212779DEST_PATH_IMAGE012
越大则
Figure 266186DEST_PATH_IMAGE011
越大，
Figure 43649DEST_PATH_IMAGE012
越小则
Figure 524309DEST_PATH_IMAGE011
越小。
为了便于计算，将(1)式复杂的乘法计算取对数转变为简单的加法计算，从生理学角度来看，对数形式更接近人类视觉***的感知能力以及摄像机对光线的感知能力，即
Figure 252968DEST_PATH_IMAGE014
 (3)
即
Figure 2010106149100100002DEST_PATH_IMAGE015
    (4)
步骤(2)采用平面标定法对***进行标定，得到单应性矩阵
Figure 47749DEST_PATH_IMAGE016
。
设平面模板上的三维点坐标记为
Figure 2010106149100100002DEST_PATH_IMAGE017
，其对应的图像平面上的二维点坐标记为
Figure 679718DEST_PATH_IMAGE018
，相应的齐次坐标分别记为
Figure 2010106149100100002DEST_PATH_IMAGE019
与
Figure 268963DEST_PATH_IMAGE020
，则空间点
Figure 2010106149100100002DEST_PATH_IMAGE021
与图像上投影点
Figure 753427DEST_PATH_IMAGE022
之间的射影关系为：
Figure 2010106149100100002DEST_PATH_IMAGE023
            (5)
其中，是一个任意的非零尺度因子，和分别是摄像机相对于世界坐标系的旋转矩阵和平移向量，
Figure 2010106149100100002DEST_PATH_IMAGE027
是摄像机内参数矩阵，其定义如下
Figure 34738DEST_PATH_IMAGE028
            (6)
其中， 
Figure 2010106149100100002DEST_PATH_IMAGE029
为图像平面的主点坐标，即图像中点的坐标，分别是
Figure 2010106149100100002DEST_PATH_IMAGE031
轴和轴上的尺度因子，
Figure 2010106149100100002DEST_PATH_IMAGE033
是
Figure 717021DEST_PATH_IMAGE031
轴和
Figure 975964DEST_PATH_IMAGE032
轴的不垂直因子。
设平面模板所在的平面是世界坐标系的
Figure 157722DEST_PATH_IMAGE034
平面，故有
Figure 2010106149100100002DEST_PATH_IMAGE035
。设旋转矩阵
Figure 832417DEST_PATH_IMAGE036
，则由式(5)和(6)可得
   (7)
在此仍然使用
Figure 293486DEST_PATH_IMAGE021
和
Figure 723330DEST_PATH_IMAGE038
分别表示平面模板上的三维点坐标与其对应的齐次坐标，由于，此时
Figure 2010106149100100002DEST_PATH_IMAGE039
Figure 613980DEST_PATH_IMAGE040
，则式(5)为：
Figure 2010106149100100002DEST_PATH_IMAGE041
           (8)
其中
Figure 195134DEST_PATH_IMAGE042
，
Figure 2010106149100100002DEST_PATH_IMAGE043
是一个常数。这里的
Figure 467984DEST_PATH_IMAGE016
就表示平面模板与其图像之间的单应性矩阵。
Figure 196905DEST_PATH_IMAGE016
的计算是使实际图像坐标
Figure 213403DEST_PATH_IMAGE044
与根据目标函数（9）计算出的图像坐标
Figure 2010106149100100002DEST_PATH_IMAGE045
之间差最小的过程，其中
Figure 150528DEST_PATH_IMAGE046
表示平面模板中检测到的角点个数。
Figure 2010106149100100002DEST_PATH_IMAGE047
       (9)
步骤(3)利用SIFT对红外图像与可见光图像进行匹配
SIFT特征匹配算法包括两个阶段，第一阶段是SIFT特征向量的生成，即从多幅待匹配图像中提取出对尺度缩放、旋转、亮度变化鲁棒的特征向量；第二阶段是SIFT特征向量的匹配。特征向量的提取在尺度空间上进行，而特征向量的匹配则通过计算两个特征向量间的欧氏距离来确定。主要有七个步骤：
Ⅰ.生成尺度空间
Figure 594279DEST_PATH_IMAGE048
一幅二维图像的尺度空间定义为：
Figure 2010106149100100002DEST_PATH_IMAGE049
        (10)
其中 
Figure 748180DEST_PATH_IMAGE050
是尺度可变的二维高斯函数
Figure 2010106149100100002DEST_PATH_IMAGE051
         (11)
式中
Figure 568368DEST_PATH_IMAGE052
为图像的尺度空间函数，
Figure 357071DEST_PATH_IMAGE002
为输入图像即步骤（1）产生的反射分量图像，
Figure 299619DEST_PATH_IMAGE005
代表图像的像素位置，
Figure 2010106149100100002DEST_PATH_IMAGE053
是二维高斯函数的标准差，也称为尺度空间因子。
为了能够有效的检测尺度空间稳定的关键点，利用一组连续的高斯卷积核与原图像进行卷积，生成一系列尺度空间的图像，相邻尺度的图像相减就得到一组高斯差分DoG（Difference -of-Gaussian）函数
Figure 675237DEST_PATH_IMAGE048
Figure 33537DEST_PATH_IMAGE054
    (12)
其中
Figure 2010106149100100002DEST_PATH_IMAGE055
为常量乘积因子，通常
Figure 443789DEST_PATH_IMAGE056
，其中
Figure 2010106149100100002DEST_PATH_IMAGE057
为每一组尺度空间的层数，决定了每一组尺度空间的层数。DoG算子计算简单，是尺度归一化的LoG（Laplacian-of-Gaussian)）算子的近似。
Ⅱ. 检测空间极值点
为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点进行比较，来查找该像素点是否比它的尺度空间图像和二维图像空间的相邻点大或者小。即在DoG尺度空间中的每个像素点需要跟同层的相邻8个像素点以及它上一层和下一层的尺度对应的9×2个点像素点(共26个)进行比较，得到在尺度空间和二维图像空间都能检测的到极大值或极小值点。
Ⅲ.精确确定极值点位置，确定特征点
将尺度空间函数在极值点处进行泰勒级数展开
Figure DEST_PATH_IMAGE059
                 (13)
将尺度空间函数求导并令其等于零，则可以得到特征点的位置
Figure 593721DEST_PATH_IMAGE060
                    (14)
其中
Figure DEST_PATH_IMAGE061
为尺度空间函数，
Figure 755713DEST_PATH_IMAGE062
为极值点。将（14）式带入（13）式可以得到特征点处的值
Figure DEST_PATH_IMAGE063
                (15)
为了去除低对比度的关键点，计算特征点所对应高斯差分图像
Figure 20472DEST_PATH_IMAGE064
的绝对值，将绝对值小于0.03（即
Figure DEST_PATH_IMAGE065
）的特征点去掉，，以增强匹配稳定性、提高抗噪声能力。
Ⅳ.边缘响应的去除
将上式得到的
Figure 678724DEST_PATH_IMAGE064
按照两个方向求相邻采样点差分得到
Figure 91251DEST_PATH_IMAGE066
，将其组成如下的Hessian矩阵
             (16)
Figure 910619DEST_PATH_IMAGE064
的主曲率和
Figure 365871DEST_PATH_IMAGE067
的特征值成正比，不用求出
Figure 704842DEST_PATH_IMAGE067
的特征值，而仅仅关心特征值比率；令
Figure DEST_PATH_IMAGE069
为最大特征值，
Figure 208636DEST_PATH_IMAGE070
为较小的特征值，则
Figure DEST_PATH_IMAGE071
          (17)
令
Figure 182408DEST_PATH_IMAGE072
，则：
Figure DEST_PATH_IMAGE073
  (18)
Figure 746245DEST_PATH_IMAGE074
的值在两个特征值相等的时候最小，随着的增大而增大，因此，为了检测主曲率是否在某域值下，只需检测
Figure DEST_PATH_IMAGE077
           (19)
当
Figure 611487DEST_PATH_IMAGE076
大于某一阈值（即
Figure 705345DEST_PATH_IMAGE078
）时，则认为该像素点为边缘点，就去除该不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；否则保留该像素点。
Ⅴ. 特征点方向分配
每个特征点的方向由其邻域像素的梯度方向求出：
Figure DEST_PATH_IMAGE079
    (20)
其中，
Figure 440083DEST_PATH_IMAGE080
，分别代表点
Figure 499785DEST_PATH_IMAGE005
处梯度的幅值和方向，
Figure 673278DEST_PATH_IMAGE082
、
Figure DEST_PATH_IMAGE083
、、分别表示点上下左右四个相邻像素点的图像灰度值。
Ⅵ.特征点描述子的生成
图2左部分的中央黑点为当前特征点的位置，每个小格代表特征点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中圈代表高斯加权的范围（越靠近特征点的像素梯度方向信息贡献越大）。以特征点为中心取8×8像素大小的窗口，然后将此邻域均匀的分为2×2的小块，在这些子区域上分别计算8个方向的梯度方向直方图，将四个子区域的每个梯度方向的值进行叠加，即可形成一个种子点，如图2右部分所示。此图中一个特征点由2×2共4个种子点组成，每个种子点有8个方向向量信息，这样就可以构成了一个2x2x8=32维的特征向量，该向量就称为sift特征描述子。
Ⅶ. SIFT特征向量的匹配
当两幅图像的SIFT特征向量生成后，特征向量匹配算法的基本策略就是采用特征点特征向量的欧式距离作为两幅图像中特征点的相似性判定度量。即在匹配时比较与特征点的特征向量最近的与次近的特征点。取一幅图像中的某个特征点，并找出其与另一幅图像中欧式距离最近的前两个特征点，在这两个特征点中，如果最近距离的那个点除以次近的距离小于某个比例阈值，则接受这一对为匹配点，表示该幅图像中的这个特征点与另一幅图像中欧氏距离最近的特征点匹配；否则就不要这对匹配点。降低这个比例阈值（通常选为0.4-0.5），SIFT匹配点数目会减少，但更加稳定。
步骤(4)通过设置适当的阈值，判定匹配点与估计的投影矩阵
Figure 561096DEST_PATH_IMAGE001
是否相一致，利用RANSAC算法消除误匹配点。
该算法的具体实现步骤为
①从具有
Figure 7121DEST_PATH_IMAGE086
（
Figure DEST_PATH_IMAGE087
）对匹配点的两幅图像中随机抽取四对，检测这些点是否共线，如果是共线则需要重新来抽取。
②根据①中抽取的四对匹配点计算投影矩阵
Figure 574107DEST_PATH_IMAGE001
，同时将目标图像归一化到参考图像坐标系中去。投影矩阵
Figure 650647DEST_PATH_IMAGE001
的计算方法如下。
给定两幅图像
Figure 234075DEST_PATH_IMAGE088
、以及它们之间的投影矩阵
Figure 359157DEST_PATH_IMAGE001
的关系为
              (21)
上式可以整理为
Figure DEST_PATH_IMAGE091
                   (22)
其中，
Figure 93337DEST_PATH_IMAGE092
为参考图像上的点，
Figure DEST_PATH_IMAGE093
为目标图像上与
Figure 101744DEST_PATH_IMAGE092
对应的点。
Figure 92834DEST_PATH_IMAGE094
为投影矩阵，是一个包含八个自由度的3×3矩阵。理论上至少选择两平面中的四对匹配点（但同一平面上的三个点必须不能共面），每一个匹配点构成了两个线性方程，总共得到八个独立的线性方程组，利用最小二乘求解这八个方程组就能够估计出
Figure 932614DEST_PATH_IMAGE001
。获得
Figure 413274DEST_PATH_IMAGE001
后再把目标图像上的点归一化到参考图像坐标系中。
③根据待匹配的点对以及投影矩阵
Figure 643398DEST_PATH_IMAGE001
计算
Figure DEST_PATH_IMAGE095
       (23)
其中，
Figure DEST_PATH_IMAGE097
表示第
Figure 936714DEST_PATH_IMAGE097
次的迭代，、
Figure DEST_PATH_IMAGE099
分别为两图中对应同一位置的一对匹配点，当
Figure 157928DEST_PATH_IMAGE100
小于某一设定的阈值（通常取30）时，则最终确定该点为匹配点。
④统计正确的匹配点的个数
Figure DEST_PATH_IMAGE101
并计算出其标准方差
Figure 140928DEST_PATH_IMAGE102
，当
Figure 975285DEST_PATH_IMAGE101
大于最大的迭代次数，或者
Figure 524078DEST_PATH_IMAGE101
等于最大的迭代次数而且
Figure 612120DEST_PATH_IMAGE102
小于允许的最小误差，则更新投影矩阵
Figure DEST_PATH_IMAGE103
并记录所有的正确的匹配点，否则，要重新随机抽取新的匹配点，重复①-③步骤；
⑤计算好样本概率
Figure 816836DEST_PATH_IMAGE104
（一般要求
Figure DEST_PATH_IMAGE105
接近于1，通常取0.95以上的值），更新误匹配率
Figure 687840DEST_PATH_IMAGE106
以及迭代次数
Figure DEST_PATH_IMAGE107
；
⑥在完成一定（通常800次以上）的抽样次数后，选取抽样后获得的最大一致集，利用最小二乘计算最优的拟合模型参数。
步骤(5)利用匹配点获取空间三维信息
设空间任意点
Figure 294402DEST_PATH_IMAGE108
在两个摄像机
Figure DEST_PATH_IMAGE109
与
Figure 927246DEST_PATH_IMAGE110
上的图像点与
Figure 353679DEST_PATH_IMAGE112
已经从两个图像中分别检测出来，即已知
Figure 356271DEST_PATH_IMAGE111
与
Figure 817339DEST_PATH_IMAGE112
为空间同一点的对应点，还假定摄像机
Figure 981604DEST_PATH_IMAGE109
与
Figure 223229DEST_PATH_IMAGE110
己标定，既内外参数已知，它们的单应性矩阵为与
Figure 203080DEST_PATH_IMAGE114
。于是有：
Figure DEST_PATH_IMAGE115
         (24)
         (25)
其中，
Figure DEST_PATH_IMAGE117
与
Figure 994767DEST_PATH_IMAGE118
分别为与
Figure 802503DEST_PATH_IMAGE112
点在各自图像中的图像齐次坐标；
Figure DEST_PATH_IMAGE119
为点
Figure 736699DEST_PATH_IMAGE108
在世界坐标系下的齐次坐标；
Figure 180449DEST_PATH_IMAGE120
分别为第
Figure 396667DEST_PATH_IMAGE097
行和第
Figure DEST_PATH_IMAGE121
列元素。这样消去上式中的
Figure 216856DEST_PATH_IMAGE122
和
Figure DEST_PATH_IMAGE123
，得到关于
Figure 507023DEST_PATH_IMAGE124
的四个线性方程：
   (26)
Figure 549104DEST_PATH_IMAGE126
  (27)
设(26)和(27)式用
Figure DEST_PATH_IMAGE127
来表示
其中
Figure 924722DEST_PATH_IMAGE128
Figure DEST_PATH_IMAGE129
            
Figure 548601DEST_PATH_IMAGE130
则利用最小二乘可得到
Figure DEST_PATH_IMAGE131
         (28)

Claims (1)

1.一种基于可见光和红外摄像机的目标测距方法，其特征在于该方法的具体步骤是：
步骤(1)采用Retinex算法对图像进行增强处理，计算物体的反射分量图像                                               
Figure 2010106149100100001DEST_PATH_IMAGE002
，
Figure 2010106149100100001DEST_PATH_IMAGE004
，其中
Figure 2010106149100100001DEST_PATH_IMAGE006
是由传感器接收到的图像，
Figure 2010106149100100001DEST_PATH_IMAGE008
表示高斯函数；
步骤(2)采用平面标定法对***进行标定，得到单应性矩阵
Figure 2010106149100100001DEST_PATH_IMAGE010
；
步骤(3)利用SIFT特征匹配算法对红外图像与可见光图像进行匹配，具体是：
Ⅰ.生成尺度空间
Figure 2010106149100100001DEST_PATH_IMAGE012
，
Figure DEST_PATH_IMAGE014
，其中，
Figure DEST_PATH_IMAGE018
为常量乘积因子，
Figure DEST_PATH_IMAGE020
为二维高斯函数的标准差；
Ⅱ.检测尺度空间极值点，具体是：将尺度空间中的每个像素点与同层的相邻8个像素点以及该像素点上一层和下一层的尺度对应的18个像素点进行比较，得到在尺度空间和二维图像空间都能检测的到极大值或极小值点；
Ⅲ.确定极值点位置，确定特征点，具体是：
将尺度空间函数在极值点处进行泰勒级数展开
将尺度空间函数求导并令其等于零，则得到特征点的位置
Figure DEST_PATH_IMAGE024
和特征点的值
Figure DEST_PATH_IMAGE026
，
Figure DEST_PATH_IMAGE028
，
Figure DEST_PATH_IMAGE030
；  
Ⅳ.去除边缘响应，具体是：
利用不等式
Figure DEST_PATH_IMAGE032
确认
Figure DEST_PATH_IMAGE034
的取值，当
Figure 69922DEST_PATH_IMAGE034
大于设定阈值时，则认为该像素点为边缘点，去除该边缘点，以增强匹配稳定性、提高抗噪声能力；否则保留该像素点；
其中
Figure DEST_PATH_IMAGE036
，矩阵
Figure DEST_PATH_IMAGE038
是由
Figure 58738DEST_PATH_IMAGE026
按照x方向和y方向求相邻采样点差分得到
Figure DEST_PATH_IMAGE040
而组合而成的Hessian矩阵；
Ⅴ.特征点方向分配，每个特征点的方向由其邻域像素的梯度方向求出，
Figure DEST_PATH_IMAGE042
其中，
Figure DEST_PATH_IMAGE044
，
Figure DEST_PATH_IMAGE046
分别代表点
Figure DEST_PATH_IMAGE048
处梯度的幅值和方向，
Figure DEST_PATH_IMAGE050
、、
Figure DEST_PATH_IMAGE054
、
Figure DEST_PATH_IMAGE056
分别表示点
Figure 672384DEST_PATH_IMAGE048
上下左右四个相邻像素点的图像灰度值；
Ⅵ.生成特征点描述子；
Ⅶ.SIFT特征向量的匹配，具体是：取一幅图像中的特征点，找出其与另一幅图像中欧式距离最近的前两个特征点，在这两个特征点中，如果最近距离的那个点除以次近的距离小于比例阈值，则接受这一对特征点为匹配点，表示该幅图像中的特征点与另一幅图像中欧氏距离最近的特征点匹配；
步骤(4)通过设置阈值，判定匹配点与估计的投影矩阵
Figure DEST_PATH_IMAGE058
是否相一致，利用RANSAC算法消除误匹配点，具体为：
①从具有
Figure DEST_PATH_IMAGE060
对匹配点的两幅图像中随机抽取四对，检测这些匹配点是否共线，如果是共线则需要重新抽取；
②根据①中抽取的四对匹配点计算投影矩阵
Figure 772058DEST_PATH_IMAGE058
，同时将目标图像归一化到参考图像坐标系中；
③根据待匹配的点对以及投影矩阵
Figure 99135DEST_PATH_IMAGE058
计算
Figure DEST_PATH_IMAGE062
，
Figure DEST_PATH_IMAGE064
，当
Figure 772035DEST_PATH_IMAGE062
小于设定的阈值时，则确定该点为匹配点，其中
Figure DEST_PATH_IMAGE066
、
Figure DEST_PATH_IMAGE068
分别为两图中对应同一位置的一对匹配点；
④统计正确的匹配点的个数
Figure DEST_PATH_IMAGE070
并计算其标准方差
Figure DEST_PATH_IMAGE072
，当大于最大的迭代次数，或者
Figure 822348DEST_PATH_IMAGE070
等于最大的迭代次数而且
Figure 941614DEST_PATH_IMAGE072
小于允许的最小误差时，则更新投影矩阵
Figure DEST_PATH_IMAGE074
并记录所有的正确的匹配点，否则重新随机抽取新的匹配点，重复步骤①～③；
⑤计算样本概率
Figure DEST_PATH_IMAGE076
，更新误匹配率以及迭代次数
Figure DEST_PATH_IMAGE080
；
⑥在完成设定的抽样次数后，选取抽样后获得的最大一致集，利用最小二乘计算最优的拟合模型参数；
步骤(5)利用匹配点获取空间三维信息。
CN2010106149100A 2010-12-30 2010-12-30 一种基于可见光和红外摄像机的目标测距方法 Pending CN102176243A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010106149100A CN102176243A (zh) 2010-12-30 2010-12-30 一种基于可见光和红外摄像机的目标测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010106149100A CN102176243A (zh) 2010-12-30 2010-12-30 一种基于可见光和红外摄像机的目标测距方法

Publications (1)

Publication Number Publication Date
CN102176243A true CN102176243A (zh) 2011-09-07

Family

ID=44519420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010106149100A Pending CN102176243A (zh) 2010-12-30 2010-12-30 一种基于可见光和红外摄像机的目标测距方法

Country Status (1)

Country Link
CN (1) CN102176243A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102692236A (zh) * 2012-05-16 2012-09-26 浙江大学 基于rgb-d相机的视觉里程计方法
CN102785667A (zh) * 2012-08-29 2012-11-21 浙江海康集团有限公司 基于双目的车道偏离和前防撞预警集成警示***及方法
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
CN105279522A (zh) * 2015-09-30 2016-01-27 华南理工大学 一种基于sift的场景物体实时配准方法
CN105354854A (zh) * 2015-12-01 2016-02-24 国家电网公司 基于三维数字模型的相机参数动态联合标定方法及***
CN105809654A (zh) * 2014-12-29 2016-07-27 深圳超多维光电子有限公司 目标对象跟踪方法、装置和立体显示设备及方法
CN106184205A (zh) * 2016-07-08 2016-12-07 燕山大学 一种基于双目摄像头的车道偏离检测***及方法
CN106650701A (zh) * 2017-01-05 2017-05-10 华南理工大学 基于双目视觉的室内阴影环境下障碍物检测方法及装置
CN106875357A (zh) * 2017-01-26 2017-06-20 上海正雅齿科科技有限公司 二维码图像处理方法
CN107229934A (zh) * 2017-04-24 2017-10-03 东北大学 基于最小匹配距离与随机采样一致性的错误匹配去除方法
CN108122210A (zh) * 2017-12-19 2018-06-05 长沙全度影像科技有限公司 一种基于Retinex和增强梯度的低照度车牌视频图像增强方法
CN108288289A (zh) * 2018-03-07 2018-07-17 华南理工大学 一种用于可见光定位的led视觉检测方法及其***
CN109255386A (zh) * 2018-09-18 2019-01-22 中国科学院沈阳自动化研究所 基于毫米波雷达和视觉融合的道路行人快速检测方法
CN109871739A (zh) * 2018-12-27 2019-06-11 南京国图信息产业有限公司 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN110728282A (zh) * 2019-10-11 2020-01-24 哈尔滨理工大学 基于动态测量的自适应标定方法
CN111160210A (zh) * 2019-12-24 2020-05-15 天津天地伟业机器人技术有限公司 一种基于视频的水流速检测方法及***
CN111833281A (zh) * 2020-06-08 2020-10-27 上海宇航***工程研究所 面向可重复使用火箭回收的多视觉敏感器数据融合方法
CN111899289A (zh) * 2020-06-19 2020-11-06 北京理工大学 一种基于图像特征信息的红外图像与可见光图像的配准方法
CN111998823A (zh) * 2020-08-26 2020-11-27 吉林大学 基于双目异光源测距装置的目标测距方法
CN112525326A (zh) * 2020-11-21 2021-03-19 西安交通大学 一种无标记结构三维振动的计算机视觉测量方法
CN113155293A (zh) * 2021-04-06 2021-07-23 内蒙古工业大学 一种基于无人机的人体遥感测温监测识别***
CN114608450A (zh) * 2022-03-10 2022-06-10 西安应用光学研究所 机载光电***对远距离海面目标三维尺寸测算方法
CN116342708A (zh) * 2022-12-05 2023-06-27 广西北港大数据科技有限公司 基于单应性变换的毫米波雷达与摄像头自动标定方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 20001130 Zhengyou Zhang, A flexible new technique for camera calibration 第22卷, 第11期 *
《上海交通大学学报》 20070531 刘家朋等 基于单尺度Retinex算法的非线性图像增强算法 第41卷, 第5期 *
《中国优秀硕士论文电子期刊》 20081115 田阿灵 基于SIFT的红外与可见光图像配准方法研究 , 第11期 *
《中国优秀硕士论文电子期刊》 20090715 杨艳伟 基于SIFT特征点的图像拼接技术研究 , 第7期 *
《中国优秀硕士论文电子期刊》 20100815 林学晶 视频图像拼接技术研究 , 第8期 *
《计算机应用》 20080101 张朝伟等 基于sift特征匹配的监控图像自动拼接 第28卷, 第1期 *
《计算机应用》 20100701 曲天伟等 改进的RANSAC算法在图像配准中的应用 第30卷, 第7期 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102692236A (zh) * 2012-05-16 2012-09-26 浙江大学 基于rgb-d相机的视觉里程计方法
CN102785667A (zh) * 2012-08-29 2012-11-21 浙江海康集团有限公司 基于双目的车道偏离和前防撞预警集成警示***及方法
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
CN103198302B (zh) * 2013-04-10 2015-12-02 浙江大学 一种基于双模态数据融合的道路检测方法
CN105809654B (zh) * 2014-12-29 2018-11-23 深圳超多维科技有限公司 目标对象跟踪方法、装置和立体显示设备及方法
CN105809654A (zh) * 2014-12-29 2016-07-27 深圳超多维光电子有限公司 目标对象跟踪方法、装置和立体显示设备及方法
CN105279522A (zh) * 2015-09-30 2016-01-27 华南理工大学 一种基于sift的场景物体实时配准方法
CN105354854A (zh) * 2015-12-01 2016-02-24 国家电网公司 基于三维数字模型的相机参数动态联合标定方法及***
CN105354854B (zh) * 2015-12-01 2018-12-07 国家电网公司 基于三维数字模型的相机参数动态联合标定方法及***
CN106184205A (zh) * 2016-07-08 2016-12-07 燕山大学 一种基于双目摄像头的车道偏离检测***及方法
CN106650701A (zh) * 2017-01-05 2017-05-10 华南理工大学 基于双目视觉的室内阴影环境下障碍物检测方法及装置
CN106650701B (zh) * 2017-01-05 2020-01-14 华南理工大学 基于双目视觉的室内阴影环境下障碍物检测方法及装置
CN106875357A (zh) * 2017-01-26 2017-06-20 上海正雅齿科科技有限公司 二维码图像处理方法
CN107229934A (zh) * 2017-04-24 2017-10-03 东北大学 基于最小匹配距离与随机采样一致性的错误匹配去除方法
CN108122210A (zh) * 2017-12-19 2018-06-05 长沙全度影像科技有限公司 一种基于Retinex和增强梯度的低照度车牌视频图像增强方法
CN108288289B (zh) * 2018-03-07 2023-07-18 华南理工大学 一种用于可见光定位的led视觉检测方法及其***
CN108288289A (zh) * 2018-03-07 2018-07-17 华南理工大学 一种用于可见光定位的led视觉检测方法及其***
CN109255386A (zh) * 2018-09-18 2019-01-22 中国科学院沈阳自动化研究所 基于毫米波雷达和视觉融合的道路行人快速检测方法
CN109871739A (zh) * 2018-12-27 2019-06-11 南京国图信息产业有限公司 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN110728282A (zh) * 2019-10-11 2020-01-24 哈尔滨理工大学 基于动态测量的自适应标定方法
CN111160210A (zh) * 2019-12-24 2020-05-15 天津天地伟业机器人技术有限公司 一种基于视频的水流速检测方法及***
CN111160210B (zh) * 2019-12-24 2023-09-26 天地伟业技术有限公司 一种基于视频的水流速检测方法及***
CN111833281A (zh) * 2020-06-08 2020-10-27 上海宇航***工程研究所 面向可重复使用火箭回收的多视觉敏感器数据融合方法
CN111833281B (zh) * 2020-06-08 2024-04-09 上海宇航***工程研究所 面向可重复使用火箭回收的多视觉敏感器数据融合方法
CN111899289A (zh) * 2020-06-19 2020-11-06 北京理工大学 一种基于图像特征信息的红外图像与可见光图像的配准方法
CN111998823A (zh) * 2020-08-26 2020-11-27 吉林大学 基于双目异光源测距装置的目标测距方法
CN112525326A (zh) * 2020-11-21 2021-03-19 西安交通大学 一种无标记结构三维振动的计算机视觉测量方法
CN113155293A (zh) * 2021-04-06 2021-07-23 内蒙古工业大学 一种基于无人机的人体遥感测温监测识别***
CN114608450A (zh) * 2022-03-10 2022-06-10 西安应用光学研究所 机载光电***对远距离海面目标三维尺寸测算方法
CN114608450B (zh) * 2022-03-10 2023-09-26 西安应用光学研究所 机载光电***对远距离海面目标三维尺寸测算方法
CN116342708A (zh) * 2022-12-05 2023-06-27 广西北港大数据科技有限公司 基于单应性变换的毫米波雷达与摄像头自动标定方法

Similar Documents

Publication Publication Date Title
CN102176243A (zh) 一种基于可见光和红外摄像机的目标测距方法
Pinggera et al. Lost and found: detecting small road hazards for self-driving vehicles
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、***、装置
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
CN104035439B (zh) 用多个激光雷达传感器利用扫描点追踪物体的贝叶斯网络
CN104700414B (zh) 一种基于车载双目相机的前方道路行人快速测距方法
Li et al. Road lane detection with gabor filters
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
Fiala et al. Visual odometry using 3-dimensional video input
CN115049700A (zh) 一种目标检测方法及装置
Pinggera et al. High-performance long range obstacle detection using stereo vision
CN110992424B (zh) 基于双目视觉的定位方法和***
CN104751119A (zh) 基于信息融合的行人快速检测跟踪方法
CN111862673A (zh) 基于顶视图的停车场车辆自定位及地图构建方法
Li et al. Automatic parking slot detection based on around view monitor (AVM) systems
Murmu et al. Relative velocity measurement using low cost single camera-based stereo vision system
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
Li Stereo vision and Lidar based dynamic occupancy grid mapping: Application to scenes analysis for intelligent vehicles
US11087150B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
CN110864670B (zh) 目标障碍物位置的获取方法和***
Zhao et al. Omni-Directional Obstacle Detection for Vehicles Based on Depth Camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110907