CN109272536B - 一种基于Kalman滤波的道线灭点跟踪方法 - Google Patents

一种基于Kalman滤波的道线灭点跟踪方法 Download PDF

Info

Publication number
CN109272536B
CN109272536B CN201811110435.6A CN201811110435A CN109272536B CN 109272536 B CN109272536 B CN 109272536B CN 201811110435 A CN201811110435 A CN 201811110435A CN 109272536 B CN109272536 B CN 109272536B
Authority
CN
China
Prior art keywords
line
sub
vanishing point
point
intersection point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811110435.6A
Other languages
English (en)
Other versions
CN109272536A (zh
Inventor
陈卫刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201811110435.6A priority Critical patent/CN109272536B/zh
Publication of CN109272536A publication Critical patent/CN109272536A/zh
Application granted granted Critical
Publication of CN109272536B publication Critical patent/CN109272536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Kalman滤波的道线灭点跟踪方法，属于图像处理领域。本发明以车载摄像机采集的图像序列为输入，检测图像中的直线线段，以机器学习的方法排除不包含或包含较少道线块的线段，从而达到了真正由道线边缘直线确定道线灭点的目的。相对于现有技术而言，本发明能够减少视域中出现的各种干扰物体对道线灭点估计精度的影响。

Description

一种基于Kalman滤波的道线灭点跟踪方法
技术领域
本发明涉及图像处理领域，特别涉及一种基于Kalman滤波的道线灭点跟踪方法。
背景技术
高级驾驶辅助***(ADAS)利用安装在车上的各种传感器，在汽车行驶过程中感应周围的环境，收集数据，进行静态和动态物体的辨识、侦测与追踪，预先让驾驶者察觉到可能发生的危险，从而有效增加汽车驾驶的舒适性和安全性。在由ADAS***中装备的摄像机所采集的图像中，路面上并行的道线将汇聚于图像中的一点，即灭点。对道线检测、道线偏离预警、前车检测等应用而言，灭点在图像中的位置是非常重要的输入信息。
中国专利201610492617.9公布了一种基于地平线搜索的灭点标定方法，需要定义多个地平线位置模板，以验证的形式确定地平线所在位置；中国专利201710651702.X公布了一种以视频为输入构建行堆叠图像，在堆叠图像中搜索极大值，由极大值位置确定道线，由道线的交点确定灭点的方法。除了道线标记之外，ADAS***的摄像机所观察的视域中经常出现各式车辆、车辆投射的阴影、车道分隔护栏等物体，由这些物体的边缘所确定的直线所形成的交点与道线灭点通常存在较大的偏差，以这些交点估计灭点将严重影响灭点估计的精度。
发明内容
本发明提供了一种基于Kalman滤波的道线灭点跟踪方法，所提供的技术以车载摄像机采集的图像序列为输入，检测图像中的直线线段，以机器学习的方法排除不包含或包含较少道线块的线段，从而达到真正由道线边缘直线确定道线灭点的目的；将道线灭点坐标建模成离散动态***随时间变化的状态，以Kalman滤波算法跟踪道线灭点。
本发明具体采用的技术方案如下：
一种基于Kalman滤波的道线灭点跟踪方法，该方法包括以下步骤：
步骤一:对输入的图像检测边缘像素，由边缘像素以Hough变换算法检测线段；
步骤二:对检测所得的线段，以线段上的点为锚点，以多个尺度和偏移提取图像块，以预先训练的分类器识别提取的图像块是否为道线块；
步骤三:对线段上有图像块被识别为道线块的点的数目进行计数，若该数目大于预设的阈值则将对应的线段加入候选线段集合，且计算对应该线段的权值等于有图像块被识别为道线块的点的数目除以线段的长度；
步骤四:延伸候选线段集合中的每条线段成为直线，对非平行直线，计算两两直线之间的交点，以交点的二维坐标为样本，计算所有样本的加权平均值和协方差矩阵；
步骤五:设当前帧为第t帧，根据步骤一到步骤四计算所得的当前帧的交点坐标样本的加权平均值和协方差，及第0帧到第t-1帧持续跟踪的道线灭点，以Kalman滤波算法估计道线灭点，输出估计所得的灭点作为第t帧的跟踪结果。
上述技术方案中的各步骤，可采用如下具体方式实现。
步骤二中所述的以线段上的点为锚点，以多个尺度和偏移提取图像块，以预先训练的分类器识别提取的图像块是否为道线块，包括：
设(X,Y)为线段上的点，以该点为锚点所提取的图像块为I(X-δX,Y-δY,W/s,H/s)，代表以(X-δX,Y-δY)为左上角坐标，W/s和H/s为宽和高的一个矩形图像区域，其中W和H分别是预设的基准窗口宽和高，δX和δY分别为水平和垂直方向的偏移，s是预设的尺度系数；
用于识别所提取的图像块是否为道线块的分类器是一个级联分类器，其中的每一级是一个由若干个弱分类器组合而成的强分类器；
每个弱分类器对应一个特征，按以下公式计算：
Figure BDA0001808950100000021
其中x是待检测的图像块，p＝±1，用于控制不等号方向，θ为阈值，f是特征值计算函数；
在训练过程中，按下式计算各个待选弱分类器的加权误分损失函数，
εt＝minf,p,θ∑iwi|h(xi,f,p,θ)-yi|
其中，xi和yi分别为样本和对应的标记，若xi为正样本，则yi＝+1，否则yi＝-1，h(·)为所述弱分类器，若弱分类器输出值与标记的符号不一致，则意味着误分；选择具有最小误分损失函数值的弱分类器作为最优弱分类器组成强分类器。
所述弱分类器对应的特征可采用Haar-like特征，其计算方法为：首先，取待检测图像块x的一个矩形区域，将该区域划分成2、3或4个相等尺寸的子区域；若划分成2个子区域，则2个子区域可为左右分布或上下分布，特征值为其中一个子区域内的像素值累加和与另一个子区域内的像素值累加和之差；若划分成3个子区域，则3个子区域可为左中右分布或上中下分布，特征值为其中左右或上下两个子区域内的像素值累加和减去中间子区域的像素值累加和乘以2后的差值；若划分成四个子区域，则水平和垂直方向各等分成两个部分，特征值为左上和右下两个子区域的像素值累加和减去右上和左下两个子区域的像素值累加和的差值。
步骤四中所述对非平行直线，计算两两直线之间的交点，以交点的二维坐标为样本，计算所有样本的加权平均值和协方差矩阵，包括：
对任意两条线段Li和Lj，权值分别为ηi和ηj，且延伸线段Li和Lj形成的直线存在交点，则该交点被赋予权值：ηi+ηj；
设交点样本集合为
Figure BDA0001808950100000031
其中(Xk,Yk)为第k个交点的坐标；与交点对应的权值集合为
Figure BDA0001808950100000032
ηk为第k个交点的权值，N为交点样本集合中总的交点样本数目，则交点样本集合中样本的均值为
Figure BDA0001808950100000033
其中
Figure BDA0001808950100000034
Figure BDA0001808950100000035
样本的协方差矩阵为：
Figure BDA0001808950100000036
其中
Figure BDA0001808950100000041
Figure BDA0001808950100000042
步骤五中所述根据步骤一到步骤四计算的当前帧的交点坐标样本的均值和协方差，及第0帧到第t-1帧持续跟踪的道线灭点，以Kalman滤波算法估计道线灭点，包括：
首先，将道线灭点坐标建模成离散动态***随时间变化的状态，记第t帧的灭点为Vt，与前一时刻的灭点Vt-1的关系式为：
Vt＝Vt-1+z
其中，z代表***的过程噪声，符合均值为0，协方差矩阵为Q的正态分布；
其次，由前一时刻的道线灭点Vt-1预测t时刻的灭点，由前一时刻的状态误差协方差矩阵Pt-1和矩阵Q预测t时刻的的状态误差协方差矩阵Pt -：
Figure BDA0001808950100000043
Pt -＝Pt-1+Q
其中，
Figure BDA0001808950100000044
表示估计的t时刻的道线灭点，Q代表所述***的噪声协方差矩阵；
计算Kalman增益，计算公式如下式：
Kt＝Pt -(Pt -+Σ)-1
其中Σ为步骤四所述的样本协方差矩阵；
再次，更新道线灭点，计算公式如下：
Figure BDA0001808950100000045
其中u为步骤四所述的样本加权平均值，
Figure BDA0001808950100000046
为更新后的t时刻道线灭点；
最后，更新t时刻的状态误差协方差矩阵，计算公式如下：
Pt＝(D-Kt)Pt -
其中D为2×2的单位矩阵，Pt为更新后的t时刻状态误差协方差矩阵。
本发明的基于Kalman滤波的道线灭点跟踪方法，以车载摄像机采集的图像序列为输入，检测图像中的直线线段，以机器学习的方法排除不包含或包含较少道线块的线段，从而达到了真正由道线边缘直线确定道线灭点的目的。相对于现有技术而言，本发明能够减少视域中出现的各种干扰物体对道线灭点估计精度的影响。
附图说明
图1为本发明实施例基于Kalman滤波的道线灭点跟踪方法的流程示意图；
图2为Haar-like特征计算示意图；
图3为道线标注和正样本提取示意图；
图4为以Adaboost算法训练分类器的流程示意图。
具体实施方式
本发明提供一种基于Kalman滤波的道线灭点跟踪方法，所提供的技术以车载摄像机采集的图像序列为输入，检测图像中的直线线段，以机器学习的方法排除不包含或包含较少道线块的线段，从而达到真正由道线边缘直线确定道线灭点的目的；将道线灭点坐标建模成离散动态***随时间变化的状态，以Kalman滤波算法跟踪道线灭点。
如图1所示，本发明基于Kalman滤波的道线灭点跟踪方法流程可以包括以下步骤101～105：
步骤101:对输入的图像检测边缘像素，由边缘像素以Hough变换算法检测线段；
步骤102:对检测所得的线段，以线段上的点为锚点，以多个尺度和偏移提取图像块，以预先训练的分类器识别提取的图像块是否为道线块；
步骤103:对线段上有图像块被识别为道线块的点的数目进行计数，若该数目大于预设的阈值则将对应的线段加入候选线段集合，且计算对应该线段的权值等于有图像块被识别为道线块的点的数目除以线段的长度；
步骤104，延伸候选线段集合中的每条线段成为直线，对非平行直线，计算两两直线之间的交点，以交点的二维坐标为样本，计算所有样本的加权平均值和协方差矩阵；
步骤105:设当前帧为第t帧，根据步骤101到步骤104计算所得的第t帧的交点坐标样本的加权平均值和协方差，及第0帧到第t-1帧持续跟踪的道线灭点，以Kalman滤波算法估计道线灭点，输出估计所得灭点作为第t帧的结果。
下面将结合附图描述上述部分步骤在本实施例中的具体做法。
步骤102中对检测所得的线段，以线段上的点为锚点，以多个尺度和偏移提取图像块，以预先训练的分类器识别提取的图像块是否为道线块，具体地，设(X,Y)为线段上的点，以该点为锚点所提取的图像块为I(X-δX,Y-δY,W/s,H/s)，代表以(X-δX,Y-δY)为左上角坐标，W/s和H/s为宽和高的一个矩形图像区域，其中W和H分别是预设的基准窗口宽和高，δX和δY分别为水平和垂直方向的偏移，s是预设的尺度系数，本发明的一个实施例取W＝24，H＝10，δX,δY∈{-8,-4,0,+4,+8}，s∈{0.8,0.9,1.0,1.1,1.25}。
步骤102中以预先训练的分类器识别提取的图像块是否为道线块，所述的分类器是一个级联分类器，其中的每一级是一个由若干个弱分类器组合而成的强分类器，每个弱分类器对应一个特征，按以下公式计算：
Figure BDA0001808950100000061
其中x是待检测的图像块，p＝±1，用于控制不等号方向，θ为阈值，f是特征值计算函数，本发明实施例采用Haar-like特征，参见图2，其计算方法为：首先，取x的一个矩形区域，将该区域划分成2、3或4个相等尺寸的子区域；若划分成2个子区域，则2个子区域可为左右分布或上下分布，特征值为白色子区域内的像素值累加和与黑色子区域内的像素值累加和之差；若划分成3个子区域，则3个子区域可为左中右分布或上中下分布，特征值为其中左右或上下两个白色子区域内的像素值累加和减去中间黑色子区域的像素值累加和乘以2后的差值；若划分成四个子区域，则水平和垂直方向各等分成两个部分，特征值为左上和右下两个白色子区域的像素值累加和减去右上和左下两个黑色子区域的像素值累加和的差值。
本发明实施例用于训练所述分类器的样本集包含正样本和负样本，参照图3，正样本是一个宽与高呈一定比例的矩形图像块，图中L为一条水平直线，直线与道线边缘的交点为A和B，线段AB的长度为w，道线的标记区域近似地占据图像块的中间部分；负样本为不包含道线标记的路面区域图像，正负样本都被缩放到预设的尺寸。
本发明实施例以Adaboost算法训练所述的强分类器，具体地，参照图4，可以包括如下步骤：
步骤401，初始化各个样本的权值，每个正样本的权值为1/2Np，负样本的权值为1/2Nf，其中Np为正样本数目，Nf负样本数目，将待训练的强分类器初始化为包含0个弱分类器；
步骤402，t从1到T迭代，其中T是预设的一个强分类器中允许最多包含的弱分类器数目，每轮迭代挑选一个弱分类器；
步骤403，挑选最优弱分类器，首先，按下式计算各个待选弱分类器的加权误分损失函数，
εt＝minf,p,θ∑iwi|h(xi,f,p,θ)-yi| (2)
其中，xi和yi分别为样本和对应的标记，若xi为正样本，则yi＝+1，否则yi＝-1，h(·)为公式(1)所示的弱分类器，若弱分类器输出值与标记的符号不一致，则意味着误分；其次，选择具有最小误分损失函数值的弱分类器作为最优弱分类器，记作ht；
步骤404，若εt＞0.5，则结束迭代；否则，转步骤405；
步骤405，按下式更新各个样本的权值，
Figure BDA0001808950100000071
其中，当样本xi被正确分类，则对应的ei＝0，否则ei＝1，
Figure BDA0001808950100000072
步骤406，按下式计算当前弱分类器在强分类器中的权值，
Figure BDA0001808950100000073
按弱分类器的权值组合各个弱分类器成为强分类器：
F(x)＝sign(∑tαtht(x)) (5)
步骤407，以当前强分类器对测试样本进行分类，若分类器结果达到预期目标，则结束迭代，输出如公式(5)所示的强分类器；否则，转步骤402。
步骤104中所述延伸候选线段集合中的每个线段成为直线，对非平行直线，计算两两直线之间的交点，以交点的二维坐标为样本，计算所有样本的加权平均值和协方差矩阵，具体地，可包括：
对任意两条线段Li和Lj，权值分别为ηi和ηj，且延伸线段Li和Lj形成的直线相交，则该交点被赋予权值：ηi+ηj；
设交点样本集合为
Figure BDA0001808950100000081
其中(Xk,Yk)为第k个交点的坐标；与交点对应的权值集合为
Figure BDA0001808950100000082
ηk为第k个交点的权值，N为交点样本集合中总的交点样本数目，则交点样本集合中样本的均值为
Figure BDA0001808950100000083
其中
Figure BDA0001808950100000084
Figure BDA0001808950100000085
样本的协方差矩阵为：
Figure BDA0001808950100000086
其中
Figure BDA0001808950100000087
Figure BDA0001808950100000088
步骤105所述，由步骤101到步骤104计算所得的第t帧的交点坐标样本的均值和协方差，及第0帧到第t-1帧持续跟踪的道线灭点，以Kalman滤波算法估计道线灭点，具体地，可包括：
首先，将道线灭点坐标建模成离散动态***随时间变化的状态，记第t帧的灭点为Vt，与前一时刻的灭点Vt-1存在如下的关系：
Vt＝Vt-1+z (6)
其中z代表***的过程噪声，符合均值为0，协方差矩阵为Q的正态分布；
其次，由前一时刻的道线灭点Vt-1预测t时刻的灭点，由前一时刻的状态误差协方差矩阵Pt-1和矩阵Q预测t时刻的的状态误差协方差矩阵Pt -：
Figure BDA0001808950100000091
Pt -＝Pt-1+Q (8)
其中，
Figure BDA0001808950100000092
表示t时刻的道线灭点，Q代表所述***噪声的协方差矩阵；
计算Kalman增益，计算公式如下式：
Kt＝Pt -(Pt -+Σ)-1 (9)
其中Σ为步骤104所述的样本协方差矩阵；
再次，更新道线灭点，计算公式如下：
Figure BDA0001808950100000093
其中u为步骤104所述的样本加权平均值，
Figure BDA0001808950100000094
为更新后的t时刻道线灭点；
最后，更新t时刻的状态误差协方差矩阵，计算公式如下：
Pt＝(D-Kt)Pt - (11)
其中D为2×2的单位矩阵。
经过上述处理流程，即可达到由道线边缘直线准确确定道线灭点的目的。
以上所述仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，凡在本发明的精神和原则之内，所做的任何修改或替换等，都应涵盖在本发明的保护范围内。

Claims (4)

1.一种基于Kalman滤波的道线灭点跟踪方法，其特征在于，该方法包括以下步骤：
步骤一:对输入的图像检测边缘像素，由边缘像素以Hough变换算法检测线段；
步骤二:对检测所得的线段，以线段上的点为锚点，以多个尺度和偏移提取图像块，以预先训练的分类器识别提取的图像块是否为道线块；
步骤三:对线段上有图像块被识别为道线块的点的数目进行计数，若该数目大于预设的阈值则将对应的线段加入候选线段集合，且计算对应该线段的权值等于有图像块被识别为道线块的点的数目除以线段的长度；
步骤四:延伸候选线段集合中的每条线段成为直线，对非平行直线，计算两两直线之间的交点，以交点的二维坐标为样本，计算所有样本的加权平均值和协方差矩阵；
所述对非平行直线，计算两两直线之间的交点，以交点的二维坐标为样本，计算所有样本的加权平均值和协方差矩阵，包括：
对任意两条线段Li和Lj，权值分别为ηi和ηj，且延伸线段Li和Lj形成的直线存在交点，则该交点被赋予权值：ηi+ηj；
设交点样本集合为
Figure FDA0003143408220000011
其中(Xk,Yk)为第k个交点的坐标；与交点对应的权值集合为
Figure FDA0003143408220000012
ηk为第k个交点的权值，N为交点样本集合中总的交点样本数目，则交点样本集合中样本的均值为
Figure FDA0003143408220000013
其中
Figure FDA0003143408220000014
Figure FDA0003143408220000015
样本的协方差矩阵为：
Figure FDA0003143408220000016
其中，
Figure FDA0003143408220000021
Figure FDA0003143408220000022
步骤五:设当前帧为第t帧，根据步骤一到步骤四计算所得的当前帧的交点坐标样本的加权平均值和协方差，及第0帧到第t-1帧持续跟踪的道线灭点，以Kalman滤波算法估计道线灭点，输出估计所得的灭点作为第t帧的跟踪结果。
2.根据权利要求1所述的基于Kalman滤波的道线灭点跟踪方法，其特征在于，步骤二中所述的以线段上的点为锚点，以多个尺度和偏移提取图像块，以预先训练的分类器识别提取的图像块是否为道线块，包括：
设(X,Y)为线段上的点，以该点为锚点所提取的图像块为I(X-δX,Y-δY,W/s,H/s)，代表以(X-δX,Y-δY)为左上角坐标，W/s和H/s为宽和高的一个矩形图像区域，其中W和H分别是预设的基准窗口宽和高，δX和δY分别为水平和垂直方向的偏移，s是预设的尺度系数；
用于识别所提取的图像块是否为道线块的分类器是一个级联分类器，其中的每一级是一个由若干个弱分类器组合而成的强分类器；
每个弱分类器对应一个特征，按以下公式计算：
Figure FDA0003143408220000023
其中x是待检测的图像块，p＝±1，用于控制不等号方向，θ为阈值，f是特征值计算函数；
在训练过程中，按下式计算各个待选弱分类器的加权误分损失函数，
εt＝minf,p,θ∑iwi|h(xi,f,p,θ)-yi|
其中，xi和yi分别为样本和对应的标记，若xi为正样本，则yi＝+1，否则yi＝-1，选择具有最小误分损失函数值的弱分类器作为最优弱分类器组成强分类器，wi为样本i的权值。
3.根据权利要求2所述的基于Kalman滤波的道线灭点跟踪方法，其特征在于，所述弱分类器对应的特征采用Haar-like特征，其计算方法为：首先，取待检测图像块x的一个矩形区域，将该区域划分成2、3或4个相等尺寸的子区域；若划分成2个子区域，则2个子区域可为左右分布或上下分布，特征值为其中一个子区域内的像素值累加和与另一个子区域内的像素值累加和之差；若划分成3个子区域，则3个子区域可为左中右分布或上中下分布，特征值为其中左右或上下两个子区域内的像素值累加和减去中间子区域的像素值累加和乘以2后的差值；若划分成四个子区域，则水平和垂直方向各等分成两个部分，特征值为左上和右下两个子区域的像素值累加和减去右上和左下两个子区域的像素值累加和的差值。
4.根据权利要求1所述的基于Kalman滤波的道线灭点跟踪方法，其特征在于，步骤五中所述根据步骤一到步骤四计算的当前帧的交点坐标样本的均值和协方差，及第0帧到第t-1帧持续跟踪的道线灭点，以Kalman滤波算法估计道线灭点，包括：
首先，将道线灭点坐标建模成离散动态***随时间变化的状态，记第t帧的灭点为Vt，与前一时刻的灭点Vt-1的关系式为：
Vt＝Vt-1+z
其中，z代表***的过程噪声，符合均值为0，协方差矩阵为Q的正态分布；
其次，由前一时刻的道线灭点Vt-1预测t时刻的灭点，由前一时刻的状态误差协方差矩阵Pt-1和矩阵Q预测t时刻的的状态误差协方差矩阵Pt -：
Figure FDA0003143408220000031
Pt -＝Pt-1+Q
其中，
Figure FDA0003143408220000032
表示估计的t时刻的道线灭点，Q代表所述***过程噪声的协方差矩阵；
计算Kalman增益，计算公式如下式：
Kt＝Pt -(Pt -+∑)-1
其中∑为步骤四所述的样本协方差矩阵；
再次，更新道线灭点，计算公式如下：
Figure FDA0003143408220000041
其中u为步骤四所述的样本加权平均值，
Figure FDA0003143408220000042
为更新后的t时刻道线灭点；
最后，更新t时刻的状态误差协方差矩阵，计算公式如下：
Pt＝(D-Kt)Pt -
其中D为2×2的单位矩阵，Pt为更新后的t时刻状态误差协方差矩阵。
CN201811110435.6A 2018-09-21 2018-09-21 一种基于Kalman滤波的道线灭点跟踪方法 Active CN109272536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811110435.6A CN109272536B (zh) 2018-09-21 2018-09-21 一种基于Kalman滤波的道线灭点跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811110435.6A CN109272536B (zh) 2018-09-21 2018-09-21 一种基于Kalman滤波的道线灭点跟踪方法

Publications (2)

Publication Number Publication Date
CN109272536A CN109272536A (zh) 2019-01-25
CN109272536B true CN109272536B (zh) 2021-11-09

Family

ID=65198756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811110435.6A Active CN109272536B (zh) 2018-09-21 2018-09-21 一种基于Kalman滤波的道线灭点跟踪方法

Country Status (1)

Country Link
CN (1) CN109272536B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373063B2 (en) * 2018-12-10 2022-06-28 International Business Machines Corporation System and method for staged ensemble classification
CN111968038B (zh) * 2020-10-23 2021-01-12 网御安全技术（深圳）有限公司 一种图像中消失点快速搜寻方法及其***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366156A (zh) * 2012-04-09 2013-10-23 通用汽车环球科技运作有限责任公司 道路结构检测和跟踪
CN103839264A (zh) * 2014-02-25 2014-06-04 中国科学院自动化研究所 一种车道线的检测方法
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN106228125A (zh) * 2016-07-15 2016-12-14 浙江工商大学 基于集成学习级联分类器的车道线检测方法
CN106529443A (zh) * 2016-11-03 2017-03-22 温州大学 改进霍夫变化检测车道线的方法
CN106529415A (zh) * 2016-10-16 2017-03-22 北海益生源农贸有限责任公司 结合特征和模型的道路检测方法
CN106682586A (zh) * 2016-12-03 2017-05-17 北京联合大学 一种复杂光照条件下基于视觉的实时车道线检测的方法
CN107316331A (zh) * 2017-08-02 2017-11-03 浙江工商大学 针对道路图像的灭点自动标定方法
CN107796373A (zh) * 2017-10-09 2018-03-13 长安大学 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366156A (zh) * 2012-04-09 2013-10-23 通用汽车环球科技运作有限责任公司 道路结构检测和跟踪
CN103839264A (zh) * 2014-02-25 2014-06-04 中国科学院自动化研究所 一种车道线的检测方法
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN106228125A (zh) * 2016-07-15 2016-12-14 浙江工商大学 基于集成学习级联分类器的车道线检测方法
CN106529415A (zh) * 2016-10-16 2017-03-22 北海益生源农贸有限责任公司 结合特征和模型的道路检测方法
CN106529443A (zh) * 2016-11-03 2017-03-22 温州大学 改进霍夫变化检测车道线的方法
CN106682586A (zh) * 2016-12-03 2017-05-17 北京联合大学 一种复杂光照条件下基于视觉的实时车道线检测的方法
CN107316331A (zh) * 2017-08-02 2017-11-03 浙江工商大学 针对道路图像的灭点自动标定方法
CN107796373A (zh) * 2017-10-09 2018-03-13 长安大学 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Fast and Robust Vanishing Point Detection for Unstructured Road Following;Jinjin Shi et al.;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20160430;第17卷(第4期);第970-979页 *
Real-time Rear of Vehicle Detection from a Moving Camera;Qing Xu et al.;《2014 CCDC》;20140714;第4575-4578页 *
单目视觉结构化道路车道线检测和跟踪技术研究;付永春;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120715;第2012年卷(第7期);第I138-2212页 *
基于Android平台的车道线检测技术的实现;陈茜;《中国优秀硕士学位论文全文数据库 信息科技辑》;20131215;第2013年卷(第S2期);第I138-1253页 *
基于机器视觉的行车安全预警***研究与实现;黄惠迪;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150715;第2015年卷(第7期);第I138-1153页 *
基于计算机视觉的前方车辆检测及测距研究;李佳旺;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20180615;第2018年卷(第6期);第C035-92页 *

Also Published As

Publication number Publication date
CN109272536A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
Marzougui et al. A lane tracking method based on progressive probabilistic Hough transform
Yang et al. Robust superpixel tracking
Keller et al. The benefits of dense stereo for pedestrian detection
Kim et al. A Novel On-Road Vehicle Detection Method Using $\pi $ HOG
Alon et al. Off-road path following using region classification and geometric projection constraints
US9898677B1 (en) Object-level grouping and identification for tracking objects in a video
US6845172B2 (en) Road lane marker recognition
Shi et al. Fast and robust vanishing point detection for unstructured road following
US20170032676A1 (en) System for detecting pedestrians by fusing color and depth information
CN102598057A (zh) 自动对象识别、然后根据对象形状进行对象跟踪的方法和***
Tian et al. A two-stage character segmentation method for Chinese license plate
CN109284664B (zh) 驾驶员辅助***和护栏检测方法
CN110458158B (zh) 一种针对盲人辅助阅读的文本检测与识别方法
CN115240130A (zh) 一种行人多目标跟踪方法、装置和计算机可读存储介质
CN106023155B (zh) 基于水平集的在线目标轮廓跟踪方法
Morris et al. Improved vehicle classification in long traffic video by cooperating tracker and classifier modules
CN105654516B (zh) 基于目标显著性的卫星图像对地面弱小运动目标检测方法
JP2012088881A (ja) 人物動作検出装置およびそのプログラム
CN101344922A (zh) 一种人脸检测方法及其装置
CN109272536B (zh) 一种基于Kalman滤波的道线灭点跟踪方法
Spinello et al. Multimodal People Detection and Tracking in Crowded Scenes.
CN110827319B (zh) 一种基于局部敏感直方图改进的Staple目标跟踪方法
CN111832349A (zh) 遗留物错误检测的识别方法、装置及图像处理设备
Ho et al. Intelligent speed bump system with dynamic license plate recognition
Lee et al. A cumulative distribution function of edge direction for road-lane detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant