CN104573646B - 基于激光雷达和双目相机的车前行人检测方法及*** - Google Patents
基于激光雷达和双目相机的车前行人检测方法及*** Download PDFInfo
- Publication number
- CN104573646B CN104573646B CN201410841099.8A CN201410841099A CN104573646B CN 104573646 B CN104573646 B CN 104573646B CN 201410841099 A CN201410841099 A CN 201410841099A CN 104573646 B CN104573646 B CN 104573646B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- characteristic
- value
- distance
- doubtful
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于汽车主动安全领域,具体公开了一种基于激光雷达和双目相机的车前行人检测方法及***,该方法包括如下步骤:利用激光雷达和双目相机采集车辆前方数据;分别对激光雷达和双目相机采集的数据进行处理,得到行人相对于车辆的距离、方位角及速度值;对得到的行人信息进行卡尔曼滤波器进行修正。本发明综合运用了立体视觉技术和遥感技术,融合激光雷达和双目视觉信息,测量精度高,行人检测正确率高,能有效降低交通事故发生率。
Description
技术领域
本发明属于汽车安全驾驶领域,具体涉及了立体视觉技术和遥感技术,是融合激光雷达和双目相机的信息进行车辆前方行人检测的装置与方法。
背景技术
我国经济的快速发展,人民生活水平的不断提高,交通运输业和汽车工业的高速发展,都促使了我国机动车辆保有量的不断攀升。到2013年底,我国汽车保有量高达1.37亿辆,车辆碰撞事故频发。复杂的交通环境下,如何在车辆行驶过程中保证行人安全以及车辆和驾驶员的安全显得尤为重要。但是,当驾驶员疲劳驾驶或者一时疏忽,甚至有的驾驶员身处危险状况下,因心理承受压力大而不能冷静判断,短时间内难以做出正确决策而错失了最佳避让行人的时机。因此,需要一种能够自动且精确检测车辆前方行人的装置和方法,辅助驾驶员安全驾驶汽车。
已有的车辆前方行人检测装置,大多是基于单目相机,但是视觉信息受环境因素影响较大,如下雨、雾霾;也有部分采用雷达信息来检测行人,但是雷达信息量有限,不能单独用来做行人检测装置;针对单一传感器无法满足信息感知完整性和可靠性的问题,出现了融合多传感器的行人检测方法,但在算法设计及硬件设计上不尽相同,且检测效果不够精确。
发明内容
针对上述现有技术中存在的缺陷与不足,本发明的目的在于,提供一种基于激光雷达和双目相机的车前行人检测方法。
为了实现上述目的,本发明采用如下技术方案予以解决:
一种基于激光雷达和双目相机的车前行人检测方法,具体包括以下步骤:
步骤1,利用三台激光雷达和一台双目相机采集车辆前方数据;
步骤2,分别对激光雷达和双目相机采集的数据进行处理,得到行人相对于车辆的距离、方位角及速度值;具体包括以下步骤:
步骤21,根据激光雷达采集的数据,进行疑似行人目标的确定及行人距离、方位角和速度的计算;
步骤22,将三个激光雷达分别与双目相机进行标定,使得每个激光雷达确定的疑似行人目标分别映射到双目相机采集的左、右图像中;
步骤23、采用SURF算法分别对左、右图像进行处理,得到左、右图像中每个疑似行人目标的特征点,并得到每个特征点对应的特征向量;
步骤24、根据得到的每个特征点对应的特征向量,基于SURF特征的AdaBoost级联分类器检测图像中的行人并标记;
步骤25、利用双目相机采集的图像数据计算得到行人相对于车辆的距离、方位角及速度值。
进一步的,所述步骤21具体包括如下步骤:
(1)采用K均值聚类法对激光雷达每帧中的1081个数据点进行聚类,得到多个疑似行人点簇,疑似行人点簇为激光雷达视野范围内所有障碍物;将疑似行人点簇与行人的物理特征结合确定疑似行人目标;每个疑似行人点簇用式(3)表示:
{(xi,yi,ri)|i=1,2,...,m} (3)
其中,i为每帧中疑似行人点簇的个数;xi、yi为簇中心的坐标;ri为簇中心点(xi,yi)到簇边界的最大距离值,m为每帧中疑似行人点簇的最大个数;
(2)记录疑似行人目标的距离Hi、方位角θi及速度vi信息;
疑似行人目标确定以后,记录其对应的疑似点簇中心相对于激光雷达坐标系的距离、方位角及速度信息,作为疑似行人目标的信息,疑似行人目标信息用式(4)表示:
{(Hi,θi,vi)|i=1,2,...,n} (4)
式中,n为每帧中疑似行人目标的最大个数;n≤m。
进一步的,所述步骤23的具体步骤是:对于每个所述的特征点,选取其邻域范围内20σ*20σ大小的区域,其中,σ为空间中的任一点在尺度空间中的尺度;将区域的主方向旋转到特征点的主方向;将此区域划分为4*4共16个子区域;对每个子区域,计算每个像素点经过加权的Harr小波在X方向和Y方向的响应值dx、dy,然后建立一个四维的特征向量如式(8):
v=(Σdx,Σdy,Σ|dx|,Σ|dy) (8)
将16个子区域的向量分别加入到该特征向量中,形成上述特征点对应的64(4*16)维的特征向量。
进一步的,所述步骤24具体包括如下步骤:
(1)将SURF特征点对应的特征向量输入到二值弱分类器进行训练;
所述二值弱分类器输出1代表存在行人,输出0代表不存在行人,用公式(9)描述:
其中,x为一个检测子窗口,取为20*20,n为检测子窗口中SURF特征点的个数,fj(x)为第j个特征点的特征向量,pj为偏置系数,θj为阈值;
对每个特征点对应的特征向量fj(x),训练弱分类器hj(x,f,p,θ),使得弱分类器hj(x,f,p,θ)对所有训练样本的分类误差最低;
(2)强分类器的生成
使用得到的弱分类器对样本集中的样本图像逐一进行处理,处理的过程中,迭代次数S取值为10;得到强分类器;
(3)级联分类器的构建
将上述的强分类器串联组成级联分类器;级联分类器层数c=15;
(4)行人存在性检测
(4.1)对于每一对经步骤23处理后的左、右图像,按式(16)对该左、右图像进行灰度化处理:
Y=(0.299)R+(0.587)G+(0.114)B (16)
(4.2)对灰度化处理后的图像进行缩放,使得该左、右图像均与训练样本图像大小一致,即20*20;然后使用得到的级联分类器分别对缩放后的左、右图像进行处理,确定每一对左、右图像中是否存在行人,若存在,用矩形框对行人进行标记,并用式(17)记录:
{(ui,vi)|i=1,2,...n} (17)
其中,i为当前帧待检测图像中的行人数目,(ui,vi)为标记行人的矩形框中心坐标。
进一步的,所述步骤(1)中阈值θj的确定具体包括以下步骤:
(1.0)输入训练样本集,包括M个正样本,N个负样本,共Q=M+N个样本,初始化样本权重为1/Q;
(1.1)采用SURF算法分别对正、负样本图像进行处理,得到正、负样本图像中的特征点,并得到特征点对应的64(4*16)维的特征向量fj(x),其中,j=1,...,n,n为检测子窗口中SURF特征点的个数;
对每个特征点对应的特征向量fj(x),利用式(10)计算正、负样本集中每一个特征点对应的训练样本特征值:
(1.2)将所有样本特征值按由大到小的顺序排序;
(1.3)遍历每一个特征值:计算全部行人样本的权重和T+;计算全部非行人样本的权重和T-;计算该特征值前所有特征值对应的行人样本权重和S+;计算该特征值前所有特征值对应的非行人样本权重和S-;
(1.4)选取当前特征值Fj与其前一个特征值Fj-1之间的数作为阈值,该阈值的分类误差为式(11):
θj=min(S++(T--S-),S-+(T+-S+)) (11)
寻找θj值最小的元素作为最优阈值,最优弱分类器训练结束。
进一步的,所述步骤25具体包括如下步骤:
(1)相机标定,得到双目相机的内外参数;
(2)利用改进SURF算法对步骤24中得到标记的SURF特征点进行匹配运算;具体包括如下步骤:
(2.1)快速索引匹配
对于有行人存在的左、右图像中的每个SURF特征点,计算Hessian矩阵的迹;如果左、右图像中有同号的特征点,说明该两个特征点具有相同的对比度;如果异号,说明两个特征点的对比度不同,放弃该两个特征点之间后续的相似性度量;
(2.2)绝对值距离的相似度
对于每两个同号的特征点采用式18所示的绝对值距离计算它们的相似度:
式中,lirk表示左图像中第i个SURF特征点在第r子区域的特征向量中的第k维值;ljrk表示右图像中的第j个SURF特征点在第r子区域的特征向量中的第k维值;N1表示左图像SURF特征点的个数;N2表示右图像SURF特征点的个数;
对于左图像上的每个特征点,计算它到右图像上所有特征点的绝对值距离,得到一个距离集合;通过对距离集合进行比较运算,得到最小绝对值距离和次最小绝对值距离;设定阈值T,当最小绝对值距离和次最小绝对值距离的比值小于T时,认为该最小绝对值距离对应的右图像的特征点与左图像中的当前特征点是匹配的,否则,右图像中没有特征点与左图像中的当前特征点相匹配;阈值T=0.5;
(2.3)基于主方向角度差消除误匹配
计算左、右图像中能够匹配的每一个特征点的主方向,通过式19计算每一对匹配点中两个特征点的主方向的角度差:
Δφ=w1-w2 (19)
其中,w1是左图像的特征点F1对应的主方向,w2是右图像的特征点F2对应的主方向;
图像旋转体现在特征点主方向的旋转,角度差在某一水平值上下波动,误差极小;对于错误的匹配点,其角度差明显区别于整体变化趋势。因此,本发明中,对所有对匹配点以主方向角度差小于T1为准则进行分类,即分别将主方向角度差小于T1的匹配点对划为一类,不小于T1的匹配点对划为另一类;类别中数量较多的一类即为正确的匹配点对,其余类别为错误匹配点对,对错误的匹配点对进行消除。
(3)三维测量,以左相机光心为世界坐标系原点,计算标记行人的矩形框中心的三维坐标值,根据三维坐标值得到行人相对于本车辆距离值、方位角,根据左图像或右图像的前后帧图像中行人距离变化值及方位角变化值,计算得到行人速度。
进一步的,还包括步骤3:基于卡尔曼滤波器的行人相关信息修正,具体包括如下步骤:
步骤31,加权融合:将步骤21得到的疑似行人目标的距离、方位角、速度和步骤24得到行人目标的距离、方位角以及速度进行如下式的加权融合处理,得到加权融合后的距离、方位角及速度;
C=αA+βB (20)
其中,α+β=1,α是激光雷达数据的置信度;β是双目相机数据的置信度,α=0.35,β=0.65;A表示步骤21得到的疑似行人目标的距离、方位角或速度,B表示步骤24得到行人目标的距离、方位角或速度;
步骤32,对步骤31得到的三个行人信息分别采用卡尔曼滤波器处理,得到修正后的行人信息。
进一步的,所述步骤32的具体过程如下:
通过式(23)分别计算得到卡尔曼滤波处理后的三个行人相关信息:
X(k|k-1)=AX(k-1|k-1)+BU(k) (23)
式中,X(k|k-1)是行人信息的预测值;X(k-1|k-1)是上一时刻k-1的某一类行人信息的最优值,该行人信息的最优值的初始值设为0;U(k)为现在状态的控制量,U(k)=0;A和B是***参数,A为单位矩阵;
结合预测值和测量值,通过式25计算得到当前时刻k的行人信息的最优值X(k|k):
X(k|k)=X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1)) (25)
其中,Z(k)为***测量值,即步骤31得到的某一类行人信息;H是测量***的参数,设为单位矩阵;Kg(k)为卡尔曼增益,用式(26)计算得到:
Kg(k)=P(k|k-1)H′/(HP(k|k-1)H′+R) (26)
式中,R是卡尔曼滤波器的测量方程中的测量噪声V(k)对应的协方差矩阵,R=1e-2;H′是H的转置矩阵;P(k|k-1)是X(k|k-1)对应的协方差矩阵,用式(24)计算得到:
P(k|k-1)=AP(k-1|k-1)A′+Q (24)
式中,P(k-1|k-1)是X(k-1|k-1)对应的协方差矩阵,其初始值设为5;A′是A的转置矩阵;Q是状态方程中的过程噪声W(k)对应的协方差矩阵,Q=1e-5;
更新k时刻的X(k|k)的协方差矩阵以保证卡尔曼滤波处理过程循环进行,如式(27)所示:
P(k|k)=(I-Kg(k)H)P(k|k-1) (27)
式中,I是元素都为1的矩阵;
当***进入k+1状态时,P(k|k)即相当于式(24)中的P(k-1|k-1)。
本发明的另一个目的在于,提供一种基于激光雷达和双目相机的车前行人检测***,具体包括相连接的数据采集模块以及行人信息计算模块:
数据采集模块,用于利用三台激光雷达和一台双目相机采集车辆前方数据;
行人信息计算模块,用于分别对激光雷达和双目相机采集的数据进行处理,得到行人相对于车辆的距离、方位角及速度值;该模块具体包括以下相连接的子模块:
疑似行人目标确定子模块,用于根据激光雷达采集的数据,进行疑似行人目标的确定及行人距离、方位角和速度的计算;
行人目标映射子模块,用于将三个激光雷达分别与双目相机进行标定,使得每个激光雷达确定的疑似行人目标分别映射到双目相机采集的左、右图像中;
特征点采集子模块,用于采用SURF算法分别对左、右图像进行处理,得到左、右图像中每个疑似行人目标的特征点,并得到每个特征点对应的特征向量;
行人标记子模块,用于根据得到的每个特征点对应的特征向量,基于SURF特征的AdaBoost级联分类器检测图像中的行人并标记;
行人目标计算子模块,用于利用双目相机采集的图像数据计算得到行人相对于车辆的距离、方位角及速度值。
进一步的,该***还包括与数据采集模块以及行人信息计算模块分别相连接的行人信息修正模块,所述行人信息修正模块包括如下子模块:
加权融合子模块,用于将疑似行人目标确定子模块输出的疑似行人目标的距离、方位角、速度和行人标记子模块输出的行人目标的距离、方位角以及速度进行如下式的加权融合处理,得到加权融合后的距离、方位角及速度;
C=αA+βB (20)
其中,α+β=1,α是激光雷达数据的置信度;β是双目相机数据的置信度,α=0.35,β=0.65;A表示步骤21得到的疑似行人目标的距离、方位角或速度,B表示行人标记子模块输出的行人目标的距离、方位角或速度;
修正子模块,用于对加权融合子模块得到的三个行人信息分别采用卡尔曼滤波器处理,得到修正后的行人信息。
本发明与已有技术相比,具有以下优点:
(1)测量精度高。通过传感器多方位、多层次化放置,以及传感器数据从时间和空间的融合,能够获得准确且完整的数据,为精确计算车辆前方的行人距离、位置以及速度信息提供保证;
(2)融合激光雷达和双目相机的行人检测,其次通过基于SURF的AdaBoost级联分类器进行行人存在性检测,最后基于改进SURF的立体视觉计算行人信息。能够高效且准确的判断行人存在情况。
附图说明
图1是本发明的基于激光雷达和双目相机的车前行人检测方法的流程图。
图2是激光雷达与双目相机的安装示意图。
图3是于SURF特征的AdaBoost级联分类器检测图像中的行人的流程图。
图4是行人车辆位置示意图。
以下结合附图和具体实施方式对本发明进一步解释说明。
具体实施方式
实施例:
本实施例的激光雷达与双目相机的车前行人检测方法,所采用的数据采集装置包括安装在车辆前方左右两处的两个LMS111激光雷达、安装在车辆前方中间处的LMS511激光雷达、安装在车内后视镜背面中间处的Bumblebee2立体相机、与三个激光雷达和相机相连接的千兆网络交换机,以及与千兆网络交换机相连接的服务器,一台发电机以及一台UPS。其中,LMS511远距离激光雷达的激光扫描平面与车底座平面平行,左边的LMS111近距离雷达的激光扫描平面斜向下8°,右边的LMS111近距离雷达的激光扫描平面斜向上8°。双目相机的视野能够覆盖车辆前方横向66°范围以满足车辆前方行人检测需求;服务器、千兆网络交换机和UPS放置于车内后排平台上的机架内,发电机放置于车辆后备箱中。
激光雷达的上中下三个位置设计以及型号选择,使得获取的数据较为完整和准确。双目相机型号及安装位置的选择,都严格考虑到真实交通环境中车辆行驶速度以及行人检测范围,满足车辆行驶中行人检测要求。上述各部件安装角度的选择能够实现多层次扫描以扫描到更多的点,从而能够精确的判断疑似行人目标的存在。
如图1所示,本发明的融合激光雷达与双目相机信息的车辆前方行人检测方法,具体包括以下步骤:
步骤1,利用三台激光雷达和一台双目相机采集车辆前方数据。
已知激光雷达数据采集频率为25Hz,摄像机数据采集频率为48fps,由于频率不同,采集得到的数据不同步。为了解决时间同步问题,引入线程同步策略,以分配三个激光雷达数据采集线程和两个相机数据采集线程,激光雷达数据采集线程接收数据的同时摄像机数据采集线程采集帧图像,实现了激光雷达和双目相机在时间上的同步。
三个激光雷达采集的数据为帧格式,每帧数据包含1081个检测点的距离值;双目相机采集的数据为视频流数据,算法处理对象是视频流中的图像帧。较高的采集速率以及较宽的视野范围,保证了采集数据的完整性和可靠性。
上述时间上和空间上的数据融合是为了使采集到的行人相对于车辆的距离、方位角及速度信息的可靠、准确。
步骤2,分别对激光雷达和双目相机采集的数据进行处理,得到行人相对于车辆的距离、方位角及速度值。包括以下步骤:
步骤21,根据激光雷达采集的数据,进行疑似行人目标的确定及距离、方位角和速度的计算。
(1)采用K均值聚类法对激光雷达每帧中的1081个数据点进行聚类,得到多个疑似行人点簇,疑似行人点簇为激光雷达视野范围内所有障碍物;将疑似行人点簇与行人的物理特征结合确定疑似行人目标;行人物理特征(如人的身高、宽度等特征),本发明中采用身高、身体宽度作为行人物理特征,身高取值范围0.3m~2.5m,身体宽度取值范围为5cm~80cm。每个疑似行人点簇用式(3)表示:
{(xi,yi,ri)|i=1,2,...,m} (3)
其中,i为每帧中疑似行人点簇的个数;xi、yi为簇中心的坐标;ri为簇中心点(xi,yi)到簇边界的最大距离值,m为每帧中疑似行人点簇的最大个数。
(2)记录疑似行人目标的距离Hi、方位角θi及速度vi信息。
疑似行人目标确定以后,记录其对应的疑似点簇中心相对于激光雷达坐标系的距离、方位角及速度信息,作为疑似行人目标的信息,疑似行人目标信息用式(4)表示:
{(Hi,θi,vi)|i=1,2,...,n} (4)
式中,n为每帧中疑似行人目标的最大个数;n≤m;
步骤22,将三个激光雷达分别与双目相机进行标定,使得每个激光雷达确定的疑似行人目标分别映射到双目相机采集的左、右图像中。
下面以一台激光雷达与双目相机的标定方法进行说明:
通过式(1)、式(2)完成激光雷达数据到左右图像二维平面的映射:
[ul vl 1]T=Al[Scosα*cosβ Ssinα H-Scosα*cosβ 1]T (1)
[ur vr 1]T=Ar[Scosα*cosβ Ssinα H-Scosα*cosβ 1]T(2)
其中,ul、vl是左图像的像素坐标,Al是激光雷达坐标系到左摄像机图像像素坐标系的3*4变换矩阵;ur、vr是右图像的像素坐标,Ar是激光雷达坐标系到右摄像机图像像素坐标系的3*4变换矩阵;S是激光雷达到扫描点的距离;H是激光雷达安装高度;α是激光雷达横向扫描角度;β是激光雷达安装俯仰角。矩阵Al和矩阵Ar采用奇异值分解(SVD)确定得到的。
本发明采用改进的SURF算法检测特征点,算法执行效率高且鲁棒性好。
步骤23、采用SURF算法分别对左、右图像进行处理,得到左、右图像中每个疑似行人目标的特征点,对于每个特征点,以每个特征点为中心,选取其邻域范围内20σ*20σ大小的区域,其中,σ为空间中的任一点在尺度空间中的尺度;将区域的主方向旋转到特征点的主方向。将此区域划分为4*4共16个子区域。对每个子区域,计算每个像素点经过加权的Harr小波在X方向和Y方向的响应值dx、dy,然后建立一个四维的特征向量如式(8):
v=(Σdx,Σdy,Σ|dx|,Σ|dy) (8)
将16个子区域的向量分别加入到该特征向量中,形成上述特征点对应的64(4*16)维的特征向量。
在本发明的特征点检测中,Hessian矩阵的行列式计算中的权重系数ω取值为0.9。
步骤24、根据得到的每个特征点对应的特征向量,基于SURF特征的AdaBoost级联分类器检测图像中的行人并标记;
本发明提出一种基于SURF特征的AdaBoost级联分类器进行行人检测。首先将SURF特征点对应的特征向量输入到弱分类器进行训练,将训练后的弱分类器形成强分类器,最后构建级联分类器,离线训练过程完成后,输入待检测图像数据进行行人存在性检测。AdaBoost是一种迭代算法,其核心思想是针对同一个训练集训练不同的弱分类器,然后把这些弱分类器结合起来,构造一个最终的强分类器。
具体如下:
(1)将SURF特征点对应的特征向量输入到弱分类器进行训练;
在本发明中为简化计算,采用二值弱分类器。该弱分类器输出1代表存在行人,输出0代表不存在行人,用公式(9)描述:
其中,x为一个检测子窗口,本发明中取值为20*20,n为检测子窗口中SURF特征点的个数,fj(x)为第j个特征点的特征向量,pj为偏置系数,θj为阈值。
对每个特征点对应的特征向量fj(x),训练弱分类器hj(x,f,p,θ)即确定最优分类阈值,使得弱分类器hj(x,f,p,θ)对所有训练样本的分类误差最低。
对阈值θj的确定具体包括以下步骤:
(1.0)输入训练样本集,包括M个正样本,N个负样本,共Q=M+N个样本,初始化样本权重为1/Q。
输入大小为64*128的正、负样本作为训练样本,其中,正样本图像包含各种姿态、高矮、胖瘦的行人,负样本图像中不包含行人,正样本个数M为1003,负样本个数N为3028。输入的样本图像先要经过样本归一化预处理,即将输入的灰度化样本归一化为20*20像素的样本集,归一化后的样本集能够更快速的训练分类器。
(1.1)采用SURF算法分别对正、负样本图像进行处理,得到正、负样本图像中的特征点,并得到特征点对应的64(4*16)维的特征向量fj(x),其中,j=1,...,n,n为检测子窗口中SURF特征点的个数;(该步骤的具体处理同步骤23)
对每个特征点对应的特征向量fj(x),利用式(10)计算正、负样本集中每一个特征点对应的训练样本特征值:
(1.2)将所有样本特征值按由大到小的顺序排序;
(1.3)遍历每一个特征值:计算全部行人样本的权重和T+;计算全部非行人样本的权重和T-;计算该特征值前所有特征值对应的行人样本权重和S+;计算该特征值前所有特征值对应的非行人样本权重和S-;
(1.4)选取当前特征值Fj与其前一个特征值Fj-1之间的数作为阈值,该阈值的分类误差为式(11):
θj=min(S++(T--S-),S-+(T+-S+)) (11)
寻找θj值最小的元素作为最优阈值,最优弱分类器训练结束。
(2)强分类器的生成
使用得到的弱分类器对样本集中的样本图像逐一进行处理,处理的过程中,迭代次数S取值为10;得到强分类器。
(3)级联分类器的构建
将上述的强分类器串联组成级联分类器;本发明中,级联分类器层数c=15。
(4)行人存在性检测
(4.1)对于每一对经步骤23处理后的左、右图像,按式(16)对该左、右图像进行灰度化处理:
Y=(0.299)R+(0.587)G+(0.114)B (16)
(4.2)对灰度化处理后的图像进行缩放,使得该左、右图像均与训练样本图像大小一致,即20*20;这是由于灰度化处理后的图像中行人位置不确定且大小不确定,为了应用生成的级联分类器检测出行人而进行该处理。然后使用得到的级联分类器分别对缩放后的左、右图像进行处理,确定每一对左、右图像中是否存在行人,若存在,用矩形框对行人进行标记,并用式(17)记录:
{(ui,vi)|i=1,2,...n} (17)
其中,i为当前帧待检测图像中的行人数目,(ui,vi)为标记行人的矩形框中心坐标。
本发明中,单帧图像行人检测处理时间为42ms。强分类器的正确检测率dc≥99.5%,误识率fc≤50%。计算得到该级联分类器的最终行人正检率D≥92.8%,最终行人误检率F≤0.0003%。
步骤25、利用双目相机采集的图像数据计算行人相对于车辆的距离、方位角及速度值。
对于检测出行人的每一对左、右图像,计算出行人的距离、方位角及速度值。具体包括如下步骤:
(1)相机标定,采用张正友标定方法,利用加州理工学院开发Matlab标定工具箱进行标定,得到双目相机的内外参数;
(2)立体匹配,利用改进SURF算法对步骤24中得到的有行人存在的图像中的矩形框内的SURF特征点进行匹配运算。
该步骤中用来匹配的点是步骤24中得到的有行人存在的图像中的矩形框内的SURF特征点。特征点匹配分3步进行,首先,沿用SURF算法自有的快速索引匹配进行初步筛选;然后,选用绝对值距离匹配特征点对快速索引匹配的结果进一步优化;最后,基于主方向的角度差消除误匹配点,获得最终匹配点。
(2.1)快速索引匹配
对于有行人存在的左、右图像中的每个SURF特征点,计算Hessian矩阵的迹;如果左、右图像中有同号的特征点,说明该两个特征点具有相同的对比度;如果异号,说明两个特征点的对比度不同,放弃该两个特征点之间后续的相似性度量。以减少匹配所用时间,且不会影响配准的匹配率。
(2.2)绝对值距离的相似度
对于每两个同号的特征点采用式18所示的绝对值距离计算它们的相似度:
式中,lirk表示左图像中第i个SURF特征点在第r子区域的特征向量中的第k维值;ljrk表示右图像中的第j个SURF特征点在第r子区域的特征向量中的第k维值;N1表示左图像SURF特征点的个数;N2表示右图像SURF特征点的个数。
对于左图像上的每个特征点,计算它到右图像上所有特征点的绝对值距离,得到一个距离集合;通过对距离集合进行比较运算,得到最小绝对值距离和次最小绝对值距离;设定阈值T,当最小绝对值距离和次最小绝对值距离的比值小于T时,认为该最小绝对值距离对应的右图像的特征点与左图像中的当前特征点是匹配的,否则,右图像中没有特征点与左图像中的当前特征点相匹配。阈值设定越小,配准点对越少,但配准更稳定。在本发明中,取阈值T=0.5。
本发明采用绝对值距离代替欧氏距离,提高了算法的效率。对于每一对待判断匹配点,已知采用欧氏距离需要进行64次乘法、63次加法和1次开方,而绝对值距离只需进行63次加法。那么,当有n对待判断匹配点时,绝对值距离较欧氏距离计算量将减少65n次,缩短了运行时间。
(2.3)基于主方向角度差消除误匹配
计算左、右图像中能够匹配的每一个特征点的主方向,通过式19计算每一对匹配点中两个特征点的主方向的角度差:
Δφ=w1-w2 (19)
其中,w1是左图像的特征点F1对应的主方向,w2是右图像的特征点F2对应的主方向;
图像旋转体现在特征点主方向的旋转,角度差在某一水平值上下波动,误差极小;对于错误的匹配点,其角度差明显区别于整体变化趋势。因此,本发明中,对所有对匹配点以主方向角度差小于T1为准则进行分类,即分别将主方向角度差小于T1的匹配点对划为一类,不小于T1的匹配点对划为另一类;类别中数量较多的一类即为正确的匹配点对,其余类别为错误匹配点对,对错误的匹配点对进行消除。
(3)三维测量,以左相机光心为世界坐标系原点,计算标记行人的矩形框中心的三维坐标值,根据三维坐标值得到行人相对于本车辆距离值、方位角,根据左图像或右图像的前后帧图像中行人距离变化值及方位角变化值,计算得到行人速度。
单个传感器测量结果可能受到噪声影响而致使测量存在误差,为了进一步减小误差,采用信息滤波策略能够得到更精确的结果。可选的,在本发明中,可采用卡尔曼滤波器对行人的相关信息进行修正。
步骤3、基于卡尔曼滤波器的行人相关信息修正。
步骤31,加权融合:将步骤21得到的疑似行人目标的距离、方位角、速度和步骤24得到行人目标的距离、方位角以及速度进行如下式的加权融合处理,得到加权融合后的距离、方位角及速度。
C=αA+βB (20)
其中α+β=1,α是激光雷达数据的置信度;β是双目相机数据的置信度。考虑到不同类型传感器数据可信度不同,激光雷达和相机分别设置不等置信度,经试验确定,α=0.35,β=0.65;A表示步骤21得到的疑似行人目标的距离、方位角或速度,B表示步骤24得到行人目标的距离、方位角或速度。
步骤32,可选的,为了进一步修正处理结果,对步骤31得到的三个行人信息分别采用卡尔曼滤波器处理,卡尔曼滤波器处理计算过程如下:
通过式(23)分别计算得到卡尔曼滤波处理后的三个行人相关信息,如:
X(k|k-1)=AX(k-1|k-1)+BU(k) (23)
式中,X(k|k-1)是行人信息的预测值;X(k-1|k-1)是上一时刻k-1的某一类行人信息的最优值,在本发明中将行人信息的最优值的初始值设为0;U(k)为现在状态的控制量,本发明中,U(k)=0;A和B是***参数,在本发明中,设A为单位矩阵。
结合预测值和测量值,通过式25计算得到当前时刻k的行人信息的最优值X(k|k):
X(k|k)=X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1)) (25)
其中,Z(k)为***测量值,即步骤31得到的某一类行人信息;H是测量***的参数,本发明中设为单位矩阵;Kg(k)为卡尔曼增益,用式(26)计算得到:
Kg(k)=P(k|k-1)H′/(HP(k|k-1)H′+R) (26)
式中,R是卡尔曼滤波器的测量方程中的测量噪声V(k)对应的协方差矩阵,在本发明中,R=1e-2;H′是H的转置矩阵;P(k|k-1)是X(k|k-1)对应的协方差矩阵,用式(24)计算得到:
P(k|k-1)=AP(k-1|k-1)A′+Q (24)
式中,P(k-1|k-1)是X(k-1|k-1)对应的协方差矩阵,在本发明中其初始值设为5;A′是A的转置矩阵;Q是状态方程中的过程噪声W(k)对应的协方差矩阵,在本发明中,Q=1e-5。
更新k时刻的X(k|k)的协方差矩阵以保证卡尔曼滤波处理过程循环进行,如式(27)所示:
P(k|k)=(I-Kg(k)H)P(k|k-1) (27)
式中,I是元素都为1的矩阵。
当***进入k+1状态时,P(k|k)即相当于式(24)中的P(k-1|k-1)。
经过本发明中以上步骤的处理,得到修正后的行人相关信息。
根据上述本发明的技术方案得到的行人相关信息,可以制定如下的行人防碰控制策略并加载到汽车的控制单元中。参见图4,是根据本发明的技术方案得到的当前行人相对于车辆的方位示意图。例如,当前的车辆行驶速度V1=80Km/h,当前行人与本车辆距离S=50m,行人行驶速度为V2=4Km/h,行人相对于车辆前进方向夹角α=30°,行人行走方向与车辆行驶方向的垂直方向夹角β=20°;计算得到车辆从当前位置到A点距离值L=S*sinα*tanβ+S*cosα,所需行驶时间tl=L/v1;行人从当前位置到A点距离值M=S·sinα/cosβ,所需行走时间tm=M/v2。可知,当车辆到达A点所需行驶时间与行人到达A点所需行走时间相等时,即时,行人安全会受到威胁。
设驾驶员发现行人并做出反应需要时间为tr,开始刹车到车辆停止时间为tq,车辆警告发出到停止而无响应期间车辆行驶距离为L′。当满足(tr+tq)v1+L′<L时,为安全距离;当满足(tr+tq)v1+L′=L时,为警告距离;当车辆控制单元警告发出而无驾驶员响应即将结束时,为即将进入危险距离。
当控制单元为警告提醒时,触发报警装置警告驾驶员车辆前方存在危险行人,必须立即采取鸣笛、制动或者改变车辆航向角措施;当控制决策为危险信号时,车辆启动自动鸣笛、制动及改变车辆航向角措施。
所述车辆自动鸣笛、制动及改变车辆航向角措施中,鸣笛、刹车制动是启动后就直接执行而无需先验信息的,车辆航向角的改变是根据激光雷达和双目相机采集的数据而实施的。行人相对于车辆的位置已知,车辆行驶方向朝无行人区域改变。
Claims (8)
1.一种基于激光雷达和双目相机的车前行人检测方法,其特征在于,具体包括以下步骤:
步骤1,利用三台激光雷达和一台双目相机采集车辆前方数据;
步骤2,分别对激光雷达和双目相机采集的数据进行处理,得到行人相对于车辆的距离、方位角及速度值;具体包括以下步骤:
步骤21,根据激光雷达采集的数据,进行疑似行人目标的确定及行人距离、方位角和速度的计算;
步骤22,将三个激光雷达分别与双目相机进行标定,使得每个激光雷达确定的疑似行人目标分别映射到双目相机采集的左、右图像中;
步骤23、采用SURF算法分别对左、右图像进行处理,得到左、右图像中每个疑似行人目标的特征点,并得到每个特征点对应的特征向量;
步骤24、根据得到的每个特征点对应的特征向量,基于SURF特征的AdaBoost级联分类器检测图像中的行人并标记;
步骤25、利用双目相机采集的图像数据计算得到行人相对于车辆的距离、方位角及速度值;
所述步骤21具体包括如下步骤:
(1)采用K均值聚类法对激光雷达每帧中的1081个数据点进行聚类,得到多个疑似行人点簇,疑似行人点簇为激光雷达视野范围内所有障碍物;将疑似行人点簇与行人的物理特征结合确定疑似行人目标;每个疑似行人点簇用式(3)表示:
{(xi,yi,ri)|i=1,2,...,m} (3)
其中,i为每帧中疑似行人点簇的个数;xi、yi为簇中心的坐标;ri为簇中心点(xi,yi)到簇边界的最大距离值,m为每帧中疑似行人点簇的最大个数;
(2)记录疑似行人目标的距离Hi、方位角θi及速度vi信息;
疑似行人目标确定以后,记录其对应的疑似点簇中心相对于激光雷达坐标系的距离、方位角及速度信息,作为疑似行人目标的信息,疑似行人目标信息用式(4)表示:
{(Hi,θi,vi)|i=1,2,...,n} (4)
式中,n为每帧中疑似行人目标的最大个数;n≤m。
2.如权利要求1所述的基于激光雷达和双目相机的车前行人检测方法,其特征在于,所述步骤23的具体步骤是:对于每个所述的特征点,选取其邻域范围内20σ*20σ大小的区域,其中,σ为空间中的任一点在尺度空间中的尺度;将区域的主方向旋转到特征点的主方向;将此区域划分为4*4共16个子区域;对每个子区域,计算每个像素点经过加权的Harr小波在X方向和Y方向的响应值dx、dy,然后建立一个四维的特征向量如式(8):
v=(∑dx,∑dy,∑|dx|,∑|dy|) (8)
将16个子区域的向量分别加入到该特征向量中,形成上述特征点对应的64(4*16)维的特征向量。
3.如权利要求1所述的基于激光雷达和双目相机的车前行人检测方法,其特征在于,所述步骤24具体包括如下步骤:
(1)将SURF特征点对应的特征向量输入到二值弱分类器进行训练;
所述二值弱分类器输出1代表存在行人,输出0代表不存在行人,用公式(9)描述:
其中,x为一个检测子窗口,取为20*20,n为检测子窗口中SURF特征点的个数,fj(x)为第j个特征点的特征向量,pj为偏置系数,θj为阈值;
对每个特征点对应的特征向量fj(x),训练弱分类器hj(x,f,p,θ),使得弱分类器hj(x,f,p,θ)对所有训练样本的分类误差最低;
(2)强分类器的生成
使用得到的弱分类器对样本集中的样本图像逐一进行处理,处理的过程中,迭代次数S取值为10;得到强分类器;
(3)级联分类器的构建
将上述的强分类器串联组成级联分类器;级联分类器层数c=15;
(4)行人存在性检测
(4.1)对于每一对经步骤23处理后的左、右图像,按式(16)对该左、右图像进行灰度化处理:
Y=(0.299)R+(0.587)G+(0.114)B (16)
(4.2)对灰度化处理后的图像进行缩放,使得该左、右图像均与训练样本图像大小一致,即20*20;然后使用得到的级联分类器分别对缩放后的左、右图像进行处理,确定每一对左、右图像中是否存在行人,若存在,用矩形框对行人进行标记,并用式(17)记录:
{(ui,vi)|i=1,2,...n} (17)
其中,i为当前帧待检测图像中的行人数目,(ui,vi)为标记行人的矩形框中心坐标。
4.如权利要求3所述的基于激光雷达和双目相机的车前行人检测方法,其特征在于,所述步骤(1)中阈值θj的确定具体包括以下步骤:
(1.0)输入训练样本集,包括M个正样本,N个负样本,共Q=M+N个样本,初始化样本权重为1/Q;
(1.1)采用SURF算法分别对正、负样本图像进行处理,得到正、负样本图像中的特征点,并得到特征点对应的64(4*16)维的特征向量fj(x),其中,j=1,...,n,n为检测子窗口中SURF特征点的个数;
对每个特征点对应的特征向量fj(x),利用式(10)计算正、负样本集中每一个特征点对应的训练样本特征值:
<mrow>
<msub>
<mi>F</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>64</mn>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>16</mn>
</munderover>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mi>&Sigma;</mi>
<mi>d</mi>
<mi>x</mi>
<mo>|</mo>
<mo>+</mo>
<mo>|</mo>
<mi>&Sigma;</mi>
<mi>d</mi>
<mi>y</mi>
<mo>|</mo>
<mo>+</mo>
<mi>&Sigma;</mi>
<mo>|</mo>
<mi>d</mi>
<mi>x</mi>
<mo>|</mo>
<mo>+</mo>
<mi>&Sigma;</mi>
<mo>|</mo>
<mi>d</mi>
<mi>y</mi>
<mo>|</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
(1.2)将所有样本特征值按由大到小的顺序排序;
(1.3)遍历每一个特征值:计算全部行人样本的权重和T+;计算全部非行人样本的权重和T-;计算该特征值前所有特征值对应的行人样本权重和S+;计算该特征值前所有特征值对应的非行人样本权重和S-;
(1.4)选取当前特征值Fj与其前一个特征值Fj-1之间的数作为阈值,该阈值的分类误差为式(11):
θj=min(S++(T--S-),S-+(T+-S+)) (11)
寻找θj值最小的元素作为最优阈值,最优弱分类器训练结束。
5.如权利要求1所述的基于激光雷达和双目相机的车前行人检测方法,其特征在于,所述步骤25具体包括如下步骤:
(1)相机标定,得到双目相机的内外参数;
(2)利用改进SURF算法对步骤24中得到标记的SURF特征点进行匹配运算;具体包括如下步骤:
(2.1)快速索引匹配
对于有行人存在的左、右图像中的每个SURF特征点,计算Hessian矩阵的迹;如果左、右图像中有同号的特征点,说明该两个特征点具有相同的对比度;如果异号,说明两个特征点的对比度不同,放弃该两个特征点之间后续的相似性度量;
(2.2)绝对值距离的相似度
对于每两个同号的特征点采用式18所示的绝对值距离计算它们的相似度:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>L</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>r</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>16</mn>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>4</mn>
</munderover>
<mo>|</mo>
<msub>
<mi>l</mi>
<mrow>
<mi>i</mi>
<mi>r</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>l</mi>
<mrow>
<mi>j</mi>
<mi>r</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>|</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>N</mi>
<mn>1</mn>
</msub>
<mo>;</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>N</mi>
<mn>2</mn>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>18</mn>
<mo>)</mo>
</mrow>
</mrow>
式中,lirk表示左图像中第i个SURF特征点在第r子区域的特征向量中的第k维值;ljrk表示右图像中的第j个SURF特征点在第r子区域的特征向量中的第k维值;N1表示左图像SURF特征点的个数;N2表示右图像SURF特征点的个数;
对于左图像上的每个特征点,计算它到右图像上所有特征点的绝对值距离,得到一个距离集合;通过对距离集合进行比较运算,得到最小绝对值距离和次最小绝对值距离;设定阈值T,当最小绝对值距离和次最小绝对值距离的比值小于T时,认为该最小绝对值距离对应的右图像的特征点与左图像中的当前特征点是匹配的,否则,右图像中没有特征点与左图像中的当前特征点相匹配;阈值T=0.5;
(2.3)基于主方向角度差消除误匹配
计算左、右图像中能够匹配的每一个特征点的主方向,通过式19计算每一对匹配点中两个特征点的主方向的角度差:
Δφ=w1-w2 (19)
其中,w1是左图像的特征点F1对应的主方向,w2是右图像的特征点F2对应的主方向;
图像旋转体现在特征点主方向的旋转,角度差在某一水平值上下波动,误差极小;对于错误的匹配点,其角度差明显区别于整体变化趋势;因此,本发明中,对所有对匹配点以主方向角度差小于T1为准则进行分类,即分别将主方向角度差小于T1的匹配点对划为一类,不小于T1的匹配点对划为另一类;类别中数量较多的一类即为正确的匹配点对,其余类别为错误匹配点对,对错误的匹配点对进行消除;
(3)三维测量,以左相机光心为世界坐标系原点,计算标记行人的矩形框中心的三维坐标值,根据三维坐标值得到行人相对于本车辆距离值、方位角,根据左图像或右图像的前后帧图像中行人距离变化值及方位角变化值,计算得到行人速度。
6.如权利要求1所述的基于激光雷达和双目相机的车前行人检测方法,其特征在于,还包括步骤3:基于卡尔曼滤波器的行人相关信息修正,具体包括如下步骤:
步骤31,加权融合:将步骤21得到的疑似行人目标的距离、方位角、速度和步骤24得到行人目标的距离、方位角以及速度进行如下式的加权融合处理,得到加权融合后的距离、方位角及速度;
C=αA+βB (20)
其中,α+β=1,α是激光雷达数据的置信度;β是双目相机数据的置信度,α=0.35,β=0.65;A表示步骤21得到的疑似行人目标的距离、方位角或速度,B表示步骤24得到行人目标的距离、方位角或速度;
步骤32,对步骤31得到的三个行人信息分别采用卡尔曼滤波器处理,得到修正后的行人信息。
7.如权利要求6所述的基于激光雷达和双目相机的车前行人检测方法,其特征在于,所述步骤32的具体过程如下:
通过式(23)分别计算得到卡尔曼滤波处理后的三个行人相关信息:
X(k|k-1)=AX(k-1|k-1)+BU(k) (23)
式中,X(k|k-1)是行人信息的预测值;X(k-1|k-1)是上一时刻k-1的某一类行人信息的最优值,该行人信息的最优值的初始值设为0;U(k)为现在状态的控制量,U(k)=0;A和B是***参数,A为单位矩阵;
结合预测值和测量值,通过式25计算得到当前时刻k的行人信息的最优值X(k|k):
X(k|k)=X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1)) (25)
其中,Z(k)为***测量值,即步骤31得到的某一类行人信息;H是测量***的参数,设为单位矩阵;Kg(k)为卡尔曼增益,用式(26)计算得到:
Kg(k)=P(k|k-1)H′/(HP(k|k-1)H′+R) (26)
式中,R是卡尔曼滤波器的测量方程中的测量噪声V(k)对应的协方差矩阵,R=1e-2;H′是H的转置矩阵;P(k|k-1)是X(k|k-1)对应的协方差矩阵,用式(24)计算得到:
P(k|k-1)=AP(k-1|k-1|)A′+Q (24)
式中,P(k-1|k-1)是X(k-1|k-1)对应的协方差矩阵,其初始值设为5;A′是A的转置矩阵;Q是状态方程中的过程噪声W(k)对应的协方差矩阵,Q=1e-5;
更新k时刻的X(k|k)的协方差矩阵以保证卡尔曼滤波处理过程循环进行,如式(27)所示:
P(k|k)=(I-Kg(k)H)P(k|k-1) (27)
式中,I是元素都为1的矩阵;
当***进入k+1状态时,P(k|k)即相当于式(24)中的P(k-1|k-1)。
8.一种基于激光雷达和双目相机的车前行人检测***,其特征在于,具体包括相连接的数据采集模块以及行人信息计算模块:
数据采集模块,用于利用三台激光雷达和一台双目相机采集车辆前方数据;
行人信息计算模块,用于分别对激光雷达和双目相机采集的数据进行处理,得到行人相对于车辆的距离、方位角及速度值;该模块具体包括以下相连接的子模块:
疑似行人目标确定子模块,用于根据激光雷达采集的数据,进行疑似行人目标的确定及行人距离、方位角和速度的计算;
行人目标映射子模块,用于将三个激光雷达分别与双目相机进行标定,使得每个激光雷达确定的疑似行人目标分别映射到双目相机采集的左、右图像中;
特征点采集子模块,用于采用SURF算法分别对左、右图像进行处理,得到左、右图像中每个疑似行人目标的特征点,并得到每个特征点对应的特征向量;
行人标记子模块,用于根据得到的每个特征点对应的特征向量,基于SURF特征的AdaBoost级联分类器检测图像中的行人并标记;
行人目标计算子模块,用于利用双目相机采集的图像数据计算得到行人相对于车辆的距离、方位角及速度值;
此外,还包括与数据采集模块以及行人信息计算模块分别相连接的行人信息修正模块,所述行人信息修正模块包括如下子模块:
加权融合子模块,用于将疑似行人目标确定子模块输出的疑似行人目标的距离、方位角、速度和行人标记子模块输出的行人目标的距离、方位角以及速度进行如下式的加权融合处理,得到加权融合后的距离、方位角及速度;
C=αA+βB (20)
其中,α+β=1,α是激光雷达数据的置信度;β是双目相机数据的置信度,α=0.35,β=0.65;A表示步骤21得到的疑似行人目标的距离、方位角或速度,B表示行人标记子模块输出的行人目标的距离、方位角或速度;
修正子模块,用于对加权融合子模块得到的三个行人信息分别采用卡尔曼滤波器处理,得到修正后的行人信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410841099.8A CN104573646B (zh) | 2014-12-29 | 2014-12-29 | 基于激光雷达和双目相机的车前行人检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410841099.8A CN104573646B (zh) | 2014-12-29 | 2014-12-29 | 基于激光雷达和双目相机的车前行人检测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104573646A CN104573646A (zh) | 2015-04-29 |
CN104573646B true CN104573646B (zh) | 2017-12-12 |
Family
ID=53089668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410841099.8A Active CN104573646B (zh) | 2014-12-29 | 2014-12-29 | 基于激光雷达和双目相机的车前行人检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104573646B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110599546A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种获取三维空间数据的方法、***、装置和存储介质 |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104914863B (zh) * | 2015-05-13 | 2017-07-07 | 北京理工大学 | 一种一体式无人运动平台环境理解***及其工作方法 |
CN105093235B (zh) * | 2015-08-18 | 2018-10-09 | 北京控制工程研究所 | 一种同步扫描交会测量融合成像*** |
CN105607075A (zh) * | 2015-09-08 | 2016-05-25 | 北京铁路局北京科学技术研究所 | 道路安全的监测方法和装置 |
WO2017057058A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN105512641B (zh) * | 2015-12-31 | 2019-02-19 | 哈尔滨工业大学 | 一种标定雨雪状态下视频中的动态行人及车辆的方法 |
CN105741275B (zh) * | 2016-01-26 | 2018-07-17 | 浙江捷尚视觉科技股份有限公司 | 一种基于固定相机自动标定的人车目标特征提取方法 |
CN105550675B (zh) * | 2016-02-02 | 2019-02-22 | 天津大学 | 一种基于优化聚合积分通道的双目行人检测方法 |
WO2017161523A1 (zh) * | 2016-03-23 | 2017-09-28 | 华为技术有限公司 | 一种终端的拍照对焦方法、装置及设备 |
CN105678346B (zh) * | 2016-04-01 | 2018-12-04 | 上海博康智能信息技术有限公司 | 一种基于空间聚类的目标匹配检索方法 |
CN105866782B (zh) * | 2016-04-04 | 2018-08-17 | 上海大学 | 一种基于激光雷达的运动目标检测***及方法 |
CN105866779A (zh) * | 2016-04-06 | 2016-08-17 | 浙江大学 | 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法 |
CN106428000B (zh) * | 2016-09-07 | 2018-12-21 | 清华大学 | 一种车辆速度控制装置和方法 |
CN106446832B (zh) * | 2016-09-27 | 2020-01-10 | 成都快眼科技有限公司 | 一种基于视频的实时检测行人的方法 |
US10222472B2 (en) * | 2016-09-30 | 2019-03-05 | Veoneer Us, Inc. | System and method for detecting heading and velocity of a target object |
CN106803262A (zh) * | 2016-12-21 | 2017-06-06 | 上海交通大学 | 利用双目视觉自主解算汽车速度的方法 |
CN106846908B (zh) * | 2016-12-27 | 2020-08-07 | 东软集团股份有限公司 | 道路的危险判断方法和装置 |
CN106859929B (zh) * | 2017-01-25 | 2019-11-22 | 上海集成电路研发中心有限公司 | 一种基于双目视觉的多功能导盲仪 |
US10139833B1 (en) * | 2017-05-17 | 2018-11-27 | GM Global Technology Operations LLC | Six-dimensional point cloud system for a vehicle |
CN108700665A (zh) * | 2017-06-01 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 一种基于激光雷达的检测方法、装置及探测设备 |
EP3438776B1 (en) * | 2017-08-04 | 2022-09-07 | Bayerische Motoren Werke Aktiengesellschaft | Method, apparatus and computer program for a vehicle |
CN107390703A (zh) * | 2017-09-12 | 2017-11-24 | 北京创享高科科技有限公司 | 一种智能化导盲机器人及其导盲方法 |
CN107729843B (zh) * | 2017-10-18 | 2020-02-21 | 中国科学院沈阳自动化研究所 | 基于雷达与视觉信息融合的低地板有轨电车行人识别方法 |
CN108399643A (zh) * | 2018-03-15 | 2018-08-14 | 南京大学 | 一种激光雷达和相机间的外参标定***和方法 |
CN108828606B (zh) * | 2018-03-22 | 2019-04-30 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和双目可见光相机联合测量方法 |
CN108594244B (zh) * | 2018-04-28 | 2021-05-11 | 吉林大学 | 基于立体视觉和激光雷达的障碍物识别迁移学习方法 |
CN108734124A (zh) * | 2018-05-18 | 2018-11-02 | 四川国软科技发展有限责任公司 | 一种激光雷达动态行人检测方法 |
CN109102537B (zh) * | 2018-06-25 | 2020-03-20 | 中德人工智能研究院有限公司 | 一种二维激光雷达和球幕相机结合的三维建模方法和*** |
CN108961313B (zh) * | 2018-06-29 | 2021-06-29 | 大连民族大学 | 二维世界坐标系的俯视行人风险量化方法 |
CN109059863B (zh) * | 2018-06-29 | 2020-09-22 | 大连民族大学 | 将平视行人轨迹点向量映射至二维世界坐标系的方法 |
CN109147388B (zh) * | 2018-08-16 | 2020-07-31 | 大连民族大学 | 判断道路行人为吸力关系的方法及*** |
CN109471128B (zh) * | 2018-08-30 | 2022-11-22 | 福瑞泰克智能***有限公司 | 一种正样本制作方法及装置 |
CN111060911A (zh) * | 2018-10-16 | 2020-04-24 | 天津所托瑞安汽车科技有限公司 | 一种基于场景分析的车辆防碰撞识别方法 |
CN109931940B (zh) * | 2019-01-22 | 2022-04-19 | 九天创新(广东)智能科技有限公司 | 一种基于单目视觉的机器人定位置信度评估方法 |
CN109885056A (zh) * | 2019-03-07 | 2019-06-14 | 格陆博科技有限公司 | 一种基于单目摄像头和毫米波雷达融合的多场景挑选方法 |
CN110007313A (zh) * | 2019-03-08 | 2019-07-12 | 中国科学院深圳先进技术研究院 | 基于无人机的障碍物检测方法及装置 |
CN110008891B (zh) * | 2019-03-29 | 2022-07-08 | 厦门金龙旅行车有限公司 | 一种行人检测定位方法、装置、车载计算设备及存储介质 |
CN112149458A (zh) * | 2019-06-27 | 2020-12-29 | 商汤集团有限公司 | 障碍物检测方法、智能驾驶控制方法、装置、介质及设备 |
CN110414396B (zh) * | 2019-07-19 | 2021-07-16 | 中国人民解放军海军工程大学 | 一种基于深度学习的无人艇感知融合算法 |
CN112257485A (zh) * | 2019-07-22 | 2021-01-22 | 北京双髻鲨科技有限公司 | 一种对象检测的方法、装置、存储介质及电子设备 |
CN110794867B (zh) | 2019-10-18 | 2020-10-30 | 合肥工业大学 | 通信干扰下无人机编队信息交互拓扑智能决策方法和装置 |
CN110658827B (zh) * | 2019-10-25 | 2020-06-23 | 嘉应学院 | 一种基于物联网的运输车自动引导***及其方法 |
CN111028544A (zh) * | 2019-12-06 | 2020-04-17 | 无锡物联网创新中心有限公司 | 一种v2v技术和车载多传感器融合的行人预警*** |
CN111060904B (zh) * | 2019-12-25 | 2022-03-15 | 中国汽车技术研究中心有限公司 | 一种基于毫米波与视觉融合感知的盲区监测方法 |
CN111290383B (zh) * | 2020-02-13 | 2023-09-19 | 山东汇贸电子口岸有限公司 | 控制移动机器人移动的方法、装置及*** |
CN111323767B (zh) * | 2020-03-12 | 2023-08-08 | 武汉理工大学 | 一种夜间无人车障碍物检测***与方法 |
CN111427355B (zh) * | 2020-04-13 | 2023-05-02 | 京东科技信息技术有限公司 | 障碍物数据处理方法、装置、设备及存储介质 |
CN112101374B (zh) * | 2020-08-01 | 2022-05-24 | 西南交通大学 | 基于surf特征检测和isodata聚类算法的无人机障碍物检测方法 |
CN112233188B (zh) * | 2020-10-26 | 2024-03-12 | 南昌智能新能源汽车研究院 | 一种激光雷达和全景相机的数据融合***的标定方法 |
CN112116031B (zh) * | 2020-10-29 | 2024-02-09 | 重庆长安汽车股份有限公司 | 基于路侧设备的目标融合方法、***、车辆及存储介质 |
CN112489125A (zh) * | 2020-12-07 | 2021-03-12 | 上海驭矩信息科技有限公司 | 一种堆场行人自动检测方法及装置 |
CN113298141B (zh) * | 2021-05-24 | 2023-09-15 | 北京环境特性研究所 | 基于多源信息融合的探测方法、装置及存储介质 |
CN113747119A (zh) * | 2021-07-30 | 2021-12-03 | 的卢技术有限公司 | 一种远程查看车辆周围环境的方法及*** |
CN113679139A (zh) * | 2021-09-26 | 2021-11-23 | 深圳市众鸿科技股份有限公司 | 一种智能头盔用基于深度学习的语音识别***及方法 |
CN114295858B (zh) * | 2021-12-31 | 2023-09-26 | 江苏集萃智能光电***研究所有限公司 | 基于多源数据融合的列车车速采集与相机触发方法及装置 |
CN115586511B (zh) * | 2022-11-25 | 2023-03-03 | 唐山百川工业服务有限公司 | 一种基于阵列立柱的激光雷达二维定位方法 |
CN115690261B (zh) * | 2022-12-29 | 2023-04-14 | 安徽蔚来智驾科技有限公司 | 基于多传感器融合的车位建图方法、车辆及存储介质 |
CN117315921A (zh) * | 2023-10-25 | 2023-12-29 | 招商局检测车辆技术研究院有限公司 | 一种基于融合感知的斑马线预警方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130058286A (ko) * | 2011-11-25 | 2013-06-04 | 한국전자통신연구원 | 보행자 검출기의 보행자 검출 방법 |
CN103455826A (zh) * | 2013-09-08 | 2013-12-18 | 西安电子科技大学 | 基于快速鲁棒性特征的高效匹配核人体检测方法 |
CN103455144A (zh) * | 2013-08-22 | 2013-12-18 | 深圳先进技术研究院 | 车载人机交互***及方法 |
CN103905733A (zh) * | 2014-04-02 | 2014-07-02 | 哈尔滨工业大学深圳研究生院 | 一种单目摄像头对人脸实时跟踪的方法及*** |
CN103942541A (zh) * | 2014-04-11 | 2014-07-23 | 浙江大学 | 一种基于车载视觉的盲区内电动车自动检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8447139B2 (en) * | 2010-04-13 | 2013-05-21 | International Business Machines Corporation | Object recognition using Haar features and histograms of oriented gradients |
-
2014
- 2014-12-29 CN CN201410841099.8A patent/CN104573646B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130058286A (ko) * | 2011-11-25 | 2013-06-04 | 한국전자통신연구원 | 보행자 검출기의 보행자 검출 방법 |
CN103455144A (zh) * | 2013-08-22 | 2013-12-18 | 深圳先进技术研究院 | 车载人机交互***及方法 |
CN103455826A (zh) * | 2013-09-08 | 2013-12-18 | 西安电子科技大学 | 基于快速鲁棒性特征的高效匹配核人体检测方法 |
CN103905733A (zh) * | 2014-04-02 | 2014-07-02 | 哈尔滨工业大学深圳研究生院 | 一种单目摄像头对人脸实时跟踪的方法及*** |
CN103942541A (zh) * | 2014-04-11 | 2014-07-23 | 浙江大学 | 一种基于车载视觉的盲区内电动车自动检测方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110599546A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种获取三维空间数据的方法、***、装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104573646A (zh) | 2015-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104573646B (zh) | 基于激光雷达和双目相机的车前行人检测方法及*** | |
CN107463890B (zh) | 一种基于单目前视相机的前车检测与跟踪方法 | |
CN107031623B (zh) | 一种基于车载盲区相机的道路预警方法 | |
CN105260712B (zh) | 一种车辆前方行人检测方法及*** | |
US8452103B2 (en) | Scene matching reference data generation system and position measurement system | |
CN110487562A (zh) | 一种用于无人驾驶的车道保持能力检测***及方法 | |
CN109460709A (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
CN108596058A (zh) | 基于计算机视觉的行车障碍物测距方法 | |
CN108243623A (zh) | 基于双目立体视觉的汽车防碰撞预警方法和*** | |
CN105892471A (zh) | 汽车自动驾驶方法和装置 | |
CN105574552A (zh) | 一种基于单目视觉的车辆测距与碰撞预警方法 | |
CN112700470A (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
CN108645375B (zh) | 一种用于车载双目***快速车辆测距优化方法 | |
CN109919074A (zh) | 一种基于视觉感知技术的车辆感知方法及装置 | |
US9870513B2 (en) | Method and device for detecting objects from depth-resolved image data | |
CN106250816A (zh) | 一种基于双摄像头的车道线识别方法及*** | |
US10984263B2 (en) | Detection and validation of objects from sequential images of a camera by using homographies | |
CN109633621A (zh) | 一种车载环境感知***数据处理方法 | |
CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及*** | |
US10635917B1 (en) | Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition | |
CN108108680A (zh) | 一种基于双目视觉的后方车辆识别与测距方法 | |
CN107031661A (zh) | 一种基于盲区相机输入的变道预警方法及*** | |
CN108021899A (zh) | 基于双目相机的车载智能前车防撞预警方法 | |
CN107796373A (zh) | 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 | |
US10108866B2 (en) | Method and system for robust curb and bump detection from front or rear monocular cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |