CN104463842A - 一种基于运动视觉的车祸过程重现方法 - Google Patents

一种基于运动视觉的车祸过程重现方法 Download PDF

Info

Publication number
CN104463842A
CN104463842A CN201410571218.2A CN201410571218A CN104463842A CN 104463842 A CN104463842 A CN 104463842A CN 201410571218 A CN201410571218 A CN 201410571218A CN 104463842 A CN104463842 A CN 104463842A
Authority
CN
China
Prior art keywords
image
vehicle
point
follows
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410571218.2A
Other languages
English (en)
Inventor
张立国
崔利洋
杨芳梅
金梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN201410571218.2A priority Critical patent/CN104463842A/zh
Publication of CN104463842A publication Critical patent/CN104463842A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于运动视觉的车祸过程重现方法,基于运动视觉采用几何图形分割和基于运动动力学的目标跟踪技术实现车辆目标的重建与跟踪。采用分解图像关联矩阵的算法实现图像的匹配,有效的实现了图像匹配,降低算法的计算量。基于运动动力学的目标跟踪算法减少了跟踪目标丢失问题。该技术通过处理交通监控得到的录像资料可以有效重现车辆碰撞的全过程,可对整个过程进行定性和定量的分析。通过运动视觉重建出整体车辆的3D模型,通过目标跟踪技术实现相撞车辆的识别,得到车辆的运动轨迹,能精确、完整的记录事故信息,并重现事故场景。

Description

一种基于运动视觉的车祸过程重现方法
技术领域
本发明涉及视频图像处理领域,尤其是一种基于运动视觉的道路车祸过程的重复再现的方法。
背景技术
随着汽车保有量的增长,道路交通事故已成为世界性的问题,汽车被动安全性也成为汽车最首要的性能。目前,我国对交通事故的处理与认定也是采用传统方法仅限于对目击者的现场调查,对现场进行拍照记录一些零散的信息,对车辆的刹车轨迹进行简单的测量来进行事故的责任认定。这种方法效率低下、耗费人力,责任认定也存在较大的主观性,同时对车祸过程的记录也不够详细、不够直观。另外一种采用电测量的方法对碰撞现场进行模拟能够得到较精确的数据,但是它的造价太高,得到的数据也不够直观,也只是得到部分的实验结果不能应用到越来越多的交通事故认定中。这样事故报告中没有完整而详细的事故信息记录,则给事故再现分析带来困难。
发明内容
本发明目的是提供一种基于运动视觉的车祸过程重现方法,采用几何图形分割和基于运动动力学的目标跟踪技术实现车辆目标的重建与跟踪,通过运动视觉重建出整体车辆的3D模型,利用目标跟踪技术实现相撞车辆的识别,得到车辆的运动轨迹,便于完整地记录事故信息和重现事故过程。
为实现上述目的,采用了以下技术方案:本发明所述重现方法的步骤如下:
(1)从路况监控视频中提取图像序列——按固定帧数为步长间隔将道路监控视频的帧提取出来,转换成图片格式,为后续的图像处理做准备。
(2)目标车辆与背景分割——利用布尔图像的图像分割算法BMS,布尔图像是指对图片的每个颜色通道设置一个阀值来得到二值化的图像,通过这种方法能够有效的将目标车辆与背景分割开来,将汽车的轮廓从背景中提取出来。
(3)特征点的提取——对汽车轮廓图像建立尺度空间,基于尺度空间不变性的SIFT算子,将图像中感兴趣的可以更有效描述图像内容及结构的特征找出来,例如图像中的边缘、角点、兴趣点等;在尺度空间中寻找可有效描述图像内容及结构特征的极值点,并提取出极值点的位置、尺度、旋转不变量;尺度空间不变性是指在不同的尺度空间下仍然能够匹配特征点。
(4)图像匹配——采用因式分解图像关联矩阵的算法,根据所选择特征的值,建立特征点间的对应关系,将同一空间物理点在不同图像中的成像点对应起来,由此得到相应的视差图像。
其中,关联矩阵是待匹配图像之间的关键点组成的矩阵;因式分解是将复杂的关联矩阵转换成简单的较小的克罗内克积矩阵,这种算法避免费时去计算成对的关联矩阵,降低计算难度。另外使用因式分解分解关联矩阵的算法得到了一种新的关于原始问题的近似方法,这使得本发明有效的改善了现有的图形匹配计算算法。
(5)摄像机的标定和校准——采用基于标定物的摄像机标定方法,使用结构已知的标定参照物,通过建立标定参照物上三维坐标已知的点与其图像点的对 应约束关系,通过计算来确定摄像机模型的内、外参数。
摄像机的外参数是摄像机坐标系与世界坐标系之间进行变换时所需要的一个3×3的旋转矩阵R和一个3×1的平移矢量T。
摄像机的内参数是有效焦距f、像面中心坐标(u0,v0)、径向畸变修正系数、切向畸变修正系数、仿射畸变和非正交畸变修正系数。
(6)车辆外形轮廓几何模型重建——采用表面空间分割方法将汽车表面的不同几何形状从汽车整体上提取出来,将汽车表面整体分割成多个不同几何形的小部分;再利用几何学的分层量化方法将汽车表面分割出来的每一个小部分量化为各种不同的参数,例如:位置、位置方向和几何图形的尺寸。最后将每个量化后的几何图形再重新映射到车辆的每一部分得到几何图形描述的车辆的3D模型。
(7)多目标碰撞车辆跟踪——基于运动动力学的目标跟踪算法实现对目标车辆的跟踪;对车辆的运动建立运动动力学模型,应用该模型估计车辆的运动状态,对目标车辆进行跟踪。
(8)事故现场周围场景重建——因为交通事故的***环境不是一个刚体结构,不能采用基于结构的重建算法,所以采用一种基于SIFT算子的特征点的提取与匹配算法实现周围场景的点云重建。
与现有技术相比,本发明具有如下优点:
1、应用布尔图像分割方法,很好的将目标车辆从背景中分割出来,并凸显出车辆外形;
2、应用运动动力学的目标车辆跟踪技术,对目标车辆进行高精度的识别与跟踪,能够很好地得到相撞车辆的运动轨迹,为交通事故认定提供依据;
3、采用分解图像关联矩阵的算法实现图像匹配,有效降低算法的计算量;
4、有效解决多个目标车辆外形相似、追踪时目标轨迹交叉、相机移动等问题,还可避免由于目标移动超出视野或者被其他目标遮挡而引起的数据丢失问题。
附图说明
图1是本发明方法的***框图。
图2是本发明方法步骤2的流程图。
图3是本发明方法步骤3的流程图。
图4是本发明方法步骤6的流程图。
图5是本发明方法步骤7的流程图。
图6是本发明方法的摄像机模型示意图。
图7是本发明方法中目标车辆与背景分割的实验结果图。
图8是本发明方法中几何学的3D模型重建的实验结果图。
图9是本发明方法中车辆的点云重建结果图。
图10是本发明方法中车辆跟踪实验结果图。
具体实施方式
下面结合附图对本发明做进一步说明:
如图1、2、3、4、5、6所示,本发明所述方法步骤如下:
(1)从路况监控视频中提取图像序列——按固定帧数为步长间隔将道路监控视频的帧提取出来,转换成图片格式,为后续的图像处理做准备。
(2)目标车辆与背景分割——利用布尔图像的图像分割算法,将目标车辆与背景分割开来,将汽车的轮廓从背景中提取出来;目标车辆与背景分割是指进行车祸过程的三维重建时,首先要将目标车辆从背景中提取出来,具体实现步骤如下:
1)以δ为步长在0~255之间取不同的θ作为图片每个颜色通道的阈值,得到多个均匀分布的二值化的布尔图像;
2)将得到的二值化图像中的封闭区域内部赋值为1,其余部分赋值为0,得到凸显目标车辆的关注图像;
3)对多个关注图像取线性平均值得到整体的平均关注图像;
4)进行高斯模糊得到最后的凸显图像;
所述的布尔图形的获得公式如下:
Bi=THRESH(Φ(I),θ)
其中,THRESH(.,θ)函数表示对输入图像I进行二值化;θ表示二值化的阀值;通过布尔图像得到凸显目标车辆的关注图像公式如下:
A ‾ = ∫ A ( B ) p ( B | I ) dB
其中,表示得到的目标车辆的封闭图形;A(B)表示提取出布尔图形B的封闭区间;p(B|I)表示基于布尔图像B的最优广义函数。
(3)特征点的提取——对汽车轮廓图像建立尺度空间,基于尺度空间不变性的SIFT算子在尺度空间中寻找可有效描述图像内容及结构特征的极值点,并 提取出极值点的位置、尺度、旋转不变量;
采用基于尺度空间不变性的SIFT算子将图像中感兴趣的可以更有效描述图像内容及结构的特征找出来,例如图像中的边缘、角点、兴趣点等。尺度空间不变性是指在不同的尺度空间下仍然能够匹配特征点。尺度空间是指在图像处理中引入一个被视为尺度的参数通过连续变换尺度参数获得不同尺度下的图像处理信息。SIFT算子是在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量的算法。
SIFT算子描述子提取公式如下:
m ( x , y ) = ( L ( x + 1 , y ) - L ( x - 1 , y ) ) 2 + ( L ( x , y + 1 ) - L ( x , y - 1 ) ) 2
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))) 
其中,m(x,y)和θ(x,y)分别代表点(x,y)处的梯度和方向;L(x,y)表示(x,y)点处的灰度值。
(4)图像匹配——采用因式分解图像关联矩阵的算法,根据所选择特征的值,建立特征点间的对应关系,将同一空间物理点在不同图像中的成像点对应起来,由此得到相应的视差图像;
其中,关联矩阵是待匹配图像之间的关键点组成的矩阵;因式分解是将复杂的关联矩阵转换成简单的较小的克罗内克积矩阵;
判断图像节点匹配与否的算法公式如下:
J gm ( X ) = Σ i 1 i 2 x i 1 i 2 κ i 1 i 2 p + Σ i 1 ≠ i 2 , j 1 ≠ j g i 1 c 1 1 g h 1 c 1 1 = 1 g i 2 c 2 2 g j 2 c 2 2 = 1 x i 1 i 2 x j 1 j 2 κ c 1 c 2 q
其中,X表示待匹配图像的对应矩阵Kp表示节点关联矩阵;Kq表示边界关联矩阵;K表示整体关联矩阵;
K矩阵分解公式如下:
K = ( H 2 ⊗ H 1 ) diag ( vec ( L ) ) ( H 2 ⊗ H 1 ) T
其中, H 1 = [ G 1 , I n 1 ] ∈ { 0,1 } n 1 × ( m 1 + n 1 ) ; H 2 = [ G 2 , I n 2 ] ∈ { 0,1 } n 2 × ( m 2 + n 2 ) ; Gi表示第i幅图像的关联矩阵; L = K q - K q G 2 T - G 1 K q G 1 K q G 2 T + K p ∈ R ( m 1 + n 1 ) × ( m 2 + n 2 ) .
(5)摄像机的标定和校准——采用基于标定物的摄像机标定方法,使用结构已知的标定参照物,通过建立标定参照物上三维坐标已知的点与其图像点的对应约束关系,通过计算来确定摄像机模型的内、外参数;
摄像机的外参数是摄像机坐标系与世界坐标系之间进行变换时所需要的一个3×3的旋转矩阵R和一个3×1的平移矢量T;为了能够利用图像坐标pi(xi,yi)表达空间任意一点Xwi=(xwi,ywi,zwi)必须先将其空间坐标变换为摄像机坐标Xci=(xci,yci,zci),该变换的矩阵表达式:
Xci=RXwi+t
其中,R是一个3×3的旋转矩阵;t是一个3×1的平移矢量;
所述摄像机内参数包括有效焦距f、像面中心坐标(u0,v0)、径向畸变修正系数、切向畸变修正系数、仿射畸变和非正交畸变修正系数;用来描述摄像机的内部几何结构及镜头的光学特性;
所建立的摄像机内参数模型如下:
x i ′ y i ′ = x i + δx i y i + δy i
其中,(xi',yi')表示像平面上的理想透视投影点;(δxi,δyi)表示总的畸变的修正 系数;建立空间点和像平面点的共线性方程求解摄像机内参数如下:
u i = f d x [ r 11 x wi + r 12 y wi + r 13 z wi + t 1 r 31 x wi + r 32 y wi + r 33 z wi + t 3 - δu i ] + u 0 v i = f d y [ r 21 x wi + r 22 y wi + r 23 z wi + t 2 r 31 x wi + r 32 y wi + r 33 z wi + t 3 - δv i ] + v 0
其中,(ui,vi)表示空间点对应的像点坐标;f表示摄像机焦距;dx和dy表示单个像素在x轴和y轴上的物理尺寸;(δui,δvi)表示利用像素坐标表示的畸变因素。
(6)车辆外形轮廓几何模型重建——采用表面空间分割方法将汽车表面的不同几何形状从汽车整体上提取出来,将汽车表面整体分割成多个不同几何形的小部分;再利用几何学的分层量化方法将汽车表面分割出来的每一个小部分量化为各种不同的参数,最后将每个量化后的几何图形再重新映射到车辆的每一部分得到几何图形描述的车辆的3D模型;
车辆3D模型的重建步骤如下:
1)图像分解——将汽车的每一个小部分分解,每个角度图片中目标车辆的分割公式如下:
p ( I , w | T ) = q ( I , w ) Π n = 1 N p ( I Λ T n | T n , w ) q ( I Λ T n | T n , w )
其中,p(I,w|T)表示分割方式;q(I,w)表示参考分割方式;
2)目标量化——得到每一个小部分的目标位置、方向、尺寸;对表面分割结果的评价公式如下:
IG ( S ) = ∫ ∫ p ( I , w | T ) log p ( I , w | T ) q ( I , w ) dIdw ≈ Σ m = 1 M Σ n = 1 N Σ k = 1 K n s mnk
其中,IG(S)表示评价得分;smnk表示第m个图片的第n个分割部分的第k 个有效几何图形;
3)重新组合——采用AND-OR树最优搜索算法将每个量化后的几何图形再重新映射到车辆的每一部分得到几何图形描述的车辆的3D模型;AND-OR树最优搜索算法公式如下:
max IG OR = max j ∈ ch ( i ) max IG hj AND = max j ∈ ch ( i ) max Σ IG k OR = max j ∈ ch ( j ) Σ k ∈ ch ( j ) max IG k OR
其中,ch(i)函数返回节点i的索引号。 
(7)多目标碰撞车辆跟踪——基于运动动力学的目标跟踪算法实现对目标车辆的跟踪;对车辆的运动建立运动动力学模型,应用该模型估计车辆的运动状态,对目标车辆进行跟踪;目标跟踪算法的实现步骤如下:
1)采用广义线性赋值方法建立模型:
max x Σ i = 1 N Σ j = 1 N P ij X ij
st . Σ i = 1 N X ij ≤ 1 ; Σ j = 1 N X ij ≤ 1 ; X ij ∈ { 0,1 }
2)线性回归的方法对跟踪小片段做近似:
y k = Σ i = 1 n α i y k - i , k ≥ s + n
其中,αi表示跟踪小片段;
3)两个跟踪小片段之间相似点检测Pij
p ij = - ∞ , if α i and α j conflict rank ( H α i ) + rangk ( H α j ) min β i j rank ( H α ij ) - 1 , otherwise
其中,表示用修补了αi和αj之间的间隔;
4)连接相邻的两个跟踪小片段得到跟踪目标的运动轨迹;
通过上述过程得到目标车辆在每一个图像中的位置,将所得的车辆3D模型定位到每一个图片的位置得到动态的3D车辆运动场景。
(8)事故现场周围场景重建——采用基于SIFT算子的特征点的提取与匹配算法实现周围场景的点云重建。
图7是本发明的目标车辆与背景分割的实验结果图。该图显示了本发明的算法的处理车辆与背景分割时的效果。通过图可以看出这种方法能够很好地将目标车辆从图像中凸显出来,并将不重要的背景模糊忽略掉。
图8是本发明的几何学的3D模型重建的实验结果图。该图显示了使用基于几何学分层量化算法重建车辆的3D模型的结果图。该图实现的结果是以几何图形的形式重建车辆的外形的效果。可以看出能够很好的重建出车辆的边界。
图9是本发明的车辆的点云重建结果图。该图显示了本发明通过提取与匹配图像的特征点得到稀疏的点云,并对稀疏点云进行加密而得到最后稠密点云的车辆3D结果。
图10是本发明的车辆跟踪实验结果图。该图显示了本发明对目标车辆的跟踪效果,以及对目标车辆运动时的轨迹进行显示的结果。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.一种基于运动视觉的车祸过程重现方法,其特征在于,所述方法步骤如下:
(1)从路况监控视频中提取图像序列——按固定帧数为步长间隔将道路监控视频的帧提取出来,转换成图片格式;
(2)目标车辆与背景分割——利用布尔图像的图像分割算法,将目标车辆与背景分割开来,将汽车的轮廓从背景中提取出来;
(3)特征点的提取——对汽车轮廓图像建立尺度空间,基于尺度空间不变性的SIFT算子在尺度空间中寻找可有效描述图像内容及结构特征的极值点,并提取出极值点的位置、尺度、旋转不变量;
(4)图像匹配——采用因式分解图像关联矩阵的算法,根据所选择特征的值,建立特征点间的对应关系,将同一空间物理点在不同图像中的成像点对应起来,由此得到相应的视差图像;
其中,关联矩阵是待匹配图像之间的关键点组成的矩阵;因式分解是将复杂的关联矩阵转换成简单的较小的克罗内克积矩阵;
(5)摄像机的标定和校准——采用基于标定物的摄像机标定方法,使用结构已知的标定参照物,通过建立标定参照物上三维坐标已知的点与其图像点的对应约束关系,通过计算来确定摄像机模型的内、外参数;
摄像机的外参数是摄像机坐标系与世界坐标系之间进行变换时所需要的一个3×3的旋转矩阵R和一个3×1的平移矢量T;
摄像机的内参数是有效焦距f、像面中心坐标(u0,v0)、径向畸变修正系数、 切向畸变修正系数、仿射畸变和非正交畸变修正系数;
(6)车辆外形轮廓几何模型重建——采用表面空间分割方法将汽车表面的不同几何形状从汽车整体上提取出来,将汽车表面整体分割成多个不同几何形的小部分;再利用几何学的分层量化方法将汽车表面分割出来的每一个小部分量化为各种不同的参数,最后将每个量化后的几何图形再重新映射到车辆的每一部分得到几何图形描述的车辆的3D模型;
(7)多目标碰撞车辆跟踪——基于运动动力学的目标跟踪算法实现对目标车辆的跟踪;对车辆的运动建立运动动力学模型,应用该模型估计车辆的运动状态,对目标车辆进行跟踪;
(8)事故现场周围场景重建——采用基于SIFT算子的特征点的提取与匹配算法实现周围场景的点云重建。
2.根据权利要求1所述的一种基于运动视觉的车祸过程重现方法,其特征在于,所述步骤(2)中,目标车辆与背景分割是指进行车祸过程的三维重建时,首先要将目标车辆从背景中提取出来,具体实现步骤如下:
1)以δ为步长在0~255之间取不同的θ作为图片每个颜色通道的阈值,得到多个均匀分布的二值化的布尔图像;
2)将得到的二值化图像中的封闭区域内部赋值为1,其余部分赋值为0,得到凸显目标车辆的关注图像;
3)对多个关注图像取线性平均值得到整体的平均关注图像;
4)进行高斯模糊得到最后的凸显图像;
所述的布尔图形的获得公式如下:
Bi=THRESH(Φ(I),θ)
其中,THRESH(.,θ)函数表示对输入图像I进行二值化;θ表示二值化的阀值;通过布尔图像得到凸显目标车辆的关注图像公式如下:
其中,表示得到的目标车辆的封闭图形;A(B)表示提取出布尔图形B的封闭区间;p(B|I)表示基于布尔图像B的最优广义函数。
3.根据权利要求1所述的一种基于运动视觉的车祸过程重现方法,其特征在于,所述步骤(3)中,SIFT算子描述子提取公式如下:
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))(L(x+1,y)-L(x-1,y))) 
其中,m(x,y)和θ(x,y)分别代表点(x,y)处的梯度和方向;L(x,y)表示(x,y)点处的灰度值。
4.根据权利要求1所述的一种基于运动视觉的车祸过程重现方法,其特征在于,所述步骤(4)中,判断图像节点匹配与否的算法公式如下:
其中,X表示待匹配图像的对应矩阵Kp表示节点关联矩阵;Kq表示边界关联矩阵;K表示整体关联矩阵;
K矩阵分解公式如下:
其中, Gi表示第i幅图像的关联矩阵;
5.根据权利要求1所述的一种基于运动视觉的车祸过程重现方法,其特征在于,所述步骤(5)中,所述摄像机外参数包括旋转矩阵R和平移矢量T,为了能够利用图像坐标pi(xi,yi)表达空间任意一点Xwi=(xwi,ywi,zwi)必须先将其空间坐标变换为摄像机坐标Xci=(xci,yci,zci),该变换的矩阵表达式:
Xci=RXwi+t
其中,R是一个3×3的旋转矩阵;t是一个3×1的平移矢量;
所述摄像机内参数包括有效焦距f、像面中心坐标(u0,v0)、径向畸变修正系数、切向畸变修正系数、仿射畸变和非正交畸变修正系数;用来描述摄像机的内部几何结构及镜头的光学特性;
所建立的摄像机内参数模型如下:
其中,(xi',yi')表示像平面上的理想透视投影点;(δxi,δyi)表示总的畸变的修正系数;建立空间点和像平面点的共线性方程求解摄像机内参数如下:
其中,(ui,vi)表示空间点对应的像点坐标;f表示摄像机焦距;dx和dy表示单个像素在x轴和y轴上的物理尺寸;(δui,δvi)表示利用像素坐标表示的畸变因 素。
6.根据权利要求1所述的一种基于运动视觉的车祸过程重现方法,其特征在于,所述步骤(6)中,所述车辆3D模型的重建步骤如下:
1)图像分解——将汽车的每一个小部分分解,每个角度图片中目标车辆的分割公式如下:
其中,p(I,w|T)表示分割方式;q(I,w)表示参考分割方式;
2)目标量化——得到每一个小部分的目标位置、方向、尺寸;对表面分割结果的评价公式如下:
其中,IG(S)表示评价得分;smnk表示第m个图片的第n个分割部分的第k个有效几何图形;
3)重新组合——采用AND-OR树最优搜索算法将每个量化后的几何图形再重新映射到车辆的每一部分得到几何图形描述的车辆的3D模型;AND-OR树最优搜索算法公式如下:
其中,ch(i)函数返回节点i的索引号。
7.根据权利要求1所述的一种基于运动视觉的车祸过程重现方法,其特征在于,所述步骤(7)中,目标跟踪算法的实现步骤如下:
1)采用广义线性赋值方法建立模型:
2)线性回归的方法对跟踪小片段做近似:
其中,αi表示跟踪小片段;
3)两个跟踪小片段之间相似点检测Pij
其中,表示用修补了αi和αj之间的间隔;
4)连接相邻的两个跟踪小片段得到跟踪目标的运动轨迹;
通过上述过程得到目标车辆在每一个图像中的位置,将所得的车辆3D模型定位到每一个图片的位置得到动态的3D车辆运动场景。
8.根据权利要求1所述的一种基于运动视觉的车祸过程重现方法,其特征在于:所述尺度空间不变性是在不同的尺度空间下仍然能够匹配特征点的特性。
9.根据权利要求1所述的一种基于运动视觉的车祸过程重现方法,其特征在于:尺度空间是指在图像处理中引入一个被视为尺度的参数通过连续变换尺度参数获得不同尺度下的图像处理信息。
CN201410571218.2A 2014-10-23 2014-10-23 一种基于运动视觉的车祸过程重现方法 Pending CN104463842A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410571218.2A CN104463842A (zh) 2014-10-23 2014-10-23 一种基于运动视觉的车祸过程重现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410571218.2A CN104463842A (zh) 2014-10-23 2014-10-23 一种基于运动视觉的车祸过程重现方法

Publications (1)

Publication Number Publication Date
CN104463842A true CN104463842A (zh) 2015-03-25

Family

ID=52909824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410571218.2A Pending CN104463842A (zh) 2014-10-23 2014-10-23 一种基于运动视觉的车祸过程重现方法

Country Status (1)

Country Link
CN (1) CN104463842A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809720A (zh) * 2015-04-08 2015-07-29 西北工业大学 基于小交叉视场的两相机目标关联方法
CN106780677A (zh) * 2016-12-15 2017-05-31 南京偶酷软件有限公司 通过镜头运动背景分层处理模拟三维动画视觉效果的方法
CN107576266A (zh) * 2017-08-11 2018-01-12 广西公安计算机通讯技术研究所 基于点云高度投影快速自动生成路面和车辆现场要素的方法
CN109643373A (zh) * 2016-06-30 2019-04-16 奇跃公司 估计3d空间中的姿态
CN110782670A (zh) * 2019-11-05 2020-02-11 北京汽车集团有限公司 基于数据融合的场景还原方法、车辆云平台及存储介质
CN111127329A (zh) * 2018-10-30 2020-05-08 通用汽车环球科技运作有限责任公司 用于重建云层处的车辆场景的方法和***
CN112446958A (zh) * 2020-11-13 2021-03-05 山东产研信息与人工智能融合研究院有限公司 基于激光点云的道路交通事故辅助处理方法及***
CN113469081A (zh) * 2021-07-08 2021-10-01 西南交通大学 一种运动状态识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8212812B2 (en) * 2007-05-21 2012-07-03 Siemens Corporation Active shape model for vehicle modeling and re-identification

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8212812B2 (en) * 2007-05-21 2012-07-03 Siemens Corporation Active shape model for vehicle modeling and re-identification

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CAGLAYAN DICLE等: "The Way They Move: Tracking Multiple Targets with Similar Appearance", 《PROCEEDING ICCV 13 PROCEEDINGS OF THE 2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
FENG ZHOU等: "Factorized Graph Matching", 《IEEE CONFERENCE ON COMPUTER VISION & PATTERN RECOGNITION》 *
JIANMING ZHANG等: "Saliency Detection: A Boolean Map Approach", 《2003 IEEE INTERNATIONA CONFERENCE ON COMPUTER VISION 》 *
张光富: "基于合成视觉的3D重建技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809720B (zh) * 2015-04-08 2017-07-14 西北工业大学 基于小交叉视场的两相机目标关联方法
CN104809720A (zh) * 2015-04-08 2015-07-29 西北工业大学 基于小交叉视场的两相机目标关联方法
US11765339B2 (en) 2016-06-30 2023-09-19 Magic Leap, Inc. Estimating pose in 3D space
CN109643373A (zh) * 2016-06-30 2019-04-16 奇跃公司 估计3d空间中的姿态
CN106780677A (zh) * 2016-12-15 2017-05-31 南京偶酷软件有限公司 通过镜头运动背景分层处理模拟三维动画视觉效果的方法
CN106780677B (zh) * 2016-12-15 2020-01-10 南京偶酷软件有限公司 通过镜头运动背景分层处理模拟三维动画视觉效果的方法
CN107576266A (zh) * 2017-08-11 2018-01-12 广西公安计算机通讯技术研究所 基于点云高度投影快速自动生成路面和车辆现场要素的方法
CN111127329A (zh) * 2018-10-30 2020-05-08 通用汽车环球科技运作有限责任公司 用于重建云层处的车辆场景的方法和***
CN111127329B (zh) * 2018-10-30 2023-11-28 通用汽车环球科技运作有限责任公司 用于重建云层处的车辆场景的方法和***
CN110782670A (zh) * 2019-11-05 2020-02-11 北京汽车集团有限公司 基于数据融合的场景还原方法、车辆云平台及存储介质
CN112446958B (zh) * 2020-11-13 2023-07-28 山东产研信息与人工智能融合研究院有限公司 基于激光点云的道路交通事故辅助处理方法及***
CN112446958A (zh) * 2020-11-13 2021-03-05 山东产研信息与人工智能融合研究院有限公司 基于激光点云的道路交通事故辅助处理方法及***
CN113469081B (zh) * 2021-07-08 2023-06-06 西南交通大学 一种运动状态识别方法
CN113469081A (zh) * 2021-07-08 2021-10-01 西南交通大学 一种运动状态识别方法

Similar Documents

Publication Publication Date Title
CN104463842A (zh) 一种基于运动视觉的车祸过程重现方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN106845374B (zh) 基于深度学习的行人检测方法及检测装置
CN109242884B (zh) 基于JCFNet网络的遥感视频目标跟踪方法
EP2043045B1 (de) Verfahren zur Objektverfolgung
WO2020097840A1 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
EP2753533B1 (de) Bestimmung der stellung von bauelementen eines fahrzeugs
JP6650657B2 (ja) フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム
JP6904614B2 (ja) 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム
US11687773B2 (en) Learning method and recording medium
EP3631677A1 (de) Verfahren zur erkennung von objekten in einem bild einer kamera
CN112215074A (zh) 基于无人机视觉的实时目标识别与检测追踪***及方法
JP2014071902A5 (zh)
CN104506800A (zh) 一种多方向电警摄像机场景合成及综合监控方法和装置
KR101548639B1 (ko) 감시 카메라 시스템의 객체 추적장치 및 그 방법
CN104346833A (zh) 一种基于单目视觉的车辆重构算法
CN111742344A (zh) 图像语义分割方法、可移动平台及存储介质
DE102012000459A1 (de) Verfahren zur Objektdetektion
CN110348273B (zh) 神经网络模型训练方法、***及车道线识别方法、***
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
CN107944350A (zh) 一种基于外观和几何信息融合的单目视觉道路识别算法
Zhao et al. Real-world trajectory extraction from aerial videos-a comprehensive and effective solution
Bin et al. Improved object detection in thermal imaging through context enhancement and information fusion: A case study in autonomous driving

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150325

RJ01 Rejection of invention patent application after publication