CN110136047A - 一种车载单目图像中静止目标三维信息获取方法 - Google Patents

一种车载单目图像中静止目标三维信息获取方法 Download PDF

Info

Publication number
CN110136047A
CN110136047A CN201910427454.XA CN201910427454A CN110136047A CN 110136047 A CN110136047 A CN 110136047A CN 201910427454 A CN201910427454 A CN 201910427454A CN 110136047 A CN110136047 A CN 110136047A
Authority
CN
China
Prior art keywords
image
camera
frame image
static target
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910427454.XA
Other languages
English (en)
Other versions
CN110136047B (zh
Inventor
陈浩文
王彬
王琛
任思成
徐宏培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Mozhibi Intelligent Technology Co Ltd
Original Assignee
Changsha Mozhibi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Mozhibi Intelligent Technology Co Ltd filed Critical Changsha Mozhibi Intelligent Technology Co Ltd
Priority to CN201910427454.XA priority Critical patent/CN110136047B/zh
Publication of CN110136047A publication Critical patent/CN110136047A/zh
Application granted granted Critical
Publication of CN110136047B publication Critical patent/CN110136047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

一种车载单目图像中静止目标三维信息获取方法，在车辆上安装摄像头用于对车头前方的静止目标拍摄成像，其中安装好的摄像头的成像面与车辆的行驶面垂直。车辆在行驶过程中摄像头按照设定的时间间隔Tim对静止目标进行拍摄成像。对摄像头拍摄到的连续三帧图像分别提取特征点，对各帧图像提取到的特征点作相似度匹配运算，获取所有的匹配队列。选择其中一个匹配队列N1获取其对应的相机平移矩阵，根据相机平移矩阵计算静止目标在连续三帧图像中分别对应的三维空间坐标。本发明无需增加额外的硬件设备，也不需要多个摄像头，仅通过单目摄像机获取的连续三帧图像就能够获取静止目标的空间三维坐标信息，实现对静止目标的检测。

Description

一种车载单目图像中静止目标三维信息获取方法
技术领域
本发明涉及目标检测技术领域，尤其涉及一种车载环境中基于单目图像的静止目标三维信息获取方法。
背景技术
在无人驾驶、辅助驾驶等智能交通应用领域，使用摄像头采集视频图像数据，并进行路面情况感知和检测是一项重要的技术手段。现有的车载平台受成本制约等因素影响，通常只安装单个摄像头。因此基于单目图像计算三维信息，对后续的目标检测具有重要意义。
现有的基于单目视觉计算获取三维信息的方法有很多，下面是申请人检索到的部分专利公开文献：
公开号为CN1360197A，公开日为2002年07月24日的发明专利申请公开了一种浮体空间运动的单目测量方法，采用一套成像设备获取浮体上3个标志点的一幅独立图像，利用计算机视觉理论并结合浮体上标志点间的距离信息，计算出浮体的空间位置，实现单目测量；通过获得连续的图像序列，实现对浮体空间运动的非接触、无扰动、大范围的测量。
公开号为CN103292695A，公开日为2013年09月11日的发明专利申请公开了一种单目立体视觉测量方法，其视觉图像采集由摄像机通过三坐标测量机运动实现，把被测量工件放置在三坐标测量机的工作台上的测量位置，三坐标测量机X方向运动到位置A，摄像机拍摄一张照片，然后三坐标测量机X方向运动到位置B，摄像机再拍摄一张照片，两张照片经过摄像机数据线传送到装有识别软件的计算机进行图像处理后得到特征点，利用基于平动的特征点匹配算法完成两个图像的特征点匹配，三坐标测量机分别计算出各个特征点的空间坐标，再结合各特征点在机器坐标系和零件CAD坐标系中的对应坐标，求解出被测量工件的位姿参数。该方法利用三坐标测量机实现单摄像机立体视觉测量，快速准确地得到零件特征点的三维坐标。
公开号为103415807A，公开日为2013年11月27日的专利申请公开了一种能够拍摄良好的3D图像的单目立体图像拍摄装置。3D图像拍摄装置将图像经过透镜***，再通过视差分离***分离成两个图像，再进行图像的三维信息恢复。
公开号为CN108253939A，公开日为2018年07年06日的发明专利申请公开了一种可变视轴单目立体视觉测量方法，首先移除旋转双棱镜***，标定单目视觉测量***，得到并记录相机1的内参数；将旋转双棱镜***安装在单目视觉测量***前方，对单目视觉测量***和旋转双棱镜***整体进行标定，获得相机与旋转双棱镜***的相对位置关系，标定结束后，根据被测目标的理论几何特征划分成像视轴，对每个视轴指向角分别用迭代法在上位机中计算出旋转双棱镜对应的棱镜转角；旋转双棱镜***控制成像视轴依次转到对应的视轴指向角，相机依次采集相应的图像，实现被测目标几何特征的依次成像；将两次相邻视轴指向角所成两幅图像进行图像处理和特征匹配，以实现共同区域的三维特征重建；将所有三维特征重建的共同区域进行整合，即可得到被测目标的实际几何特征。
公开号为101308012A，公开日为2008年11月19日的发明专利申请公开了一种双目白光三维测量***参数的标定方法，需要通过左右两个摄像头拍摄的两张图像，同时再借助两个相机之间的位置关系，再进行三维信息的恢复。
公开号为105606025A，公开日为2016年05月25日的发明专利申请公开了一种使用激光器和单目相机测量球状目标几何参数的方法，包括设置相机与三个以上的激光器，使激光器射出的激光束照射到目标上并且不共面，相机朝向与激光束的方向相同；定义世界坐标系Ow与相机坐标系Oc，确定相机的内部参数矩阵以及相机坐标系与世界坐标系的转换关系；定义图像二维坐标系，使相机采集激光束照射到目标上的点，得到激光点在图像坐标系下的坐标以及目标在图像上的圆心坐标；通过几何关系和相机图像转换关系计算出目标的几何参数。这种方法需要通过借助三个以上的激光发生器对目标进行照射，通过几何关系和相机图像转换关系计算出目标的几何参数。
上述使用单目来进行空间位置测量的方法要么需要增加其它辅助部件如：透镜、棱镜、激光、xyz测量平台，或者需要一个参照物，并且需要已知参照物的部分参数，或者需要多个相机来同时测量，这些都需要在特定条件或对摄像头进行部分改造的基础上才能进行三维信息的恢复，因此存在一定的局限性。
发明内容
针对现有技术存在的不足，本发明提供一种车载单目图像中静止目标三维信息获取方法。
为实现本发明的技术目的，采用以下技术方案：
一种车载单目图像中静止目标三维信息获取方法，在车辆上安装摄像头用于对车头前方的静止目标拍摄成像，其中安装好的摄像头的成像面与车辆的行驶面垂直。车辆在行驶过程中摄像头按照设定的时间间隔Tim对静止目标进行拍摄成像。对摄像头拍摄到的连续三帧图像分别提取特征点，对各帧图像提取到的特征点作相似度匹配运算，获取所有的匹配队列。选择其中一个匹配队列N1获取其对应的相机平移矩阵，根据相机平移矩阵计算静止目标在连续三帧图像中分别对应的三维空间坐标。
本发明中：采用harris、sift或surf角点提取算法对摄像头拍摄到的连续三帧图像分别提取特征点。然后对各帧图像提取到的特征点作相似度匹配运算，获取所有的匹配队列。设定相似度匹配阈值，若第一帧图像中的特征点A、第二帧图像中的特征点A’和三帧图像中的特征点A”作相似度匹配运算得到的相似度值大于或等于设定的相似度匹配阈值，则这三个特征点组成一个匹配队列。
优选地，本发明中，选择相似度匹配运算中相似度值最高的那一组特征点组成的匹配队列，获取相机平移矩阵。
本发明中，获取相机平移矩阵[Tx,Ty,Tz]T的方法如下：
(1)在连续三帧图像中即在第一帧图像、第二帧图像以及第三帧图像中分别建立空间坐标系：分别以当前帧图像对应的相机所在位置为空间坐标系的原点。空间坐标系中的X、Y轴分别为与图像坐标系的x、y轴平行，空间坐标系中的Z轴与相机的靶面垂直；
所选择的匹配队列N1在第一帧图像中对应的特征点在图像坐标系中图像坐标为[u1,v1]T，在空间坐标系中对应的空间坐标为P1:[X1,Y1,Z1]T；
所选择的匹配队列N1在第二帧图像中对应的特征点在图像坐标系中图像坐标为[u1’,v1’]T，在空间坐标系中对应的空间坐标为P1’:[X1’,Y1’,Z1’]T；
所选择的匹配队列N1在第三帧图像中对应的特征点在图像坐标系中图像坐标为[u1”,v1”]T，在空间坐标系中对应的空间坐标为P1”:[X1”,Y1”,Z1”]T；
(2)设a和b分别为像素单元在图像坐标系其x,y方向上的尺寸单元，fx,fy分别为相机在图像坐标系其x,y方向上的焦距，(u0,v0)为成像平面上x,y方向的中心，这些均是相机内置参数，均为已知参数；
(3)设第一帧图像到第二帧图像的相机平移矩阵为[Tx,Ty,Tz]T，由于在第一帧图像到第二帧图像这极短的拍摄间隔时间内汽车做匀速直线运动，因此有：
Tx*Tx+Ty*Ty+Tz*Tz＝(L/2)*(L/2) (1)
[X1',Y1',Z1']T＝[X1,Y1,Z1]T+[Tx,Ty,Tz]T (2)
[X1”,Y1”,Z1”]T＝[X1,Y1,Z1]T+2*[Tx,Ty,Tz]T (3)
其中L是第一帧图像到第三帧图像时汽车移动的距离，根据摄像头拍摄连续三帧图像时对应的当前车速Vel和时间间隔Tim计算第一帧图像到第三帧图像时汽车移动的距离L，其中L＝2*Vel*Tim；
(4)由相机成像公式
Z*[u,v,1]T＝[a,0,u0；0,b,v0；0,0,1]*[fx,0,0；0,fy,0；0,0,1]*[X,Y,Z]T有如下等式成立：
Z1*(u1-u0)＝a*fx*X1 (4)
Z1'*(u1'-u0)＝a*fx*X1' (5)
Z1”*(u1”-u0)＝a*fx*X1” (6)
Z1*(v1-v0)＝a*fy*Y1 (7)
Z1'*(v1'-v0)＝a*fy*Y1' (8)
S2.5通过联立公式(2)、(3)、(4)、(5)和(6)，得到Z1与Tz的关系以及Tx和Tz的关系；
Z1＝α*Tz (9)
其中：
Tx＝β*Tz (10)
其中：
S2.5通过联立(2)、(3)、(7)、(8)和(9)，得到Tz与Ty的关系即:
Ty＝γ*Tz (11)
其中：
S2.7通过公式(1)、(10)和(11)计算得到相机平移矩阵[Tx,Ty,Tz]T中的Tx，Ty和Tz：
Tx＝β*Tz；Ty＝γ*Tz。
本发明中：根据相机平移矩阵计算静止目标在连续三帧图像中分别对应的三维空间坐标，具体如下：
第一帧图像中，静止目标在空间坐标系中对应的三维空间坐标为Zx,Xx,Yx：
在第二帧图像中，静止目标在空间坐标系中对应的三维空间坐标为Zx’,Xx’,Yx’：
Zx’＝Zx+Tz
Xx’＝Xx+Tx
Yx’＝Xx+Ty
在第三帧图像中，静止目标在空间坐标系中对应的三维空间坐标为Zx”,Xx”,Yx”：
Zx”＝Zx+2*Tz
Xx”＝Xx+2*Tx
Yx”＝Xx+2*Ty
与现有技术相比，本发明能够产生以下技术效果：
本发明能够只在需要相机整体移动的基础上，进行静止目标的三维测量，不需要细分到运动的各个轴上面，减少了测量的量，同时此方法也可用于工业上的测量，只需要整体的运动行程，减小装配的难度，多硬件的投入。
本发明无需增加额外的硬件设备，也不需要多个摄像头，仅通过单目摄像机获取的连续三帧图像就能够获取静止目标的空间三维坐标信息，实现对静止目标的检测。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图，对本发明的实施方式进行进一步的详细说明。
如图1所示，本发明提供一种车载单目图像中静止目标三维信息获取方法，在车辆上安装摄像头用于对车头前方的静止目标拍摄成像，其中安装好的摄像头的成像面与车辆的行驶面垂直；车辆在行驶过程中摄像头按照设定的时间间隔Tim对静止目标进行拍摄成像，对摄像头拍摄到的连续三帧图像分别提取特征点，对各帧图像提取到的特征点作相似度匹配运算，获取所有的匹配队列；选择其中一个匹配队列N1获取其对应的相机平移矩阵，根据相机平移矩阵计算静止目标在连续三帧图像中分别对应的三维空间坐标。具体方法如下：
S1.对拍摄到的连续三帧图像分别提取特征点，然后对各帧图像提取到的特征点作相似度匹配运算，获取所有的匹配队列。设定相似度匹配阈值，若第一帧图像中的特征点A、第二帧图像中的特征点A’和三帧图像中的特征点A”作相似度匹配运算得到的相似度值大于或等于设定的相似度匹配阈值，则这三个特征点组成一个匹配队列。
S2.选择一个匹配队列N1，获取相机平移矩阵。优选地，选择相似度匹配运算中相似度值最高的那一组特征点组成的匹配队列，获取相机平移矩阵。
S2.1在连续三帧图像中即在第一帧图像、第二帧图像以及第三帧图像中建立空间坐标系：分别以当前帧图像对应的相机所在位置(即相机的光心)为空间坐标系的原点。空间坐标系中的X、Y轴分别为与图像坐标系的x、y轴平行，空间坐标系中的Z轴与相机的靶面垂直。
所选择的匹配队列N1在第一帧图像中对应的特征点在图像坐标系中图像坐标为[u1,v1]T，在空间坐标系中对应的空间坐标为P1:[X1,Y1,Z1]T；
所选择的匹配队列N1在第二帧图像中对应的特征点在图像坐标系中图像坐标为[u1’,v1’]T，在空间坐标系中对应的空间坐标为P1’:[X1’,Y1’,Z1’]T；
所选择的匹配队列N1在第三帧图像中对应的特征点在图像坐标系中图像坐标为[u1”,v1”]T，在空间坐标系中对应的空间坐标为P1”:[X1”,Y1”,Z1”]T；
S2.2设a和b分别为像素单元(即相机的感光芯片上像素的实际大小的倒数)在图像坐标系其x,y方向上的尺寸单元，fx,fy分别为相机在图像坐标系其x,y方向上的焦距，(u0,v0)为成像平面上x,y方向的中心，这些是相机内置参数，为已知参数；
S2.3设第一帧图像到第二帧图像的相机平移矩阵为[Tx,Ty,Tz]T，由于在第一帧图像到第二帧图像这极短的拍摄间隔时间内汽车做匀速直线运动，因此有：
Tx*Tx+Ty*Ty+Tz*Tz＝(L/2)*(L/2) (1)
[X1',Y1',Z1']T＝[X1,Y1,Z1]T+[Tx,Ty,Tz]T (2)
[X1”,Y1”,Z1”]T＝[X1,Y1,Z1]T+2*[Tx,Ty,Tz]T (3)
其中L是第一帧图像到第三帧图像时汽车移动的距离，根据摄像头拍摄连续三帧图像时对应的当前车速Vel和时间间隔Tim计算第一帧图像到第三帧图像时汽车移动的距离L，其中L＝2*Vel*Tim。由于摄像头拍摄连续三帧图像的拍照时间极短，认为车辆在这极短时间内做匀速直线运动。
S2.4由相机成像公式
Z*[u,v,1]T＝[a,0,u0；0,b,v0；0,0,1]*[fx,0,0；0,fy,0；0,0,1]*[X,Y,Z]T有如下等式成立：
Z1*(u1-u0)＝a*fx*X1 (4)
Z1'*(u1'-u0)＝a*fx*X1' (5)
Z1”*(u1”-u0)＝a*fx*X1” (6)
Z1*(v1-v0)＝a*fy*Y1 (7)
Z1'*(v1'-v0)＝a*fy*Y1' (8)
S2.5通过联立(2)(3)(4)(5)(6)，得到Z1与Tz的关系以及Tx和Tz的关系。
Z1*(u1”-2*u1'+u1)+2*Tz*(u1”-u1')＝0即
令则可得：
Z1＝α*Tz (9)
α*Tz*(u1'-u1)+Tz*(u1'-u0)＝a*fx*Tx即令则可得：
Tx＝β*Tz (10)；
S2.5通过联立(2)(3)(7)(8)(9)可以得到Tz与Ty的关系即:
α*Tz*(v1'-v1)+Tz*(v1'-v0)＝b*fy*Ty即
令则可得：
Ty＝γ*Tz (11)；
S2.7通过(1)、(10)和(11)计算得到相机平移矩阵[Tx,Ty,Tz]T中的Tx，Ty和Tz。
Tx＝β*Tz；Ty＝γ*Tz。
S3：根据相机平移矩阵计算静止目标在连续三帧图像中分别对应的三维空间坐标。
第一帧图像中，静止目标在空间坐标系中对应的三维空间坐标为Zx,Xx,Yx：
在第二帧图像中，静止目标在空间坐标系中对应的三维空间坐标为Zx’,Xx’,Yx’：
Zx’＝Zx+Tz
Xx’＝Xx+Tx
Yx’＝Xx+Ty
在第三帧图像中，静止目标在空间坐标系中对应的三维空间坐标为Zx”,Xx”,Yx”：
Zx”＝Zx+2*Tz
Xx”＝Xx+2*Tx
Yx”＝Xx+2*Ty
以上所述仅为本发明的优选的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种车载单目图像中静止目标三维信息获取方法，其特征在于：在车辆上安装摄像头用于对车头前方的静止目标拍摄成像；车辆在行驶过程中，摄像头按照设定的时间间隔Tim对静止目标进行拍摄成像；对摄像头拍摄到的连续三帧图像分别提取特征点，对各帧图像提取到的特征点作相似度匹配运算，获取所有的匹配队列；选择其中一个匹配队列获取其对应的相机平移矩阵，根据相机平移矩阵计算静止目标在连续三帧图像中分别对应的三维空间坐标。
2.根据权利要求1所述的车载单目图像中静止目标三维信息获取方法，其特征在于：摄像头的成像面与车辆的行驶面垂直。
3.根据权利要求1所述的车载单目图像中静止目标三维信息获取方法，其特征在于：采用harris、sift或surf角点提取算法对摄像头拍摄到的连续三帧图像分别提取特征点。
4.根据权利要求1所述的车载单目图像中静止目标三维信息获取方法，其特征在于：设定相似度匹配阈值，若连续三帧图像中的第一帧图像中的特征点A、第二帧图像中的特征点A’和三帧图像中的特征点A”作相似度匹配运算得到的相似度值大于或等于设定的相似度匹配阈值，则这三个特征点组成一个匹配队列。
5.根据权利要求1所述的车载单目图像中静止目标三维信息获取方法，其特征在于：选择相似度匹配运算中相似度值最高的那一组特征点组成的匹配队列，获取其对应的相机平移矩阵。
6.根据权利要求1或5所述的车载单目图像中静止目标三维信息获取方法，其特征在于：获取相机平移矩阵[Tx,Ty,Tz]T的方法如下：
(1)在连续三帧图像中即在第一帧图像、第二帧图像以及第三帧图像中分别建立空间坐标系：分别以当前帧图像对应的相机所在位置为空间坐标系的原点。空间坐标系中的X、Y轴分别为与图像坐标系的x、y轴平行，空间坐标系中的Z轴与相机的靶面垂直；
所选择的匹配队列N1在第一帧图像中对应的特征点在图像坐标系中图像坐标为[u1,v1]T，在空间坐标系中对应的空间坐标为P1:[X1,Y1,Z1]T；
所选择的匹配队列N1在第二帧图像中对应的特征点在图像坐标系中图像坐标为[u1’,v1’]T，在空间坐标系中对应的空间坐标为P1’:[X1’,Y1’,Z1’]T；
所选择的匹配队列N1在第三帧图像中对应的特征点在图像坐标系中图像坐标为[u1”,v1”]T，在空间坐标系中对应的空间坐标为P1”:[X1”,Y1”,Z1”]T；
(2)设a和b分别为像素单元在图像坐标系其x,y方向上的尺寸单元，fx,fy分别为相机在图像坐标系其x,y方向上的焦距，(u0,v0)为成像平面上x,y方向的中心，这些均是相机内置参数，均为已知参数；
(3)设第一帧图像到第二帧图像的相机平移矩阵为[Tx,Ty,Tz]T，由于在第一帧图像到第二帧图像这极短的拍摄间隔时间内汽车做匀速直线运动，因此有：
Tx*Tx+Ty*Ty+Tz*Tz＝(L/2)*(L/2) (1)
[X1',Y1',Z1']T＝[X1,Y1,Z1]T+[Tx,Ty,Tz]T (2)
[X1”,Y1”,Z1”]T＝[X1,Y1,Z1]T+2*[Tx,Ty,Tz]T (3)
其中L是第一帧图像到第三帧图像时汽车移动的距离，根据摄像头拍摄连续三帧图像时对应的当前车速Vel和时间间隔Tim计算第一帧图像到第三帧图像时汽车移动的距离L，其中L＝2*Vel*Tim；
(4)由相机成像公式
Z*[u,v,1]T＝[a,0,u0；0,b,v0；0,0,1]*[fx,0,0；0,fy,0；0,0,1]*[X,Y,Z]T有如下等式成立：
Z1*(u1-u0)＝a*fx*X1 (4)
Z1'*(u1'-u0)＝a*fx*X1' (5)
Z1”*(u1”-u0)＝a*fx*X1” (6)
Z1*(v1-v0)＝a*fy*Y1 (7)
Z1'*(v1'-v0)＝a*fy*Y1' (8)
S2.5通过联立公式(2)、(3)、(4)、(5)和(6)，得到Z1与Tz的关系以及Tx和Tz的关系；
Z1*(u1”-2*u1'+u1)+2*Tz*(u1”-u1')＝0即
令则可得：
Z1＝α*Tz (9)
α*Tz*(u1'-u1)+Tz*(u1'-u0)＝a*fx*Tx即
令则可得：
Tx＝β*Tz (10)；
S2.5通过联立(2)、(3)、(7)、(8)和(9)，得到Tz与Ty的关系即:
α*Tz*(v1'-v1)+Tz*(v1'-v0)＝b*fy*Ty即
令则可得：
Ty＝γ*Tz (11)；
S2.7通过公式(1)、(10)和(11)计算得到相机平移矩阵[Tx,Ty,Tz]T中的Tx，Ty和Tz：
Tx＝β*Tz；Ty＝γ*Tz。
7.根据权利要求6所述的的车载单目图像中静止目标三维信息获取方法，其特征在于：
第一帧图像中，静止目标在空间坐标系中对应的三维空间坐标为Zx,Xx,Yx：
在第二帧图像中，静止目标在空间坐标系中对应的三维空间坐标为Zx’,Xx’,Yx’：
Zx’＝Zx+Tz
Xx’＝Xx+Tx
Yx’＝Xx+Ty
在第三帧图像中，静止目标在空间坐标系中对应的三维空间坐标为Zx”,Xx”,Yx”：
Zx”＝Zx+2*Tz
Xx”＝Xx+2*Tx
Yx”＝Xx+2*Ty。
CN201910427454.XA 2019-05-22 2019-05-22 一种车载单目图像中静止目标三维信息获取方法 Active CN110136047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910427454.XA CN110136047B (zh) 2019-05-22 2019-05-22 一种车载单目图像中静止目标三维信息获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910427454.XA CN110136047B (zh) 2019-05-22 2019-05-22 一种车载单目图像中静止目标三维信息获取方法

Publications (2)

Publication Number Publication Date
CN110136047A true CN110136047A (zh) 2019-08-16
CN110136047B CN110136047B (zh) 2022-12-27

Family

ID=67572276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910427454.XA Active CN110136047B (zh) 2019-05-22 2019-05-22 一种车载单目图像中静止目标三维信息获取方法

Country Status (1)

Country Link
CN (1) CN110136047B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311688A (zh) * 2020-01-22 2020-06-19 同济大学 一种基于双传感器变视轴监测装置的标定方法
CN112598743A (zh) * 2021-02-08 2021-04-02 智道网联科技(北京)有限公司 一种单目视觉图像的位姿估算方法及相关装置
CN113421242A (zh) * 2021-06-23 2021-09-21 河北科技大学 基于深度学习的焊点外观质量检测方法、装置及终端
CN115471556A (zh) * 2022-09-22 2022-12-13 南京博视医疗科技有限公司 一种单目相机图像目标点三维定位方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103292695A (zh) * 2013-05-10 2013-09-11 河北科技大学 一种单目立体视觉测量方法
US20160093052A1 (en) * 2014-09-26 2016-03-31 Neusoft Corporation Method and apparatus for detecting obstacle based on monocular camera
CN108257161A (zh) * 2018-01-16 2018-07-06 重庆邮电大学 基于多相机的车辆环境三维重构和运动估计***及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103292695A (zh) * 2013-05-10 2013-09-11 河北科技大学 一种单目立体视觉测量方法
US20160093052A1 (en) * 2014-09-26 2016-03-31 Neusoft Corporation Method and apparatus for detecting obstacle based on monocular camera
CN108257161A (zh) * 2018-01-16 2018-07-06 重庆邮电大学 基于多相机的车辆环境三维重构和运动估计***及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311688A (zh) * 2020-01-22 2020-06-19 同济大学 一种基于双传感器变视轴监测装置的标定方法
CN112598743A (zh) * 2021-02-08 2021-04-02 智道网联科技(北京)有限公司 一种单目视觉图像的位姿估算方法及相关装置
CN112598743B (zh) * 2021-02-08 2023-10-13 智道网联科技(北京)有限公司 一种单目视觉图像的位姿估算方法及相关装置
CN113421242A (zh) * 2021-06-23 2021-09-21 河北科技大学 基于深度学习的焊点外观质量检测方法、装置及终端
CN113421242B (zh) * 2021-06-23 2023-10-27 河北科技大学 基于深度学习的焊点外观质量检测方法、装置及终端
CN115471556A (zh) * 2022-09-22 2022-12-13 南京博视医疗科技有限公司 一种单目相机图像目标点三维定位方法及装置
CN115471556B (zh) * 2022-09-22 2023-11-14 南京博视医疗科技有限公司 一种单目相机图像目标点三维定位方法及装置

Also Published As

Publication number Publication date
CN110136047B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN110136047A (zh) 一种车载单目图像中静止目标三维信息获取方法
CN106643699B (zh) 一种虚拟现实***中的空间定位装置和定位方法
CN106595528B (zh) 一种基于数字散斑的远心显微双目立体视觉测量方法
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN107111598B (zh) 使用超声深度感测的光流成像***以及方法
CN103871045B (zh) 显示***和方法
US11488322B2 (en) System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
US20140118500A1 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
CN106179885B (zh) 一种基于立体视觉引导的复杂工件点胶方法及装置
CN104880176A (zh) 基于先验知识模型优化的运动物位姿测量方法
CN104657982A (zh) 一种投影仪标定方法
CN109559355A (zh) 一种基于相机组的无公共视场的多相机全局标定装置及方法
TW201335888A (zh) Ａｒ影像處理裝置及方法
CN111274959B (zh) 一种基于可变视场角的加油锥套位姿精确测量方法
CN108765495B (zh) 一种基于双目视觉检测技术的快速标定方法及***
CN104760812A (zh) 基于单目视觉的传送带上产品实时定位***和方法
US10564174B2 (en) Optical sensing apparatuses, method, and optical detecting module capable of estimating multi-degree-of-freedom motion
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
CN208350997U (zh) 一种目标物运动监测***
CN112330747A (zh) 基于无人机平台的多传感器联合探测和显示方法
Ju et al. Multi-camera calibration method based on minimizing the difference of reprojection error vectors
Slossberg et al. Freehand Laser Scanning Using Mobile Phone.
JP4622889B2 (ja) 画像処理装置、及び画像処理方法
CN114252024B (zh) 一种单测量模组多工作模式工件三维测量装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant