CN105825475A - 基于单摄像头的360度全景影像生成方法 - Google Patents

基于单摄像头的360度全景影像生成方法 Download PDF

Info

Publication number
CN105825475A
CN105825475A CN201610203504.2A CN201610203504A CN105825475A CN 105825475 A CN105825475 A CN 105825475A CN 201610203504 A CN201610203504 A CN 201610203504A CN 105825475 A CN105825475 A CN 105825475A
Authority
CN
China
Prior art keywords
matrix
top view
point
image
calibration plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610203504.2A
Other languages
English (en)
Other versions
CN105825475B (zh
Inventor
姜光
马超群
赵小松
贾静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201610203504.2A priority Critical patent/CN105825475B/zh
Publication of CN105825475A publication Critical patent/CN105825475A/zh
Application granted granted Critical
Publication of CN105825475B publication Critical patent/CN105825475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于单摄像头的360度全景影像生成方法，主要解决目前实现车载360度全景影像的方法需要4个摄像头的问题。其技术方案是：1.通过摄像机标定，求解将图像变换为顶视图的单应性变换矩阵M；2.将每帧图像转换为顶视图，并对每帧转换后的顶视图进行特征点检测与匹配；3.求解相邻帧间的旋转矩阵和平移向量，实现顶视图拼接；4.判断拍摄是否停止，若拍摄未停止，则返回步骤2，若拍摄停止，则停止循环，在车辆行驶多于一个车身的距离后，得到车身周围360度的动态全景影像。本发明具有成本低廉、安装简便的优点，实现了使用单个摄像头获得360度全景影像的功能，鲁棒性高，可用于行车或泊车时对车辆周围情况的观察。

Description

基于单摄像头的360度全景影像生成方法
技术领域
本发明属于图像处理技术领域，涉及一种实现360度全景影像的方法，可用于行车或泊车时对车辆周围情况的观察。
背景技术
随着社会的发展，汽车以每天上万辆的数量在飞速增长，相应地，驾驶员的数量也在日益增加。道路的拥挤，停车位的狭窄给很多本就是新手的驾驶员带来了各种各样的难题，驾驶员行车安全问题越来越受人关注。行车安全问题不仅仅关系到对车辆的保护，行车中出现的意外情况还容易引发一系列城市管理问题，甚至威胁到驾驶员以及他人的生命安全。
目前针对行车安全，市面上提出了各种各样的科技手段，在车上加装测量仪器来辅助驾驶员安全行车。其中基于加装摄像头的主要有泊车时后视摄像头，用于行车记录的前视摄像头和用于生成360度全景的多摄像头。基于车载多摄像头生成360度全景影像是近年来的新技术，该技术一般是使用4个摄像头，安装到车头、车尾以及车身两侧，将四个摄像头采集到的影像数据利用图像处理技术进行拼接，将图像置为顶视图，形成一个360度全景影像。该全景影像便于驾驶员对车身周围的情况进行判断，也在行车、泊车时给驾驶员提供了便利。然而，由于借助了四个摄像头,这个***存在以下问题：
1)由于使用多个摄像头，整个***成本较高；
2)因为要将摄像头固定到车辆的前后左右，需要拆装车的部分外壳以供走线，所以安装困难，特别是左右摄像头安装时，需要破坏部分车身；
3)多摄像头的参数在使用一段时间后，由于硬件老化程度不一致或个别产生位移，就会出现画面畸变，拼接处出现无法对齐等问题。
发明内容
本发明的目的在于针对上述已有技术的不足，提出一种基于单摄像头的360度全景影像生成方法，以减小成本，简化安装，降低由于摄像头不一致对画面效果造成的不良影响。
实现本发明目的的技术方案如下：
(1)使用一个车载前摄像头或后摄像头，并用定标板对摄像头采集到的图像进行标定，得到摄像头的内参矩阵K和畸变系数D；
(2)将定标板平置在地面之上，利用摄像机拍摄一幅包含定标板的混合图像，检测该混合图像上的定标板角点，并定义一个顶视图坐标系以及该坐标系下对应定标板角点的点集，计算检测到的定标板角点投影到顶视图坐标系下的对应点的单应性变换矩阵M；
(3)利用步骤(1)和步骤(2)结果，在车辆行驶时对摄像头采集的每帧图像进行转换，得到每帧图像转换后的顶视图；
(4)对每帧图像转换后的顶视图进行特征点检测：若检测的当前帧是第一帧，则直接执行步骤(5b)，否则，将检测到的特征点与前一帧图像的特征点进行匹配，求解两相邻帧在顶视图坐标系下的旋转矩阵R和平移向量t，执行步骤5a)；
(5)顶视图拼接：
5a)根据步骤(4)求得的旋转矩阵R和平移向量t，将顶视图与新采集到的图像的顶视图拼接形成新的顶视图，并进行保存；
5b)在新的顶视图中，将当前帧的顶视图部分保留为彩色，其余部分为灰色图像；
5c)将汽车模型图案显示在屏幕中，使生成的顶视图与当前车身所在位置相对应；
(6)循环执行步骤(3)到步骤(5)，在车辆行驶多于一个车身的距离后，得到车身周围360度的动态全景影像，直到拍摄停止。
本发明与现有技术相比，具有以下优点：
第一，本发明使用图像处理技术，有别于普通单摄像头***只能看到车头或车尾一米左右的影像，其能够在行车或倒车过程中观察车身与周围各个方向的物体的相对位置，为驾驶员开车提供了更加可靠的参考。
第二，本发明采用一个摄像头实现360度全景影像，相比现有技术采用4个摄像头实现全景影像的方法，成本更加低廉，安装更加简便。
第三，本发明使用一个摄像头，在标定之后对单一摄像头的图像进行校正，再通过图像处理技术对图像进行拼接，解决了现有技术中由于硬件老化问题造成多个摄像头的内参和畸变系数的差别，以及使用过程中发生碰撞使摄像头外参发生改变，进而使几个摄像头的图像拼接出现误差的问题。
附图说明
图1为本发明的实现流程图；
图2为本发明中求解单应性变换矩阵M的子流程图；
图3为用本发明实验生成的全景影像示意图。
具体实施方式
下面结合附图对本发明做进一步详细说明。
参照图1，本发明具体实施方式如下：
步骤1，摄像机标定。
1.1)使用摄像机采集若干张包含定标板的采样图像，并使定标板在采样图像中呈现不同的大小和姿态，该定标板，是一种带有固定间距图案阵列的平板，其图案分为实心圆阵列图案和棋盘格图案两种，本发明中使用的是棋盘格图案的定标板；
1.2)检测每一张采样图像上定标板的角点，利用鱼眼镜头模型计算得到摄像头的内参矩阵K和畸变系数D：
K = f x 0 u x 0 f y u y 0 0 1 ,
D＝[d0d1d2d3d4]T，
其中fx＝f/dx为采样图像上u轴的归一化焦距，dx表示传感器u轴上单位像素的尺寸大小，fy＝f/dy为采样图像上v轴的归一化焦距，dy表示传感器v轴上单位像素的尺寸大小，f是相机的焦距，ux和uy表示光学中心的横坐标和纵坐标，该光学中心是摄像机光轴与图像平面的交点；d0、d1、d2、d3和d4分别表示鱼眼镜头模型中入射光线与鱼眼相机光轴之间夹角θ的多项近似式θd的前5项系数。
步骤2，求解将图像变换为顶视图的单应性变换矩阵M。
参照图2，本步骤的实现如下：
2.1)将定标板平置在地面之上，利用摄像机拍摄一幅包含定标板的混合图像，如图2(a)所示；再检测该混合图像上的定标板角点，如图2(b)所示，并利用步骤1中得到的内参矩阵K和畸变系数D对混合图像进行畸变校正，得到畸变校正后混合图像上的定标板角点；
2.2)定义一个汽车顶视图所在的坐标系，即顶视图坐标系，如图2(c)所示，其中圆点表示顶视图坐标系中与检测到的定标板角点相对应的位置；
2.3)根据畸变校正后的混合图像和顶视图之间满足单应性变换关系，通过对应点的坐标，计算畸变校正后混合图像上的定标板角点投影到顶视图对应点的单应性变换矩阵M：
2.3.1)设畸变校正后混合图像上的定标板角点点集的齐次坐标矩阵为XS＝[XS1XS2…XSi…XSn]，其中XSi是XS的第i列，XSi＝[xSiySi1]T，xSi为角点的横坐标，ySi为纵坐标，n为检测到的角点数目；
2.3.2)设顶视图坐标系下与定标板角点位置对应的点集齐次坐标矩阵为XT＝[XT1XT2…XTi…XTn]，其中XTi是XT的第i列，XTi＝[xTiyTi1]T，xTi为与角点相对应的点的横坐标，yTi为与角点相对应的点的纵坐标；
2.3.3)根据XS与XT满足单应性变换关系：XT＝M·XS，求解单应性变换矩阵M
M = h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 1 ,
推导得到：
Am＝0，
其中A是一个2n×9的矩阵,n为定标板上检测到的角点数目：
A = x S 1 y S 1 1 0 0 0 - x S 1 x T 1 - y S 1 x T 1 - x T 1 0 0 0 x S 1 y S 1 1 - x S 1 y T 1 - y S 1 y T 1 - y T 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . x S 1 y S 1 1 0 0 0 - x S i x T i - y S i x T i - x T i 0 0 0 x S 1 y S 1 1 - x S i y T i - y S i y T i - y T i . . . . . . . . . . . . . . . . . . . . . . . . . . . x S n y S n 1 0 0 0 - x S n x T n - y S n x T n - x T n 0 0 0 x S 1 y S 1 1 - x S n y T i - y S n y T n - y T n ,
m＝[h11h12h13h21h22h23h31h321]T，
其中h11、h12、h13分别表示单应性变换矩阵M中的第1行的第1列、第2列和第3列，h21、h22、h23分别表示单应性变换矩阵M中的第2行的第1列、第2列和第3列，h31、h32分别表示单应性变换矩阵M中的第3行的第1列和第2列；
2.3.4)使用奇异值分解将上述2n×9的矩阵A分解为两个正交矩阵UA和VA，以及一个奇异值矩阵SA,奇异值矩阵SA中最小的奇异值对应的第二个正交矩阵VA中的奇异向量即为最小二乘解,也就是上述向量m的解，进而得到单应性变换矩阵M，利用单应性变换矩阵M，将摄像头采集到的图像转换到顶视图，如图2(d)所示。
步骤3，将每帧图像转换到顶视图。
利用步骤1和步骤2结果，在车辆行驶时对摄像头采集的每帧图像进行转换，得到每帧图像转换后的顶视图，该转换出来的顶视图与汽车当前的位置相对应。
步骤4，对每帧图像转换后的顶视图进行特征点检测：若检测的当前帧是第一帧，则直接执行步骤6.2)，否则，将检测到的特征点与前一帧图像的特征点进行匹配。
步骤5，求解两相邻帧在顶视图坐标系下的旋转矩阵R和平移向量t。
根据顶视图坐标系下只存在旋转和平移，且旋转只有一个自由度，平移只有两个自由度的关系，根据步骤4中匹配到大量特征点对，使用最小二乘的方法求解两相邻帧的旋转矩阵R和平移向量t，以降低噪声和匹配错误点的对结果造成的影响。其实现步骤如下：
5.1)设前一帧匹配的点集坐标为XP＝[XP1XP2…XPi…XPm]，其中XPi是点集坐标XP的第i列，XPi＝[xPiyPi]T，xPi为匹配到的特征点在前一帧图像中的横坐标，yPi为纵坐标，m为匹配的点数；
5.2)设当前帧匹配的点集坐标为XC＝[XC1XC2…XCi…XCm]，其中XCi是点集坐标XC的第i列，XCi＝[xCiyCi]T,xCi为匹配到的特征点在当前帧图像中的横坐标，yCi为纵坐标；
5.3)根据XP和XC满足旋转和平移关系：XC＝R·XP+t，求解旋转矩阵R和平移向量t
R = c o s θ s i n θ - s i n θ cos θ , t = t x t y ,
其中θ为前一帧图像到当前帧图像的旋转角度，tx和ty分别为前一帧图像与当前帧图像位移的横坐标和纵坐标；
对方程组XC＝R·XP+t进行推导，得到齐次线性方程组：
Bn＝0，
其中B是一个2m×7的矩阵，m为当前帧图像与前一帧图像特征点匹配的数目，
B = x P 1 y P 1 0 0 1 0 - x C 1 0 0 x P 1 y P 1 0 1 - y C 1 . . . . . . . . . . . . . . . . . . . . . x P i y P i 0 0 1 0 - x C i 0 0 x P i y P i 0 1 - y C i . . . . . . . . . . . . . . . . . . . . . x P m y P m 0 0 1 0 - x C m 0 0 x P m y P m 0 1 - x C m ,
n＝[cosθsinθ-sinθcosθtxty1]T，
5.4)使用奇异值分解将上述2m×7的矩阵B分解为两个正交矩阵UB和VB，以及一个奇异值矩阵SB,奇异值矩阵SB中最小的奇异值对应的第二个正交矩阵VB中的奇异向量即为最小二乘解,也就是上述向量n的解，进而得到旋转矩阵R和平移矩阵t。
步骤6，顶视图拼接。
6.1)根据步骤4求得的旋转矩阵R和平移矩阵t，将顶视图与新采集到的图像的顶视图拼接形成新的顶视图，并进行保存；
6.2)在新的顶视图中，将当前帧的顶视图部分保留为彩色，其余部分为灰色图像；
6.3)将汽车模型图案显示在屏幕中，使生成的顶视图与当前车身所在位置相对应。
步骤7，生成360度全景影像。
循环执行步骤3到步骤6，在车辆行驶多于一个车身的距离后，得到车身周围360度的动态全景影像，直到拍摄停止。
循环执行步骤3到步骤6生成全景影像的过程，如图3所示，其中：
图3(a)是摄像头采集到第一帧图像，并进行畸变校正后的结果；
图3(d)是与图3(a)相对应的转换为顶视图的结果；
图3(b)是车辆行驶了一段距离后摄像头采集到的图像；
图3(e)是与图3(b)相对应的转换为顶视图后与之前保存的顶视图拼接后的结果图中当前帧的顶视图部分保留为彩色，其余部分为灰色图像；
图3(c)是车辆行驶多于一个车身的距离后摄像头采集到的图像；
图3(f)是与图3(c)相对应的转换为顶视图后与之前保存的顶视图拼接后的结果，图3(f)显示了车身周围360度的全景影像及汽车模型图案，全景影像及汽车模型的相对位置与当前车身在真实场景中的位置相对应。

Claims (4)

1.一种基于单摄像头的360度全景影像生成方法，包括：
(1)使用一个车载前摄像头或后摄像头，并用定标板对摄像头采集到的采样图像进行标定，得到摄像头的内参矩阵K和畸变系数D；
(2)将定标板平置在地面之上，利用摄像机拍摄一幅包含定标板的混合图像，并检测该混合图像上的定标板角点,利用步骤(1)中得到的内参矩阵K和畸变系数D对混合图像进行畸变校正，进而得到畸变校正后混合图像上的定标板角点,定义一个顶视图坐标系以及该坐标系下对应定标板角点的点集，计算畸变校正后混合图像上的定标板角点投影到顶视图坐标系下的对应点的单应性变换矩阵M；
(3)利用步骤(1)和步骤(2)结果，在车辆行驶时对摄像头采集的每帧图像进行转换，得到每帧图像转换后的顶视图；
(4)对每帧图像转换后的顶视图进行特征点检测：若检测的当前帧是第一帧，则直接执行步骤(5b)，否则，将检测到的特征点与前一帧图像的特征点进行匹配，求解两相邻帧在顶视图坐标系下的旋转矩阵R和平移向量t，执行步骤5a)；
(5)顶视图拼接：
5a)根据步骤(4)求得的旋转矩阵R和平移向量t，将顶视图与新采集到的图像的顶视图拼接形成新的顶视图，并进行保存；
5b)在新的顶视图中，将当前帧的顶视图部分保留为彩色，其余部分为灰色图像；5c)将汽车模型图案显示在屏幕中，使生成的顶视图与当前车身所在位置相对应；
(6)循环执行步骤(3)到步骤(5)，在车辆行驶多于一个车身的距离后，得到车身周围360度的动态全景影像，直到拍摄停止。
2.根据权利要求1所述的基于单摄像头的360度全景影像生成方法，其特征在于：骤(1)中用定标板对摄像头采集到的采样图像进行标定，按如下步骤进行：
(1a)使用摄像头采集若干张包含定标板的采样图像，并使定标板在采样图像中呈现不同的大小和姿态；
(1b)对采样图像中的定标板进行角点检测，利用鱼眼镜头模型计算得到摄像头的内参矩阵K和畸变系数D:
K = f x 0 u x 0 f y u y 0 0 1 ,
D＝[d0d1d2d3d4]T，
其中fx＝f/dx，fy＝f/dy，分别称为采样图像上u轴和v轴上的归一化焦距；f是相机的焦距，dx和dy分别表示传感器u轴和v轴上单位像素的尺寸大小，ux和uy表示光学中心坐标，即摄像机光轴与图像平面的交点；d0、d1、d2、d3和d4分别表示鱼眼镜头模型中入射光线与鱼眼相机光轴之间夹角θ的多项近似式θd的前5项系数。
3.根据权利要求1所述的基于单摄像头的360度全景影像生成方法，其特征在于：步骤(2)中计算畸变校正后混合图像上的定标板角点投影到顶视图坐标系下的对应点的单应性变换矩阵M，按如下步骤进行：
(2a)设畸变校正后混合图像上的定标板角点点集的齐次坐标矩阵为XS＝[XS1XS2…XSi…XSn]，其中XSi是XS的第i列，XSi＝[xSiySi1]T，xSi为角点的横坐标，ySi为纵坐标，n为检测到的角点数目；
(2b)设顶视图坐标系下与定标板角点位置对应的点集齐次坐标矩阵为XT＝[XT1XT2…XTi…XTn]，其中XTi是XT的第i列，XTi＝[xTiyTi1]T，xTi为与角点相对应的点的横坐标，yTi为与角点相对应的点的纵坐标；
(2c)根据XS与XT满足单应性变换关系：XT＝M·XS，求解单应性变换矩阵M
M = h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 1 ,
推导得到：
Am＝0，
其中A是一个2n×9的矩阵,n为定标板上检测到的角点数目：
A = x S 1 y S 1 1 0 0 0 - x S 1 x T 1 - y S 1 x T 1 - x T 1 0 0 0 x S 1 y S 1 1 - x S 1 y T 1 - y S 1 y T 1 - y T 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . x S 1 y S 1 1 0 0 0 - x S i x T i - y S i x T i - x T i 0 0 0 x S 1 y S 1 1 - x S i y T i - y S i y T i - y T i . . . . . . . . . . . . . . . . . . . . . . . . . . . x S n y S n 1 0 0 0 - x S n x T n - y S n x T n - x T n 0 0 0 x S 1 y S 1 1 - x S n y T n - y S n y T n - y T n ,
m＝[h11h12h13h21h22h23h31h321]T，
其中h11、h12、h13分别表示单应性变换矩阵M中的第1行的第1列、第2列和第3列，h21、h22、h23分别表示单应性变换矩阵M中的第2行的第1列、第2列和第3列，h31、h32分别表示单应性变换矩阵M中的第3行的第1列和第2列；
(2d)使用奇异值分解将上述2n×9的矩阵A分解为两个正交矩阵UA和VA，以及一个奇异值矩阵SA,奇异值矩阵SA中最小的奇异值对应的第二个正交矩阵VA中的奇异向量即为最小二乘解,也就是上述向量m的解，进而得到单应性变换矩阵M。
4.根据权利要求1所述的基于单摄像头的360度全景影像生成方法，其特征在于：步骤(4)中求解两相邻帧在顶视图坐标系下的旋转矩阵R和平移向量t，按如下步骤进行：
(4a)设前一帧匹配的点集坐标为XP＝[XP1XP2…XPi…XPm]，其中XPi是点集坐标XP的第i列，XPi＝[xPiyPi]T，xPi为匹配到的特征点在前一帧图像中的横坐标，yPi为纵坐标，m为匹配的点数；
(4b)设当前帧匹配的点集坐标为XC＝[XC1XC2…XCi…XCm]，其中XCi是点集坐标XC的第i列，XCi＝[xCiyCi]T,xCi为匹配到的特征点在当前帧图像中的横坐标，yCi为纵坐标；
(4c)根据XP和XC满足旋转和平移关系：XC＝R·XP+t，求解旋转矩阵R和平移向量t
R = c o s θ s i n θ - s i n θ cos θ , t = t x t y ,
其中θ为前一帧图像到当前帧图像的旋转角度，tx和ty分别为前一帧图像与当前帧图像位移的横坐标和纵坐标；
对方程组XC＝R·XP+t进行推导，得到齐次线性方程组：
Bn＝0，
其中B是一个2m×7的矩阵，m为当前帧图像与前一帧图像特征点匹配的数目，
B = x P 1 y P 1 0 0 1 0 - x C 1 0 0 x P 1 y P 1 0 1 - y C 1 . . . . . . . . . . . . . . . . . . . . . x P i y P i 0 0 1 0 - x C i 0 0 x P i y P i 0 1 - y C i . . . . . . . . . . . . . . . . . . . . . x P m y P m 0 0 1 0 - x C m 0 0 x P m y P m 0 1 - x C m ,
n＝[cosθsinθ-sinθcosθtxty1]T，
(4d)使用奇异值分解将上述2m×7的矩阵B分解为两个正交矩阵UB和VB，以及一个奇异值矩阵SB,奇异值矩阵SB中最小的奇异值对应的第二个正交矩阵VB中的奇异向量即为最小二乘解,也就是上述向量n的解，进而得到旋转矩阵R和平移矩阵t。
CN201610203504.2A 2016-04-01 2016-04-01 基于单摄像头的360度全景影像生成方法 Active CN105825475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610203504.2A CN105825475B (zh) 2016-04-01 2016-04-01 基于单摄像头的360度全景影像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610203504.2A CN105825475B (zh) 2016-04-01 2016-04-01 基于单摄像头的360度全景影像生成方法

Publications (2)

Publication Number Publication Date
CN105825475A true CN105825475A (zh) 2016-08-03
CN105825475B CN105825475B (zh) 2019-01-29

Family

ID=56525672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610203504.2A Active CN105825475B (zh) 2016-04-01 2016-04-01 基于单摄像头的360度全景影像生成方法

Country Status (1)

Country Link
CN (1) CN105825475B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060427A (zh) * 2016-08-25 2016-10-26 刘开剑 基于单摄像头的全景成像方法及其装置
CN106355550A (zh) * 2016-10-31 2017-01-25 微景天下（北京）科技有限公司 图像拼接***和图像拼接方法
CN106384367A (zh) * 2016-08-26 2017-02-08 深圳拍乐科技有限公司 一种全景相机的自动稳定视角的方法
CN106476696A (zh) * 2016-10-10 2017-03-08 深圳市前海视微科学有限责任公司 一种倒车引导***及方法
CN106596073A (zh) * 2016-12-28 2017-04-26 歌尔科技有限公司 一种检测光学***像质的方法和***及一种测试标板
CN106815873A (zh) * 2017-01-19 2017-06-09 宁波维森智能传感技术有限公司 摄像头内参的确定方法和装置
CN107492125A (zh) * 2017-07-28 2017-12-19 哈尔滨工业大学深圳研究生院 汽车鱼眼镜头环视图像的处理方法
CN107507131A (zh) * 2017-08-08 2017-12-22 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法
CN107580175A (zh) * 2017-07-26 2018-01-12 济南中维世纪科技有限公司 一种单镜头全景拼接的方法
CN108171655A (zh) * 2017-12-27 2018-06-15 深圳普思英察科技有限公司 基于单目摄像头的倒车影像拼接方法和装置
CN109131082A (zh) * 2018-08-31 2019-01-04 深圳以恒科技有限公司 一种完全基于视觉的单目全景泊车影像***及其泊车方法
CN109249859A (zh) * 2018-09-21 2019-01-22 奇瑞新能源汽车技术有限公司 一种汽车单摄像头投影全景显示***及电动汽车
CN109447901A (zh) * 2018-10-12 2019-03-08 北京双髻鲨科技有限公司 一种全景成像方法和装置
CN109523489A (zh) * 2018-11-28 2019-03-26 广州大学 一种生成俯视无畸变倒车影像的方法
CN111462172A (zh) * 2020-02-24 2020-07-28 西安电子科技大学 一种基于行驶场景估计的三维全景影像自适应生成方法
CN113221833A (zh) * 2021-06-01 2021-08-06 深圳市天双科技有限公司 一种后视摄像头实现全景泊车的方法
CN113723373A (zh) * 2021-11-02 2021-11-30 深圳市勘察研究院有限公司 一种基于无人机全景影像的违建检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132348A (ja) * 2001-10-23 2003-05-09 Vstone Kk 画像表示方法及び画像表示装置
CN102111610A (zh) * 2010-05-21 2011-06-29 深圳安科智能视频技术有限公司 用于辅助驾驶的全景式影像生成方法
CN102833525A (zh) * 2012-07-19 2012-12-19 中国人民解放军国防科学技术大学 一种360度全景视频的浏览操作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132348A (ja) * 2001-10-23 2003-05-09 Vstone Kk 画像表示方法及び画像表示装置
CN102111610A (zh) * 2010-05-21 2011-06-29 深圳安科智能视频技术有限公司 用于辅助驾驶的全景式影像生成方法
CN102833525A (zh) * 2012-07-19 2012-12-19 中国人民解放军国防科学技术大学 一种360度全景视频的浏览操作方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
廖国品: "全景视觉泊车辅助***算法研究", 《中国优秀硕士学位论文全文数据库 工程科技辑》 *
杜往泽等: "单摄像头旋转监控下的快速图像拼接", 《中国图象图形学报》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060427A (zh) * 2016-08-25 2016-10-26 刘开剑 基于单摄像头的全景成像方法及其装置
CN106384367A (zh) * 2016-08-26 2017-02-08 深圳拍乐科技有限公司 一种全景相机的自动稳定视角的方法
CN106384367B (zh) * 2016-08-26 2019-06-14 深圳拍乐科技有限公司 一种全景相机的自动稳定视角的方法
CN106476696A (zh) * 2016-10-10 2017-03-08 深圳市前海视微科学有限责任公司 一种倒车引导***及方法
CN106355550A (zh) * 2016-10-31 2017-01-25 微景天下（北京）科技有限公司 图像拼接***和图像拼接方法
CN106355550B (zh) * 2016-10-31 2024-04-09 河北鼎联科技有限公司 图像拼接***和图像拼接方法
CN106596073A (zh) * 2016-12-28 2017-04-26 歌尔科技有限公司 一种检测光学***像质的方法和***及一种测试标板
CN106815873A (zh) * 2017-01-19 2017-06-09 宁波维森智能传感技术有限公司 摄像头内参的确定方法和装置
CN107580175A (zh) * 2017-07-26 2018-01-12 济南中维世纪科技有限公司 一种单镜头全景拼接的方法
CN107492125A (zh) * 2017-07-28 2017-12-19 哈尔滨工业大学深圳研究生院 汽车鱼眼镜头环视图像的处理方法
CN107507131A (zh) * 2017-08-08 2017-12-22 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法
CN107507131B (zh) * 2017-08-08 2021-02-23 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法
CN108171655A (zh) * 2017-12-27 2018-06-15 深圳普思英察科技有限公司 基于单目摄像头的倒车影像拼接方法和装置
CN109131082A (zh) * 2018-08-31 2019-01-04 深圳以恒科技有限公司 一种完全基于视觉的单目全景泊车影像***及其泊车方法
CN109131082B (zh) * 2018-08-31 2022-03-15 深圳以恒科技有限公司 一种完全基于视觉的单目全景泊车影像***及其泊车方法
CN109249859A (zh) * 2018-09-21 2019-01-22 奇瑞新能源汽车技术有限公司 一种汽车单摄像头投影全景显示***及电动汽车
CN109447901A (zh) * 2018-10-12 2019-03-08 北京双髻鲨科技有限公司 一种全景成像方法和装置
CN109447901B (zh) * 2018-10-12 2023-12-19 北京双髻鲨科技有限公司 一种全景成像方法和装置
CN109523489B (zh) * 2018-11-28 2021-04-02 广州大学 一种生成俯视无畸变倒车影像的方法
CN109523489A (zh) * 2018-11-28 2019-03-26 广州大学 一种生成俯视无畸变倒车影像的方法
CN111462172A (zh) * 2020-02-24 2020-07-28 西安电子科技大学 一种基于行驶场景估计的三维全景影像自适应生成方法
CN111462172B (zh) * 2020-02-24 2023-03-24 西安电子科技大学 一种基于行驶场景估计的三维全景影像自适应生成方法
CN113221833A (zh) * 2021-06-01 2021-08-06 深圳市天双科技有限公司 一种后视摄像头实现全景泊车的方法
CN113723373A (zh) * 2021-11-02 2021-11-30 深圳市勘察研究院有限公司 一种基于无人机全景影像的违建检测方法

Also Published As

Publication number Publication date
CN105825475B (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
CN105825475A (zh) 基于单摄像头的360度全景影像生成方法
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
CN110969663B (zh) 一种相机外部参数的静态标定方法
CN105141945B (zh) 环景摄像机***(vpm)在线校准
CN107133988B (zh) 车载全景环视***中摄像头的标定方法及标定***
CN101425181B (zh) 一种全景视觉辅助泊车***的标定方法
CN202035096U (zh) 移动机械的移动操作监控***
CN102045546B (zh) 一种全景泊车辅助***
CN109446909A (zh) 一种单目测距辅助泊车***及方法
US9451236B2 (en) Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
KR100948886B1 (ko) 차량에 설치된 카메라의 공차 보정 장치 및 방법
US20100194886A1 (en) Camera Calibration Device And Method, And Vehicle
CN111739101B (zh) 一种消除车辆a柱盲区的装置和方法
CN102164274B (zh) 一种视场可变的车载虚拟全景***
US20130002861A1 (en) Camera distance measurement device
US20080186384A1 (en) Apparatus and method for camera calibration, and vehicle
CN101487895B (zh) 显示鸟瞰车辆图像的倒车雷达***
US20090303024A1 (en) Image Processing Apparatus, Driving Support System, And Image Processing Method
EP2079053A1 (en) Method and apparatus for calibrating a video display overlay
CN102982526A (zh) 标定车辆视觉***的方法和车辆视觉***
CN102163331A (zh) 采用标定方法的图像辅助***
CN104506764A (zh) 一种基于拼接视频图像的汽车行驶记录***
CN112224132A (zh) 一种车用全景环视障碍物预警方法
CN108596982A (zh) 一种简易的车载多目摄像机环视***标定方法及装置
CN111559314A (zh) 深度与图像信息融合的3d增强全景环视***及实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant