CN109801220A - 一种在线求解车载视频拼接中映射参数方法 - Google Patents

Abstract

本发明公开了一种在线求解车载视频拼接中映射参数方法。针对车载摄像头之间位置固定不变和图像特征不明显的特点，提出使用连续关键帧获取特征匹配对，并结合改进的误匹配对剔除方法，在线求解车载视频间映射参数的方法。首先使用ORB(Oriented FAST and Rotated Brief)算法累积提取图像间的特征匹配对，其次进行关键帧的筛选，然后将提取的匹配对进行粗筛选，最后利用改进的RANSAC算法细筛选，并求解出最优映射参数。通过车载图像拼接实验证明，该算法对低分辨率的摄像头，在特征不明显的路面场景下获取映射参数具有很好的效果。此方法不仅提高了求解映射参数的便利性，而且保留了拼接效果的准确性。

Description

一种在线求解车载视频拼接中映射参数方法

技术领域

本发明涉及一种在线求解车载视频拼接中映射参数的方法，属于计算机视觉和车辆辅助驾驶领域。

背景技术

随着智能汽车的发展，车载全景图像被广泛的应用于车辆安全行驶中。所谓的车载全景图像，就是在车辆运行中通过安装在车身周围不同方位的摄像头，对前后左右的视频进行图像采集，同一时刻会得到不同方位的图像帧，通过摄像头之间映射参数的变换，最后将其拼接成一张全景图像。车载全景图像的基本功能在于提供汽车周围360度的环视图像，可以为驾驶员提供车身周围的全景图像信息，基本上避免了盲点、视野盲区的存在，从而为安全驾驶提供足够的保障。车载全景图像的可用性完全取决于映射参数的准确性，如果映射参数存在偏差会导致拼接后的全景图像出现重影的效果。然而映射参数的数值和摄像头之间的相对位置密切相关，一旦摄像头之间的相对位置发生细微的变化都会引起映射参数数值的变化。

传统求解映射参数的方法是，通过线下标定的方式进行求解，然而这种方式既费时又不好操作。车辆在行驶的过程中由于颠簸或固定支架的松动会出现车载摄像头的位置发生变化，从而引起映射参数发生相应的变化。此时为了车载全景图像的效果，需要对车载摄像头进行重新标定，查找新的映射参数。为了简化标定映射参数的方法，本文提出在线求解映射参数的算法。

传统视觉图像拼接中映射矩阵的查找是基于单帧图像的特征点对，这种做法的前提是图像的分辨率较高，且场景的特征丰富。然而在车辆行驶的过程中摄像头获取的是路面图像，场景比较单一且特征点难以提取，因此这种方法不适用于车载全景图像中映射矩阵的求解。查阅了已有的文献之后，发现并没有一种方法能够在低分辨率的图像中通过提取图像的特征点准确求解出图像映射参数。

发明内容

本文针对车载摄像头之间的相对位置固定不变，且摄像头获取的图像在一个平面内的特点，提出基于连续关键帧共同提取特征点对，以扩大匹配对的质量和数量，从而弥补图像分辨率较低和场景特征点稀疏的不足。针对特征点对误匹配问题，提出粗细筛选相结合的方法进行优质匹配对的过滤。

本文方法步骤如下：

一.图像重合区域特征点提取

从相邻的摄像头中分别提取同时刻的图像帧，并且对图像之间的重合区域进行分割。分别提取保存重合区域的ORB特征点，为之后的关键帧提取和特征点匹配作预备工作。

二.图像连续关键帧的提取

使用ORB算法提取图像的特征点，统计同一时刻单帧图像的特征点数量，通过单帧图像中特征点的数量作为判定标准，进行关键帧的筛选。

三.特征点匹配

在每一对关键帧中分别提取图像的ORB特征点，计算两两特征点对之间的汉明距离。将距离最近的特征点进行匹配。

四.匹配对粗筛选

在经过第一次特征点匹配后,经常会出现目标图像中多个点与待匹配中同一个点匹配的情况，针对一对多的特征匹配对，采用反向匹配法：为待配准图像中的特征点进行单向匹配后，再对配准图像中的对应配点进行同阈值的逆向匹配，只保留双向匹配均为相同特征点对，将剩余不符合要求的特征点删除掉。通过逆向匹配的方式，可以找到唯一对应的匹配点，从而有效排除其他错误的匹配。

五.通过改进RANSAC算法求解映射参数

通过预划分特征点图像块的方式提高剔除误匹配对的效率，动态调整RANSAC求解中给的阈值的方式使特征点误匹配对剔除的方式更加准确。在筛选出的优质匹配对中使用最小二乘法求解映射参数。

综上所述，本发明针对车载摄像头之间位置固定不变和图像特征不明显的特点，提出使用连续关键帧获取特征匹配对，并结合改进的误匹配对剔除方法，在线求解车载视频间映射参数的算法。首先使用ORB(Oriented FAST and Rotated Brief)算法累积提取图像间的特征匹配对，进行关键帧的筛选，然后将提取的匹配对进行粗筛选，最后利用改进的RANSAC算法细筛选，并求解出最优映射参数。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1***整体框架；

图2关键帧的筛选；

图3一对多的匹配对实例；

图4特征匹配对网格分布；

图5车载摄像头安装示意图；

图6待拼接原图；

图7两种算法的拼接效果图；

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

(一)图像重合区域特征点提取

图像拼接中只有图像重合区域的特征点对计算映射参数有帮助，在特征点的匹配阶段如果存在非重合区域的特征点，反而会增加匹配阶段的运行时间，进一步增加误匹配对，对整体效果产生干扰。为了增加算法的鲁棒性，在计算映射参数的时候，输入的图像只是包含重合区域的部分。

将车载摄像头获取的图像经过鱼眼矫正预处理之后进行剪裁。如图5所示为车载摄像头的安装示意图，摄像头A所包含的区域为1，5，6；摄像头B包含的区域为2，7， 8；摄像头C所包含的区域为3，6，7；摄像头D所包含的区域为4，5，8。由图像可知区域5，6，7，8为摄像头之间的重合部分将这部分的图像作为算法的输入。考虑到车载全景视觉的实际应用场景为城市道路，因此截取其中的60秒路程作为算法的验证数据集。

(二)图像连续关键帧的提取

针对于车载摄像头获取的图像为路面场景，并不是每一帧都适合寻找特征匹配对。因为路面场景大部分情况特征过于单一，提取出的特征点不多，且过于相似。因此会大量增加误匹配对的概率，本文提出使用挑选关键帧的方式进行后续特征点匹配对查找。

使用ORB算法提取图像的特征点，统计同一时刻单帧图像的特征点数量F，同时设定挑选关键帧的判定阈值σ(判定阈值根据图像的质量决定)：

F₁&&F₂≥σ (1)

式中：F₁和F₂分别表示待匹配的两帧图像特征点数。若F₁和F₂同时大于阈值σ时，将其判定为关键帧。图2a为关键帧，图2b为非关键帧。图中每个小圆圈分别表示被提取出的特征点。

式中：表示提取关键帧的判定阈值的取值标准，J表示当前图像的分辨率。从式中可以表明当前图像的分辨率小于640x480时σ取20，大于640x480时σ取50。

(三)特征点匹配对的提取

在每一对关键帧中分别提取图像的ORB特征点，计算两两特征点对之间的汉明距离。将距离最近的特征点进行匹配，由于特征点匹配的过程只是依靠距离的信息作为判定标准，难免会出现误匹配的情况，因此需要有误匹配剔除的工作才能够更好的保障求得的映射参数的准确性。每一对关键帧中特征点匹配对在经过粗筛选之后，将留下的匹配对进行排序，考虑到匹配对的准确性，只是将排名靠前的匹配对存储在向量中。之后不断的从视频中获取关键帧中排名靠前的匹配对，存储在这个向量中，直到数量达到一定的阈值，此时停止获取图像开始进行下一步。

(四)匹配对粗筛选

在经过第一次特征点匹配后,经常会出现目标图像中多个点与待匹配中同一个点匹配的情况，针对一对多的特征匹配对，本文采用反向匹配法：为待配准图像中的特征点进行单向匹配后，再对配准图像中的对应配点进行同阈值的逆向匹配，只保留双向匹配均为相同双方的特征点对，将剩余不符合要求的特征点删除掉。通过逆向匹配的方式，可以找到唯一对应的匹配点，从而有效排除其他错误的匹配，如图3所示是一对多的匹配对实例。

(五)通过改进RANSAC算法求解映射参数

根据输入图像J的实际分辨率按照公式(3)设定一致性集合T和模型最大迭代次数Y的值。

式中：表示设定一致性集合T和模型最大迭代次数Y取值标准，J表示当前图像的分辨率。从式中可以表明当前图像的分辨率小于640x480时T取200，Y取3000；大于 640x480时T取300，Y取5000。

步骤1寻找图像中匹配点x,y坐标的最大值和最小值，计算出匹配对特征点在图像中的覆盖的面积S＝W*H,其中W表示匹配对特征点覆盖的宽度，H表示特征点覆盖的高度。并据此把图像中包含匹配点的部分平均分成w*h＝B块，其中w表示划分出图像块横向的数量，h表示划分出图像块纵向的数量。设定w＝1/10W，h＝1/10H。根据匹配关系每一个图像块中的所有特征点对应的匹配点，在另一个图像中也同样位于同一个图像块中。根据这个特性，通过判断同一图像块的特征点中对应的关系，将不符合对应关系的匹配对作为误匹配对剔除。

步骤2剔除不包含特征点对的空图像块，接着在图像中随机选取4个互不相同的块；

步骤3在每块中随机选取一个点，共得到4对匹配点对，计算出初始的变换矩阵；

步骤4用步骤3中得到的模型对集合中剩余的匹配点进行变换，并计算匹配点对之间的欧式距离，根据S(n)判断内点的数量；

步骤5判断模型的内点数量是否超过一致性集合T，若满足则根据以下公式(4) 调整S(n+1)；

步骤6重复步骤1，2，3，4，5通过不断比较求出包含内点数最多的预估模型，随着迭代次数的增加，划分图像块的数量也根据1.1倍的尺度随之扩大，当迭代的次数达到设定的上限Y时停止迭代；

步骤7选择内点数量最多的点集使用最小二乘法来重新估计模型。

式中Y表示模型最大迭代次数，c表示当前迭代次数，S(n)表示当前轮的内点数判定阈值，S(n+1)表示下一轮的内点数判定阈值。

实施例

如图1所示为计算图像间映射参数的整体框架，首先对相邻图像提取重合区域的特征点，针对特征点的数量进行关键帧的提取；然后根据匹配对中存在一对多的情况进行反向匹配，剔除匹配对中明显错误的点；其次在传统的RANSAC算法中提出改进方案，使其很好的进行误匹配对的剔除和优质匹配对的查找；最后在一个大的特征点对集合中进行摄像头间最优映射矩阵求解。

实施例采用车载摄像头视角为180度的镜头，图像分辨率为640x480。

首先根据步骤一，将四个摄像头获取的图像按照图5的示意图对图像进行分割，如图6所示，为图像间重合区域的示例原图。其中每一个ORB特征点将使用256对像素块进行特征描述。

根据步骤二，根据公式2，取σ＝20为关键帧的判定阈值。

根据步骤三，根据汉明距离作为判定标准，使用暴力匹配的方式对特征点候选值进行全局搜索，从而找到最符合的特征点对。

根据步骤四，在图像匹配对中通过反向匹配的方式将特征点中一对多的特征点对进行剔除冗余，并且在其中挑选出距离最近的一对特征点进行保存。

根据步骤五，根据公式3，设定一致性集合T＝200和模型最大迭代次数Y＝3000，图像块w和h分别取64和48进行实验。

图6作为两帧图像分别提取重合区域之后的原图，图7a为原来RANSAC算法的拼接效果图，拼接部分有重影效果，是因为映射参数不准确导致的结果；图7b为本文算法的拼接效果图，没有出现重影的情况。由此可以得出本文的算法更加具有鲁棒性。

表1传统RANSAC与改进RANSAC计算映射参数的效率对比

从表1的效率对比可以看出，本文改进的RANSAC具有极强的鲁棒性，可以提取传统RANSAC双倍的正确特征匹配对，两种算法的运算时间相差很大。造成这种现象的原因是本文改进的RANSAC在每次迭代的过程中都会消除一部分误匹配对，经过不断的迭代集合中错误的匹配对越来越少，因此算法能够更快的收敛达到更好的效果。

通过车载图像拼接实验证明，该算法对低分辨率的摄像头，在特征不明显的路面场景下获取映射参数具有很好的效果，不仅提高了图像拼接中求解映射参数的便利性，而且保留了车载视频拼接效果的准确性。

最后应说明的是：本方法所设计的各种参数需要根据实际应用的具体兴趣进行调整。以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种在线求解车载视频拼接中映射参数方法，其特征在于步骤如下：

一.图像重合区域特征点提取

从相邻的摄像头中分别提取同时刻的图像帧，并且对图像之间的重合区域进行分割；分别提取重合区域的ORB特征点，对提取出的特征点进行保存，为之后的关键帧提取和特征点匹配作预备工作；

二.图像连续关键帧的提取

使用ORB算法提取图像的特征点，统计同一时刻单帧图像的特征点数量，通过单帧图像中特征点的数量作为判定标准，进行关键帧的提取；

三.特征点匹配对的提取

在每一对关键帧中分别提取图像的ORB特征点，计算两两特征点对之间的汉明距离；将距离最近的特征点进行匹配；

四.匹配对粗筛选

在经过第一次特征点匹配后,经常会出现目标图像中多个点与待匹配中同一个点匹配的情况，针对一对多的特征匹配对，采用反向匹配法：为待配准图像中的特征点进行单向匹配后，再对配准图像中的对应配点进行同阈值的逆向匹配，只保留双向匹配均为相同双方的特征点对，将剩余不符合要求的特征点删除掉；通过逆向匹配的方式，找到唯一对应的匹配点，从而有效排除其他错误的匹配；

五.通过改进RANSAC算法求解映射参数

通过预划分特征点图像块的方式提高剔除误匹配对的效率，动态调整RANSAC求解中给的阈值的方式使特征点误匹配对剔除的方式更加准确；在筛选出的优质匹配对中使用最小二乘法求解映射参数。

2.根据权利要求1所述的方法，其特征在于提取连续关键帧的特征点进行匹配对的查找，具体步骤如下：

针对于车载摄像头获取的图像为路面场景，并不是每一帧都适合寻找特征匹配对；使用挑选关键帧的方式进行后续特征点匹配对查找；

使用ORB算法提取图像的特征点，统计同一时刻单帧图像的特征点数量F，同时设定挑选关键帧的判定阈值σ：

F₁&&F₂≥σ

式中：F₁和F₂分别表示待匹配的两帧图像特征点数；若F₁和F₂同时大于阈值σ时，将其判定为关键帧；

式中：表示提取关键帧的判定阈值的取值标准，J表示当前图像的分辨率；从式中表明当前图像的分辨率小于等于640x480时σ取20，大于640x480时σ取50。

3.根据权利要求1所述的方法,其特征在于改进RANSAC算法求解映射参数具体步骤如下：

根据输入图像J的实际分辨率按照公式(1)设定一致性集合T和模型最大迭代次数Y的值；

式中：表示设定一致性集合T和模型最大迭代次数Y取值标准，J表示当前图像的分辨率；从式中表明当前图像的分辨率小于640x480时T取200，Y取3000；大于640x480时T取300，Y取5000；

步骤1寻找图像中匹配点x,y坐标的最大值和最小值，计算出匹配对特征点在图像中的覆盖的面积S＝W*H,其中W表示匹配对特征点覆盖的宽度，H表示特征点覆盖的高度；并据此把图像中包含匹配点的部分平均分成w*h＝B块，其中w表示划分出图像块横向的数量，h表示划分出图像块纵向的数量；设定w＝1/10W，h＝1/10H；根据匹配关系每一个图像块中的所有特征点对应的匹配点，在另一个图像中也同样位于同一个图像块中；根据这个特性，通过判断同一图像块的特征点中对应的关系，将不符合对应关系的匹配对作为误匹配对剔除；

步骤2剔除不包含特征点对的空图像块，接着在图像中随机选取4个互不相同的块；

步骤3在每块中随机选取一个点，共得到4对匹配点对，计算出初始的变换矩阵；

步骤4用步骤3中得到的模型对集合中剩余的匹配点进行变换，并计算匹配点对之间的欧式距离，根据S(n)判断内点的数量；

步骤5判断模型的内点数量是否超过一致性集合T，若满足则根据以下公式(2)调整下一轮判断内点的阈值S(n+1)；

步骤6重复步骤1，2，3，4，5通过不断比较求出包含内点数最多的预估模型，随着迭代次数的增加，划分图像块的数量也根据1.1倍的尺度随之扩大，当迭代的次数达到设定的上限Y时停止迭代；

步骤7选择内点数量最多的点集使用最小二乘法来计算出映射参数；

式中Y表示模型最大迭代次数，c表示当前迭代次数，S(n)表示本轮的内点数判定阈值，S(n+1)表示下一轮的内点数判定阈值。