CN107038686A - 一种图像拼接处理的方法及设备 - Google Patents

Abstract

本发明公开了一种图像拼接处理的方法及设备，获取组成全景柱面投影视频的每帧全景柱面投影图像的所有拼接缝；利用相邻多帧全景柱面投影图像，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向；检测每帧全景柱面投影图像中的运动前景图像与拼接缝有交点时，从与拼接缝有交点的运动前景图像中确定位于所述运动方向的反方向上的最外侧像素点；基于梯度法，以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，将所述新拼接缝代替与运动前景图像有交点的拼接缝。本发明提供的图像拼接处理的方法及设备，使得物体穿过缝之前让拼接缝全部或部分绕过物体，降低物体穿过拼接缝出现不自然现象的类似于空间折叠的现象的概率。

Description

一种图像拼接处理的方法及设备

技术领域

本发明涉及全景图像处理技术领域，尤其涉及一种图像拼接处理的方法及设备。

背景技术

现有的非实时全景拼接技术中，对于全景视频中的每帧全景图像通常都是由多幅图像拼接而成，而每帧全景图像中的每两幅相交图像之间会存在拼接缝，使得全景视频中的每帧全景图像均存在至少一个拼接缝。

由于全景视频中的每帧全景图像均存在至少一个拼接缝，而在全景视频存在移动的物体时，该物体穿过拼接缝时现有技术中并没有进行任何处理，使得物体直接穿过拼接缝，而此时，会存在物体穿过拼接缝时出现不自然的类似于空间折叠的现象的问题。

发明内容

本发明提供一种图像拼接处理的方法及设备，能够在物体穿过拼接缝或即将穿过拼接缝的时候，重新计算出新拼接缝使得物体穿过缝之前让拼接缝全部或部分绕过物体，降低物体穿过拼接缝出现不自然现象的类似于空间折叠的现象的概率。

本申请实施例提供了一种图像拼接处理的方法，包括：

获取组成全景柱面投影视频的每帧全景柱面投影图像的所有拼接缝；

利用相邻多帧全景柱面投影图像，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向；

检测每帧全景柱面投影图像中的运动前景图像是否与拼接缝有交点；

在检测到某帧全景柱面投影图像中的运动前景图像与拼接缝有交点时，从与拼接缝有交点的运动前景图像中确定位于所述运动方向的反方向上的最外侧像素点；

基于梯度法，以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，将所述新拼接缝代替与运动前景图像有交点的拼接缝。

可选的，所述检测在每帧全景柱面投影图像中的运动前景图像是否与拼接缝有交点，具体包括：

获取每帧全景柱面投影图像中的运动前景图像的最***的像素点组成的轮廓点集；

从每帧全景柱面投影图像的轮廓点集中获取与所述运动方向的同向侧的所有像素点组成同向侧像素点集；

检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与拼接缝有交点。

可选的，所述检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与拼接缝有交点，具体包括：

检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与位于运动前景图像运动方向上的最近拼接缝有交点。

可选的，所述基于梯度法，以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，具体包括：

基于梯度下降法，以所述最外侧像素点为起点沿上下方向查到所述新拼接缝。

可选的，所述利用相邻多帧全景柱面投影图像，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向，具体包括：

获取运动前景图像的质心在相邻多帧全景柱面投影图像中的位置变化信息；

根据所述位置变化信息，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向。

本发明另一方面还提供了一种图像拼接处理设备，包括：

拼接缝获取单元，用于获取组成全景柱面投影视频的每帧全景柱面投影图像的所有拼接缝；

运动方向计算单元，用于利用相邻多帧全景柱面投影图像，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向；

交点检测单元，用于检测每帧全景柱面投影图像中的运动前景图像是否与拼接缝有交点；

最外侧像素点查找单元，用于在检测到某帧全景柱面投影图像中的运动前景图像与拼接缝有交点时，从与拼接缝有交点的运动前景图像中确定位于所述运动方向的反方向上的最外侧像素点；

拼接缝处理单元，用于基于梯度法，以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，将所述新拼接缝代替与运动前景图像有交点的拼接缝。

可选的，所述交点检测单元包括：

轮廓点集获取子单元，用于获取每帧全景柱面投影图像中的运动前景图像的最***的像素点组成的轮廓点集；

同向侧像素点集获取子单元，用于从每帧全景柱面投影图像的轮廓点集中获取与所述运动方向的同向侧的所有像素点组成同向侧像素点集；

交点检测子单元，用于检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与拼接缝有交点。

可选的，所述交点检测子单元，具体用于检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与位于运动前景图像运动方向上的最近拼接缝有交点。

可选的，所述拼接缝处理单元，具体用于基于梯度下降法，以所述最外侧像素点为起点沿上下方向查到所述新拼接缝。

可选的，所述运动方向计算单元具体包括：

位置变化信息获取子单元，用于获取运动前景图像的质心在相邻多帧全景柱面投影图像中的位置变化信息；

运动方向计算子单元，用于根据所述位置变化信息，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向。

本发明的有益效果如下：

基于上述技术方案，本发明实施例中在检测到某帧全景柱面投影图像中的运动前景图像与拼接缝有交点时，从与拼接缝有交点的运动前景图像中确定位于所述运动方向的反方向上的最外侧像素点；然后以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，并将所述新拼接缝代替与运动前景图像有交点的拼接缝，如此，使得运动前景图像在与运动方向上的拼接缝有交点时，将所述新拼接缝代替与运动前景图像有交点的拼接缝，并在运动前景图像的运动方向的反向侧新建一个新拼接缝，使得运动前景图像在继续运动时，确保运动前景图像穿过与其有交点的拼接缝之前让拼接缝部分或全部绕过运动前景图像，降低了运动前景图像穿过拼接缝过程中出现不自然现象的类似于空间折叠现象的概率，使得运动前景图像在穿过拼接缝时的效果更好。

附图说明

图1为本发明实施例中图像拼接处理的方法的流程图；

图2为本发明实施例中运动前景图像与拼接缝没有交点时的结构图；

图3为本发明实施例中运动前景图像与拼接缝有交点时的结构图；

图4为本发明实施例中图像拼接处理设备的模块图。

具体实施方式

本发明提供一种图像拼接处理的方法及设备，能够在物体穿过拼接缝或即将穿过拼接缝的时候，重新计算出新拼接缝使得物体穿过缝之前让拼接缝全部或部分绕过物体，降低物体穿过拼接缝出现不自然现象的类似于空间折叠的现象的概率。

下面结合附图对本发明优选的实施方式进行详细说明。

如图1所示，本发明实施例提供了一种图像拼接处理的方法，包括：

S101、获取组成全景柱面投影视频的每帧全景柱面投影图像的所有拼接缝；

S102、利用相邻多帧全景柱面投影图像，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向；

S103、检测每帧全景柱面投影图像中的运动前景图像是否与拼接缝有交点；

S104、在检测到某帧全景柱面投影图像中的运动前景图像与拼接缝有交点时，从与拼接缝有交点的运动前景图像中确定位于所述运动方向的反方向上的最外侧像素点；

S105、基于梯度法，以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，将所述新拼接缝代替与运动前景图像有交点的拼接缝。

其中，在步骤S101中，可以通过N个摄像设备同一时刻采集N个图像，然后将同一时刻采集的N个图像拼接成一帧全景柱面投影图像，通过此种方式能够获取到组成全景柱面投影视频的每帧全景柱面投影图像，而且由于全景柱面投影图像是由N个图像拼接而成，使得每帧全景柱面投影图像中存在由相应N个图像拼接形成的M个拼接缝，其中，N为不小于2的整数，M为不小于1的整数。

具体的，所述摄像设备例如可以是摄像机、摄像头、鱼眼镜头等拍摄设备，在所述摄像设备为鱼眼镜头等拍摄图像的畸变较大的拍摄设备时，需要将拍摄得到的N个图像转换为N个柱面投影图像，然后将转换后的N个柱面投影图像拼接而得到一帧全景柱面投影图像，获取并保存所述N个柱面投影图像拼接得到的M个拼接缝，如此，可以直接读取保存的所述所述N个柱面投影图像拼接得到的M个拼接缝，从而获取到每帧全景柱面投影图像的所有拼接缝；当然，也可以在执行步骤S101时，通过上述方法来获取到每帧全景柱面投影图像的所有拼接缝；以及在所述摄像设备为摄像机、摄像头等拍摄图像的畸变较小的拍摄设备，可以直接将N个图像进行拼接得到一帧全景柱面投影图像，获取并保存所述N个图像拼接得到的M个拼接缝，如此，通过此种方法可以获取到每帧全景柱面投影图像的所有拼接缝。

具体的，在将所述N个图像拼接得到M个拼接缝时，针对所述N个图像中任意两个相交图像以A图像和B图像为例，由于图像两两相交必然存在拼接缝，这时，可以采用seamCarving等拼接方法来计算A和B的相交图像区域，使这个缝尽可能的从上到下，沿着梯度最大或最小得到一条拼接缝。

接下来执行步骤S102，首先提取每帧全景柱面投影图像中的前景图像，然后再利用相邻多帧全景柱面投影图像，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向。

在具体实施过程中，可以通过合高斯模型、帧差法、平均背景法、光流法等提取方法来提取每帧全景柱面投影图像中的前景图像，提取前景图像后的每帧全景柱面投影图像可以为二进制图像，其中，每帧全景柱面投影图像对应的二进制图像中可以用黑色部分表示背景图像，白色部分表示前景图像；当然，也可以用白色部分表示背景图像、黑色部分表示前景图像；也可以用蓝色部分表示背景图像、白色部分表示前景图像等，本申请不作具体限制；在提取每帧全景柱面投影图像中的前景图像之后，再利用相邻多帧全景柱面投影图像，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向。

具体来讲，在提取出每帧全景柱面投影图像中的前景图像之后，可以获取前景图像的质心在相邻多帧全景柱面投影图像中的位置变化信息；根据所述位置变化信息，从每帧全景柱面投影图像中的前景图像中确定出每帧全景柱面投影图像中的运动前景图像及其运动方向，其中，每帧全景柱面投影图像中的前景图像的数量可以为一个或多个，且每帧全景柱面投影图像中的运动前景图像也可以为一个或多个，在运动前景图像的数量为多个时，针对每个运动前景图像均执行步骤S103～S105，下面具体以前景图像的数量为1个为例。

具体的，根据运动物体的连续性，计算出每帧全景柱面投影图像对应的二进制图像中前景图像的质心位置用Pm(x，y)表示，然后比较每帧全景柱面投影图像对应的二进制图像中前景图像的质心位置的变换情况，在所述变化情况表征前景图像的质心位置有变化时，确定该前景图像为运动前景图像，并根据所述变化情况，得到每帧全景柱面投影图像中的运动前景图像的运动方向；如图2所示，针对二进制图像20建立一个坐标系(x，0，y)，当每帧全景柱面投影图像中的前景图像21的质心x的值逐渐变大时，可以判定每帧全景柱面投影图像中的前景图像21为运动前景图像；且由于x的值逐渐变大，则得到前景图像21的运动方向是向右移动；以及当x的值逐渐变小，可以判定每帧全景柱面投影图像中的前景图像21为运动前景图像；且由于x的值逐渐变小，则得到前景图像21的运动方向是向左移动；其中，m可以依次从1取到k，k为不小于2的整数，m的取值不同其对应的全景柱面投影图像也不同。

例如，若图2中还有另一前景图像，则获取每帧全景柱面投影图像中另一前景图像的质心x的取值，当x的取值维持不变时，可以判定另一前景图像不为运动前景图像，此时，禁止对另一前景图像执行上述操作。

接下来执行步骤S103，检测每帧全景柱面投影图像中的运动前景图像是否与位于运动前景图像的运动方向上的最近拼接缝有交点。

在具体实施过程中，首先可以根据所述运动方向和每帧全景柱面投影图像中的运动前景图像的坐标和所有拼接缝的坐标，确定出每帧全景柱面投影图像中的运动前景图像对应的最近拼接缝，然后检测每帧全景柱面投影图像中的运动前景图像是否与对应的最近拼接缝有交点；若有交点，则执行步骤S104；若没有交点，则对下一帧全景柱面投影图像继续执行步骤S101～S105。

具体来讲，也可以检测每帧全景柱面投影图像中的运动前景图像的坐标集合与该帧全景柱面投影图像中的所有拼接缝的坐标集合中是否存在相同的坐标，以此来检测每帧全景柱面投影图像中的运动前景图像是否与拼接缝有交点；若某帧全景柱面投影图像中的运动前景图像的坐标集合与该帧全景柱面投影图像中的所有拼接缝的坐标集合中存在相同的坐标，则判定该帧全景柱面投影图像中的运动前景图像与拼接缝有交点；若某帧全景柱面投影图像中的运动前景图像的坐标集合与该帧全景柱面投影图像中的所有拼接缝的坐标集合中不存在相同的坐标，则判定该帧全景柱面投影图像中的运动前景图像与拼接缝没有交点。

例如，图2所示，若前景图像21为运动前景图像，且前景图像21的移动方向是向右移动，则根据前景图像21的坐标，获取前景图像21右边的距离前景图像21的最近的拼接缝，然后判断前景图像21与右边最近拼接缝是否有交点，若有交点，则执行步骤S104；若没有交点，则对下一帧全景柱面投影图像继续执行步骤S101～S105。

本申请实施例中，在执行步骤S103时，也可以获取每帧全景柱面投影图像中的运动前景图像的最***的像素点组成的轮廓点集；从每帧全景柱面投影图像的轮廓点集中获取与所述运动方向的同向侧的所有像素点组成同向侧像素点集；检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与拼接缝有交点；当然，也可以检测每帧全景柱面投影图像中的同向侧像素点集是否与位于运动前景图像运动方向上的最近拼接缝有交点。

在具体实施过程中，所述同向侧为运动前景图像中与所述运动方向同向的侧面，即所述运动方向为向右移动，所述同向侧为运动前景图像的右侧；若所述运动方向为向左移动，所述同向侧为运动前景图像的左侧；在获取每帧全景柱面投影图像中的运动前景图像的轮廓点集之后，利用所述运动方向，获取每帧全景柱面投影图像中的运动前景图像的同向侧像素点集；然后检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与拼接缝有交点，若有交点，则执行步骤S104；若没有交点，则对下一帧全景柱面投影图像继续执行步骤S101～S105。

例如，参见图2，若前景图像21为运动前景图像，且前景图像21的运动方向为向右移动，则前景图像21与运动方向的同向侧为前景图像21的右侧；然后从前景图像21的轮廓点集中获取右侧像素点集，并检测右侧像素点集中的所有像素点是否与前景图像21右侧的最近拼接缝有交点，若有交点，则执行步骤S104；若没有交点，则对下一帧全景柱面投影图像继续执行步骤S101～S105。

本申请实施例中，在执行步骤S103时，也可以利用所述运动方向，将位于运动前景图像运动方向上的最近拼接缝与运动前景图像中的每个像素点进行比对，在对比出运动前景图像中的某个像素点与所述最近拼接缝中的一个像素点重合时，则可以判定该帧全景柱面投影图像中的运动前景图像与拼接缝有交点；若对比出运动前景图像中的所有像素点均未与所述最近拼接缝中的像素点重合时，则可以判定该帧全景柱面投影图像中的运动前景图像与拼接缝没有交点；若有交点，则执行步骤S104；若没有交点，则对下一帧全景柱面投影图像继续执行步骤S101～S105。。

接下来执行步骤S104，在检测到某帧全景柱面投影图像中的运动前景图像与拼接缝有交点时，可以获取该帧全景柱面投影图像中的运动前景图像的最***的像素点组成的轮廓点集；并从该帧全景柱面投影图像中的运动前景图像的轮廓点集中获取与所述运动方向的反向侧的所有像素点组成反向侧像素点集；然后从该帧全景柱面投影图像中的反向侧像素点集中获取所述最外侧像素点。

当然，在检测到某帧全景柱面投影图像中的运动前景图像与拼接缝有交点时，也可以将该帧全景柱面投影图像中的运动前景图像的所有像素点中查找到所述最外侧像素点。

具体来讲，所述反向侧为运动前景图像中与所述运动方向反向的侧面，即所述运动方向为向右移动，所述反向侧为运动前景图像的左侧；若所述运动方向为向左移动，所述反向侧为运动前景图像的右侧；在获取某帧全景柱面投影图像中的运动前景图像的轮廓点集之后，在检测到该帧景柱面投影图像中的运动前景图像与拼接缝有交点时，利用所述运动方向，获取该帧全景柱面投影图像中的运动前景图像的反向侧像素点集；然后从获取的反向侧像素点集中查找到所述最外侧像素点。

具体的，若所述运动方向为向右移动，运动前景图像中的最外侧像素点为最左边的像素点；若所述运动方向为向左移动，运动前景图像中的最外侧像素点为最右侧的像素点。

例如，如图3所示，在某帧全景柱面投影图像中前景图像21与最近拼接线22存在交点A，然后获取前景图像21的左侧像素点集，然后从所述左侧像素点集中查找到x值最小的像素点B为最外侧像素点。

接下来执行步骤S105，可以基于梯度下降法，以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，将所述新拼接缝代替与运动前景图像有交点的拼接缝。

当然，也可以基于梯度上升法，以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，将所述新拼接缝代替与运动前景图像有交点的拼接缝。

具体来讲，在将所述新拼接缝代替与运动前景图像有交点的拼接缝时，可以保存所述新拼接缝并删除与运动前景图像有交点的拼接缝；也可以直接将所述新拼接缝替换与运动前景图像有交点的拼接缝，本申请不作具体限制。

由于是以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，并将所述新拼接缝代替与运动前景图像有交点的拼接缝，如此，使得运动前景图像在与运动方向上的拼接缝有交点时，将所述新拼接缝代替与运动前景图像有交点的拼接缝，并在运动前景图像及其运动方向的反向侧新建一个新拼接缝，使得运动前景图像在继续运动时，确保运动前景图像穿过与其有交点的拼接缝之前让拼接缝部分或全部绕过运动前景图像，降低了运动前景图像穿过拼接缝过程中出现不自然现象的类似于空间折叠现象的概率，使得运动前景图像在穿过拼接缝时的效果更好。

本申请实施例中，优选的，所述新拼接缝与对应的运动前景图像可以仅有一个交点为所述最外侧像素点，此时，由于删除了与运动前景图像有交点的拼接缝且所述新拼接缝与对应的运动前景图像仅有一个交点，使得运动前景图像在继续运动时，能够确保运动前景图像穿过与其有交点的拼接缝之前让拼接缝全部绕过运动前景图像，从而完全解决运动前景图像穿过拼接缝过程中出现不自然现象的类似于空间折叠现象的问题；当然，所述新拼接缝也可以与对应的运动前景图像也可以存在多个交点，由于删除了与运动前景图像有交点的拼接缝且所述新拼接缝与对应的运动前景图像仅有一个交点，使得运动前景图像在继续运动时，能够确保运动前景图像穿过与其有交点的拼接缝之前让拼接缝部分绕过运动前景图像，降低了运动前景图像穿过拼接缝过程中出现不自然现象的类似于空间折叠现象的概率，使得运动前景图像在穿过拼接缝时的效果更好。

例如，如图3所示，在某帧全景柱面投影图像中前景图像21与最近拼接线22存在交点A，然后获取前景图像21的最外侧像素点为B，然后基于梯度下降法，以B为起点沿上下方向查找到一个新拼接缝23，并删除拼接缝22，其中，新拼接缝23与前景图像21仅存在一个交点为B。

基于与上述方法相同的技术构思，本发明实施例提供了一种图像拼接处理设备，如图4所示，包括：

拼接缝获取单元401，用于获取组成全景柱面投影视频的每帧全景柱面投影图像的所有拼接缝；

运动方向计算单元402，用于利用相邻多帧全景柱面投影图像，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向；

交点检测单元403，用于检测每帧全景柱面投影图像中的运动前景图像是否与拼接缝有交点；

最外侧像素点查找单元404，用于在检测到某帧全景柱面投影图像中的运动前景图像与拼接缝有交点时，从与拼接缝有交点的运动前景图像中确定位于所述运动方向的反方向上的最外侧像素点；

拼接缝处理单元405，用于基于梯度法，以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，将所述新拼接缝代替与运动前景图像有交点的拼接缝。

较佳的，交点检测单元403包括：

轮廓点集获取子单元，用于获取每帧全景柱面投影图像中的运动前景图像的最***的像素点组成的轮廓点集；

同向侧像素点集获取子单元，用于从每帧全景柱面投影图像的轮廓点集中获取与所述运动方向的同向侧的所有像素点组成同向侧像素点集；

交点检测子单元，用于检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与拼接缝有交点。

较佳的，所述交点检测子单元，具体用于检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与位于运动前景图像运动方向上的最近拼接缝有交点。

较佳的，拼接缝处理单元405，具体用于基于梯度下降法，以所述最外侧像素点为起点沿上下方向查到所述新拼接缝。

较佳的，运动方向计算单元402具体包括：

位置变化信息获取子单元，用于获取运动前景图像的质心在相邻多帧全景柱面投影图像中的位置变化信息；

运动方向计算子单元，用于根据所述位置变化信息，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向。

本发明的有益效果如下：

基于上述技术方案，本发明实施例中在检测到某帧全景柱面投影图像中的运动前景图像与拼接缝有交点时，从与拼接缝有交点的运动前景图像中确定位于所述运动方向的反方向上的最外侧像素点；然后以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，并将所述新拼接缝代替与运动前景图像有交点的拼接缝，如此，使得运动前景图像在与运动方向上的拼接缝有交点时，将所述新拼接缝代替与运动前景图像有交点的拼接缝，并在运动前景图像及其运动方向的反向侧新建一个新拼接缝，使得运动前景图像在继续运动时，确保运动前景图像穿过与其有交点的拼接缝之前让拼接缝部分或全部绕过运动前景图像，降低了运动前景图像穿过拼接缝过程中出现不自然现象的类似于空间折叠现象的概率，使得运动前景图像在穿过拼接缝时的效果更好。

本发明实施例中所述模块或单元，可以通过通用集成电路，例如CPU(CentralProcessing Unit，中央处理器)，或通过ASIC(Application SpecificIntegratedCircuit，专用集成电路)来实现。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种图像拼接处理的方法，其特征在于，包括：

获取组成全景柱面投影视频的每帧全景柱面投影图像的所有拼接缝；

利用相邻多帧全景柱面投影图像，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向；

检测每帧全景柱面投影图像中的运动前景图像是否与拼接缝有交点；

在检测到某帧全景柱面投影图像中的运动前景图像与拼接缝有交点时，从与拼接缝有交点的运动前景图像中确定位于所述运动方向的反方向上的最外侧像素点；

基于梯度法，以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，将所述新拼接缝代替与运动前景图像有交点的拼接缝。

2.如权利要求1所述的方法，其特征在于，所述检测在每帧全景柱面投影图像中的运动前景图像是否与拼接缝有交点，具体包括：

获取每帧全景柱面投影图像中的运动前景图像的最***的像素点组成的轮廓点集；

从每帧全景柱面投影图像的轮廓点集中获取与所述运动方向的同向侧的所有像素点组成同向侧像素点集；

检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与拼接缝有交点。

3.如权利要求2所述的方法，其特征在于，所述检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与拼接缝有交点，具体包括：

检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与位于运动前景图像运动方向上的最近拼接缝有交点。

4.如权利要求1所述的方法，其特征在于，所述基于梯度法，以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，具体包括：

基于梯度下降法，以所述最外侧像素点为起点沿上下方向查到所述新拼接缝。

5.如权利要求1所述的方法，其特征在于，所述利用相邻多帧全景柱面投影图像，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向，具体包括：

获取运动前景图像的质心在相邻多帧全景柱面投影图像中的位置变化信息；

根据所述位置变化信息，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向。

6.一种图像拼接处理设备，其特征在于，包括：

拼接缝获取单元，用于获取组成全景柱面投影视频的每帧全景柱面投影图像的所有拼接缝；

运动方向计算单元，用于利用相邻多帧全景柱面投影图像，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向；

交点检测单元，用于检测每帧全景柱面投影图像中的运动前景图像是否与拼接缝有交点；

最外侧像素点查找单元，用于在检测到某帧全景柱面投影图像中的运动前景图像与拼接缝有交点时，从与拼接缝有交点的运动前景图像中确定位于所述运动方向的反方向上的最外侧像素点；

拼接缝处理单元，用于基于梯度法，以所述最外侧像素点为起点沿上下方向查找到一个新拼接缝，将所述新拼接缝代替与运动前景图像有交点的拼接缝。

7.如权利要求6所述的设备，其特征在于，所述交点检测单元包括：

轮廓点集获取子单元，用于获取每帧全景柱面投影图像中的运动前景图像的最***的像素点组成的轮廓点集；

同向侧像素点集获取子单元，用于从每帧全景柱面投影图像的轮廓点集中获取与所述运动方向的同向侧的所有像素点组成同向侧像素点集；

交点检测子单元，用于检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与拼接缝有交点。

8.如权利要求7所述的设备，其特征在于，所述交点检测子单元，具体用于检测每帧全景柱面投影图像中的同向侧像素点集中的每个像素点是否与位于运动前景图像运动方向上的最近拼接缝有交点。

9.如权利要求6所述的设备，其特征在于，所述拼接缝处理单元，具体用于基于梯度下降法，以所述最外侧像素点为起点沿上下方向查到所述新拼接缝。

10.如权利要求6所述的设备，其特征在于，所述运动方向计算单元具体包括：

位置变化信息获取子单元，用于获取运动前景图像的质心在相邻多帧全景柱面投影图像中的位置变化信息；

运动方向计算子单元，用于根据所述位置变化信息，计算出每帧全景柱面投影图像中的运动前景图像及其运动方向。