CN111225221A - 全景视频图像处理方法和装置 - Google Patents

Abstract

本发明公开了一种全景视频图像处理方法和装置，依据均布在360⁰空间优化位置上的摄像头的初设参数，获取多重重叠区域集合，获取相邻两个摄像机的光场，将所述光场按特定焦距调焦形成的两幅图像分别匹配,获得匹配图像的像素对应关系，遍历并获得所有相邻的摄像机图像的匹配位置对应关系集合；遍历多重重叠区域集合，根据匹配位置对应关系集合计算对应的光场数值，形成一帧光场的全景拼接，摄像结束后生成全景式光场视频。本发明还提供一种全景视频图像处理装置，通过本方法及装置，拼接形成画面自然、流畅、清晰、完整场视频，可以随意调速、调焦，清晰观看局部画面及全景画面，且有效改善了视频播放的卡滞现象。

Description

全景视频图像处理方法和装置

技术领域

本发明涉及视频处理技术领域，尤其涉及一种全景视频图像处理方法和装置。

背景技术

视频拼接技术已应用到很多领域，一方面应用在交通行业的视频实时监控领域，主要针对摄像机位置相对固定、摄像机摆放位置贴近体面的交通监控视频的拼接上；另一方面，应用到飞行器搭载摄像头360度全景拍摄如山川湖泊、名胜古迹、重要地理特征等无遮挡、视野广的全景图像。但目前，摄像头360度拍摄多使用普通摄像头安装在球面上拍摄，然后对视频进行单帧图像的拼接，拼接处理后视频的焦距不能改变，即对视频的清晰程度完全取决于当时摄像头拍摄的效果，因此，造成了拼接后的360度全景视频不能满足所有画面均清晰可见的视觉效果，同时，由于全景视频大不能流畅地播放。

发明内容

为解决上述问题，本发明提供了一种全景视频图像处理方法和装置，通过将光场摄像机均布在360°空间优化位置上进行全景拍摄，对拍摄的光场图像逐帧全景拼接，生成全景式光场视频，通过码流控制模块，使得光场视频播放画面自然、流畅、清晰、完整，通过该处理方法和装置不仅能够获得速度可调、焦距可调的清晰的局部及全景视频，而且确保了光场视频播放的质量，满足了观众的观看需求。

本发明提供的具体技术方案如下：

一种全景视频图像处理方法，包括如下步骤：

步骤1：依据布置在空间优化位置上的摄像机的初设参数，获取两两相邻摄像机成像的重叠区域；获取由多个摄像机成像形成的多重重叠区域集合，并获取每个摄像机对所述重叠区域的影响权重；

步骤2：获取由多个摄像机同步拍摄的一帧光场图像的数据，获取其中相邻两个摄像机的光场，将两个光场分别按最大焦距f_max、最小焦距f_min获得图像、及获得细节最丰富的图像,将两幅图像分别匹配,获得匹配图像的像素对应关系；

步骤3：通过形心计算获取最大焦距f_max、最小焦距f_min、细节最丰富时的焦距f_HD下的加权位置对应关系；

步骤4：遍历并获得所有相邻的摄像机图像的匹配位置对应关系集合；

步骤5：遍历多重重叠区域集合，根据匹配位置对应关系集合计算对应的光场数值，形成一帧光场的全景拼接；

步骤6：对每一帧光场图像均进行全景拼接，摄像结束后生成全景式光场视频。

优选地，所述步骤1还包括步骤1-1：所述摄像机均布在360°空间的优化位置上，按照由左上摄像机起始，顺时针原则计算两两相邻摄像机成像的重叠区域，并按要求扩展所述重叠区域。

优选地，所述步骤1还包括步骤1-2：按照由外向内的方式计算多重重叠区域，获得重叠区域集合，并得到每个摄像机对所述重叠区域的影响权重。

优选地，所述步骤2还包括：获得细节最丰富的图像的步骤包括：步骤2-1：将两个光场摄像机的光场由最小焦距f_min到最大焦距f_max阶梯式调焦，获取两个光场下焦距f的调焦图像，对两个调焦图像在重叠区域中进行边缘特性分析和图像纹理分析，并计算细节丰富因子的值；

步骤2-2：持续调焦，获得细节最丰富的两幅图像，以及重叠区域中细节最丰富的图像对应的焦距分别为f_HD1和f_HD2，并得到对应的细节最丰富的因子的值d₁和d₂；

步骤2-3：根据细节最丰富的因子，按式(1)计算焦距f_HD：

优选地，所述步骤2还包括：获得匹配图像的像素对应关系的步骤包括：

步骤2-4：如果f_HD≠f_min,同时f_HD≠f_max,则将两个光场均以焦距f_HD获得图像；

步骤2-5：将两幅图像匹配，获得第i个摄像机的第j帧图像与第m个摄像机的第n帧图像分别在最小焦距、最大焦距、细节最丰富时的焦距的像素对应关系如式(2)-(4)，并按与f_HD的比例关系计算位置的权重：

优选地，所述步骤3还包括：

通过形心计算获得f_HD、f_min、f_max三种焦距下的加权位置对应关系如式(5)：

P₁(i,j)＝P₂(m,n) (5)

优选地，所述步骤5还包括：根据匹配位置对应关系集合计算对应的光场数值Q按照式(6)计算：

其中，Q_i为第i个摄像机重叠区域的光场值，w_i为摄像机对重叠位置的影响权重。

优选地，所述光场视频播放流控的处理方法为将图像同时进行分割预处理和图像预处理，获得图像区块和对应质量数据，依据原则降低、合并区块质量，生成金字塔区块，调控所述区块码流的形式及传输。

本发明公开了一种全景视频图像处理装置，包括：

处理装置，所述处理装置包括：

图像采集模块，用于获取待拼接的视频；

图像预处理模块，依据摄像机的位置及初设参数，处理重叠区域及扩展重叠区域，并计算每个摄像机对所述重叠区域的影响权重；

图像拼接模块，将图像按照特征点位置对应关系进行匹配、拼接，以获得拼接后的视频；

码流控制模块，用于控制光场视频的流控；

显示模块，用于对拼接后的视频显示。

优选地，所述图像拼接模块包括：

识别单元，用于识别遍历环节是否结束；

计算单元，用于图像拼接过程中的数据计算；

图像分析单元，用于对在重叠区域中的图像进行边缘特性分析和纹理分析。

需要说明的是：本申请中所述多重重叠区域是指由多个摄像机成像形成的重叠区域的集合；

实际计算时，按要求扩展重叠区域，扩展的目的是为了防止摄像头晃动、位置的改变等原因导致匹配的准确度受影响。

在图像拼接时，如果出现计算值偏差较大时需重新计算。

本发明的有益效果为：

本发明提供了一种全景视频图像处理方法和装置，通过将光场摄像机均布在360°空间优化位置上进行全景拍摄，对拍摄的光场图像逐帧全景拼接，生成全景式光场视频，通过码流控制模块，使得光场视频播放画面自然、流畅、清晰、完整，通过该处理方法和装置不仅能够获得速度可调、焦距可调的清晰的局部及全景视频，而且确保了光场视频播放的质量，满足了观众的观看需求。

附图说明

图1为本发明拼接装置结构关系示意图；

图2为本发明的拼接方法流程图。

其中：1-图像采集模块；2-图像预处理模块；3-图像拼接模块；31-识别单元；32-计算单元；33-图像分析单元；4-显示模块；5-码流控制模块。

具体实施方式

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”；“多个”应解释成“多于或等于两个”。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

如图1-图2所示，在一个实施例中，提供了一种全景视频图像处理的装置，包括光场摄像机，所述光场摄像机包括：

图像采集模块1，用于获取待拼接的视频；

图像预处理模块2，依据摄像机的位置及初设参数，处理重叠区域及扩展重叠区域，并计算每个摄像机对所述重叠区域的影响权重；

图像拼接模块3，将重叠区域的光场图像进行匹配、拼接，完成光场全景拼接，以获得拼接后的视频；

显示模块4，用于对拼接后的视频显示；

码流控制模块5，用于控制光场视频的流控，用于确保视频播放的流畅；优选地，所述图像拼接模块3包括：

识别单元31，用于识别遍历环节是否结束；

计算单元32，用于图像拼接过程中的数据计算；

图像分析单元33，用于对在重叠区域中的图像进行边缘特性分析和纹理分析。

本发明提供一种全景视频图像处理的方法，包括如下步骤：

步骤1：图像预处理模块2依据布置在空间优化位置上的摄像机的初设参数，获取两两相邻摄像机成像的重叠区域；获取由多个摄像机成像形成的多重重叠区域集合，并获取每个摄像机对所述重叠区域的影响权重；

优选地，所述步骤1还包括步骤1-1：所述摄像机均布在360°空间的优化位置上，图像预处理模块2按照由左上摄像机起始，顺时针原则计算两两相邻摄像机成像的重叠区域，并按要求扩展所述重叠区域。

优选地，所述步骤1还包括步骤1-2：图像预处理模块2按照由外向内的方式计算多重重叠区域，获得重叠区域集合，并得到每个摄像机对所述重叠区域的影响权重。

步骤2：图像采集模块1获取由多个摄像机同步拍摄的一帧光场图像的数据，图像采集模块1获取其中相邻两个摄像机的光场，将两个光场分别按最大焦距f_max、最小焦距f_min获得图像、及获得细节最丰富的图像,将两幅图像分别匹配,获得匹配图像的像素对应关系；

优选地，所述步骤2还包括：获得细节最丰富的图像的步骤包括：步骤2-1：图像拼接模块3将两个光场摄像机的光场由最小焦距f_min到最大焦距f_max阶梯式调焦，获取两个光场下焦距f的调焦图像，图像分析单元33对两个调焦图像在重叠区域中进行边缘特性分析和图像纹理分析，计算单元32并计算细节丰富因子的值；

步骤2-2：图像拼接模块3持续调焦，获得细节最丰富的两幅图像，以及重叠区域中细节最丰富的图像对应的焦距分别为f_HD1和f_HD2，计算单元32并得到对应的细节最丰富的因子的值d₁和d₂；

步骤2-3：计算单元32根据细节最丰富的因子，按式(1)计算焦距f_HD：

优选地，所述步骤2还包括：获得匹配图像的像素对应关系的步骤包括：

步骤2-4：如果f_HD≠f_min,同时f_HD≠f_max,则将两个光场均以焦距f_HD获得图像；

步骤2-5：将两幅图像匹配，获得第i个摄像机的第j帧图像与第m个摄像机的第n帧图像分别在最小焦距、最大焦距、细节最丰富时的焦距的像素对应关系如式(2)-(4)，计算单元32按与f_HD的比例关系计算位置的权重：

步骤3：计算单元32通过形心计算获取最大焦距f_max、最小焦距f_min、细节最丰富时的焦距f_HD下的加权位置对应关系；

优选地，所述步骤3还包括：

计算单元32通过形心计算获得f_HD、f_min、f_max三种焦距下的加权位置对应关系如式(5)：

P₁(i,j)＝P₂(m,n) (5)

步骤4：识别单元31识别后相邻关系集合便利完毕，并获得所有相邻的摄像机图像的匹配位置对应关系集合；

步骤5：识别单元31识别后遍历多重重叠区域集合，根据匹配位置对应关系集合计算单元32计算对应的光场数值，图像拼接模块3拼接形成一帧光场的全景拼接；

优选地，所述步骤5还包括：计算单元32根据匹配位置对应关系集合计算对应的光场数值Q按照式(6)计算：

其中，Q_i为第i个摄像机重叠区域的光场值，w_i为摄像机对重叠位置的影响权重。

步骤6：图像拼接模块3对每一帧光场图像均进行全景拼接，摄像结束后生成全景式光场视频。

优选地，所述光场视频播放流控的处理方法是码流控制模块5将图像同时进行分割预处理和图像预处理，获得图像区块和对应质量数据，依据原则降低、合并区块质量，生成金字塔区块，调控所述区块码流的形式及传输，由显示模块4对光场视频显示播放，达到播放画面自然、流畅、清晰、完整的效果。

需要说明的是：本申请中所述多重重叠区域是指由多个摄像机成像形成的重叠区域的集合；

实际计算时，按要求扩展重叠区域，扩展的目的是为了防止摄像头晃动、位置的改变等原因导致匹配的准确度受影响。

在图像拼接时，如果出现计算值偏差较大时需重新计算。

上述描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (10)

1.一种全景视频图像处理方法，其特征在于：包括如下步骤：

步骤1：依据布置在空间优化位置上的摄像机的初设参数，获取两两相邻摄像机成像的重叠区域；获取由多个摄像机成像形成的多重重叠区域集合，并获取每个摄像机对所述重叠区域的影响权重；

步骤2：获取由多个摄像机同步拍摄的一帧光场图像的数据，获取其中相邻两个摄像机的光场，将两个光场分别按最大焦距f_max、最小焦距f_min获得图像、及获得细节最丰富的图像,将两幅图像分别匹配,获得匹配图像的像素对应关系；

步骤3：通过形心计算获取最大焦距f_max、最小焦距f_min、细节最丰富时的焦距f_HD下的加权位置对应关系；

步骤4：遍历并获得所有相邻的摄像机图像的匹配位置对应关系集合；

步骤5：遍历多重重叠区域集合，根据匹配位置对应关系集合计算对应的光场数值，形成一帧光场的全景拼接；

步骤6：对每一帧光场图像均进行全景拼接，摄像结束后生成全景式光场视频。

2.根据权利要求1所述的全景视频图像处理方法，其特征在于：

所述步骤1还包括步骤1-1：所述摄像机均布在360°空间的优化位置上，按照由左上摄像机起始，顺时针原则计算两两相邻摄像机成像的重叠区域，并按要求扩展所述重叠区域。

3.根据权利要求2所述的全景视频图像处理方法，其特征在于：

所述步骤1还包括步骤1-2：按照由外向内的方式计算多重重叠区域，获得重叠区域集合，并得到每个摄像机对所述重叠区域的影响权重。

4.根据权利要求3所述的全景视频图像处理方法，其特征在于：

所述步骤2还包括：获得细节最丰富的图像的步骤包括：

步骤2-1：将两个光场摄像机的光场由最小焦距f_min到最大焦距f_max阶梯式调焦，获取两个光场下焦距f的调焦图像，对两个调焦图像在重叠区域中进行边缘特性分析和图像纹理分析，并计算细节丰富因子的值；

步骤2-2：持续调焦，获得细节最丰富的两幅图像，以及重叠区域中细节最丰富的图像对应的焦距分别为f_HD1和f_HD2，并得到对应的细节最丰富的因子的值d₁和d₂；

步骤2-3：根据细节最丰富的因子，按式(1)计算焦距f_HD：

5.根据权利要求4所述的全景视频图像处理方法，其特征在于：

所述步骤2还包括：获得匹配图像的像素对应关系的步骤包括：

步骤2-4：如果f_HD≠f_min,同时f_HD≠f_max,则将两个光场均以焦距f_HD获得图像；

步骤2-5：将两幅图像匹配，获得第i个摄像机的第j帧图像与第m个摄像机的第n帧图像分别在最小焦距、最大焦距、细节最丰富时的焦距的像素对应关系如式(2)-(4)，并按与f_HD的比例关系计算位置的权重：

6.根据权利要求5所述的全景视频图像处理方法，其特征在于：

所述步骤3还包括：

通过形心计算获得f_HD、f_min、f_max三种焦距下的加权位置对应关系如式(5)：

P₁(i,j)＝P₂(m,n) (5)

7.根据权利要求6所述的全景视频图像处理方法，其特征在于：

所述步骤5还包括：根据匹配位置对应关系集合计算对应的光场数值Q按照式(6)计算：

其中，Q_i为第i个摄像机重叠区域的光场值，w_i为摄像机对重叠位置的影响权重。

8.根据权利要求7所述的全景视频图像处理方法，其特征在于，所述光场视频播放流控的处理方法为将图像同时进行分割预处理和图像预处理，获得图像区块和对应质量数据，依据原则降低、合并区块质量，生成金字塔区块，调控所述区块码流的形式及传输。

9.一种全景视频图像处理装置，其特征在于，包括：

处理装置，所述处理装置包括：

图像采集模块，用于获取待拼接的视频；

图像预处理模块，依据摄像机的位置及初设参数，处理重叠区域及扩展重叠区域，并计算每个摄像机对所述重叠区域的影响权重；

图像拼接模块，将图像按照特征点位置对应关系进行匹配、拼接，以获得拼接后的视频；

码流控制模块，用于控制光场视频的流控；

显示模块，用于对拼接后的视频显示。

10.根据权利要求9所述的全景视频图像处理装置，其特征在于，所述图像拼接模块包括：

识别单元，用于识别遍历环节是否结束；

计算单元，用于图像拼接过程中的数据计算；

图像分析单元，用于对在重叠区域中的图像进行边缘特性分析和纹理分析。

Images