CN106713741B - 全景视频的质量诊断方法及装置 - Google Patents

Abstract

本发明公开了一种全景视频的质量诊断方法，包括：通过全景摄像机预置的多摄像头获取多路视频图像；建立视频图像质量诊断的数学模型，根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果；将所述每个摄像头的视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果。本发明还公开了一种全景视频的质量诊断装置。本发明提高了对全景视频图像进行质量诊断的便捷性，以保证全景视频图像的质量。

Description

全景视频的质量诊断方法及装置

技术领域

本发明涉及全景摄像机参数处理技术领域，尤其涉及一种全景视频的质量诊断方法及装置。

背景技术

视频质量的可靠可用性是视频监控领域对视频最基本的要求。视频质量诊断在类型上可分为主观视频质量诊断和客观视频质量诊断。主观视频质量诊断方法结果准确性较高，但容易受实验环境制约、可操作性差、成本过高等。客观视频质量诊断方法虽然与人眼的主观评价仍有一定的距离，但其可重复性好、计算速度快、评价成本低、可移植性高等。

但是，目前的视频质量诊断仅局限于单摄像头的视频质量诊断，并非应用于全景视频的质量诊断。

发明内容

本发明的主要目的在于提供一种全景视频的质量诊断方法及装置，旨在提高对全景视频图像进行质量诊断的便捷性。

为实现上述目的，本发明提供了一种全景视频的质量诊断方法，包括：

通过全景摄像机预置的多摄像头获取多路视频图像；

建立视频图像质量诊断的数学模型，根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果；

将所述每个摄像头的视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果。

优选地，所述将所述每个摄像头视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果包括：

对所述每个摄像头的视频图像分别对应设定一个权值；

将每个摄像头的视频图像的诊断结果分别与对应设定的权值进行运算，得到每个摄像头的视频图像在所述全景视频图像中的诊断贡献值；

将每个摄像机的视频图像的诊断贡献值进行累加，得到所述全景视频图像的质量诊断结果。

优选地，所述建立视频图像质量诊断的数学模型，根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果包括：

确定视频图像质量诊断功能；

根据所确定的图像质量诊断功能，设定对应的视频图像质量评价函数，根据所述视频图像质量评价函数建立视频图像质量诊断的数学模型；

根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果。

优选地，所述图像质量诊断功能包括清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测和视频拼接效果检测。

优选地，所述将所述每个摄像头的视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果之后包括：

建立投影模型，根据所述投影模型对所述每个摄像头的视频图像进行投影；

提取投影后的所述每个摄像头的视频图像的特征信息；

根据所述特征信息，对存在相交区域的每两个视频图像进行特征匹配；

根据特征匹配结果对所述每个摄像头的视频图像进行视频图像融合，根据视频图像融合结果生成全景视频图像。

此外，为实现上述目的，本发明还提供了一种全景视频的质量诊断装置，包括：

获取模块，用于通过全景摄像机预置的多摄像头获取多路视频图像；

诊断模块，用于建立视频图像质量诊断的数学模型，根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果；

融合模块，用于将所述每个摄像头的视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果。

优选地，所述融合模块还用于，对所述每个摄像头的视频图像分别对应设定一个权值；

将每个摄像头的视频图像的诊断结果分别与对应设定的权值进行运算，得到每个摄像头的视频图像在所述全景视频图像中的诊断贡献值；

将每个摄像机的视频图像的诊断贡献值进行累加，得到所述全景视频图像的质量诊断结果。

优选地，所述诊断模块还用于，确定视频图像质量诊断功能；

根据所确定的图像质量诊断功能，设定对应的视频图像质量评价函数，根据所述视频图像质量评价函数建立视频图像质量诊断的数学模型；

根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果。

优选地，所述图像质量诊断功能包括清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测和视频拼接效果检测。

优选地，所述全景视频的质量诊断装置还包括：

投影模块，用于建立投影模型，根据所述投影模型对所述每个摄像头的视频图像进行投影；

提取模块，用于提取投影后的所述每个摄像头的视频图像的特征信息；

匹配模块，用于根据所述特征信息，对存在相交区域的每两个视频图像进行特征匹配；

生成模块，用于根据特征匹配结果对所述每个摄像头的视频图像进行视频图像融合，根据视频图像融合结果生成全景视频图像。

本发明实施例通过全景摄像机预置的多摄像头获取多路视频图像，并建立视频图像质量诊断的数学模型对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果。然后将每个摄像头的视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果。实现了对全景视频图像进行质量诊断，提高了对全景视频图像进行质量诊断的便捷性，以保证全景视频图像的质量。

附图说明

图1为本发明全景视频的质量诊断方法第一实施例的流程示意图；

图2为本发明在全景摄像机坐标系中视平面的位置关系的示意图；

图3为本发明在全景摄像机坐标系中圆柱图像投影的示意图；

图4为本发明全景视频的质量诊断装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，示出了本发明一种全景视频的质量诊断方法第一实施例。该实施例的全景视频的质量诊断方法包括：

步骤S10、通过全景摄像机预置的多摄像头获取多路视频图像；

本实施例中，全景视频的质量诊断方法应用于全景摄像机对采集到的全景视频图像进行质量诊断，该全景摄像机可包括多个摄像头，在对全景视频进行质量诊断之前，首先需要通过全景摄像机预置的多摄像头获取多路视频图像，以分别对多路视频图像进行质量诊断。

步骤S20、建立视频图像质量诊断的数学模型，根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果；

在得到多路视频图像后，建立视频图像质量诊断的数学模型，将该数学模型应用于每个摄像头采集的视频图像进行质量诊断。

优选地，上述步骤S20包括：确定视频图像质量诊断功能；

根据所确定的图像质量诊断功能，设定对应的视频图像质量评价函数，根据所述视频图像质量评价函数建立视频图像质量诊断的数学模型；

根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果。

具体地，首先确定图像质量诊断功能，该图像质量诊断功能包括清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测和视频拼接效果检测等。

然后根据所选择的图像质量诊断功能选择一个合适的视频图像质量评价函数，该评价函数和所确定的图像质量诊断功能相关，不同的图像质量诊断功能需要建立相应的评价函数，从而建立该诊断功能的数学模型。

将该数学模型应用于每个摄像头采集的视频图像进行质量诊断，得到每个视频图像的质量诊断结果，假设N个摄像头的视频图像对应的诊断值为α_i(i∈[1,N])。

现以清晰度检测为例进行举例说明，当待检测的视频图像是彩色时，先将其进行灰度化，然后采用Tenengrad函数作为清晰度评价函数。

Tenengrad函数是使用Sobel算子来提取水平和垂直方向的梯度值。梯度检测中，使用高斯函数的一阶微分形式对图像进行滤波，得到以下公式(1)：

梯度为矢量，函数的梯度方向给出了方向导数取最大值的方向，如以下公式(2)所示：

而这个方向的方向导数等于梯度的模，如以下公式(3)所示：

对于数字图像公式式(1)的导数可用差分来近似，最简单的梯度表达式为：

评价函数f(I)定义为梯度的平方和，梯度G(x,y)要高于一个阈值T，即

式中

是在点(x,y)上Sobel算子的卷积，T为经验值，从而实现了根据建立的数学模型对每个视频图像进行清晰度检测的质量诊断。

步骤S30、将所述每个摄像头的视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果。

在根据数学模型对每个摄像头采集到的视频图像进行质量诊断后，将每个视频图像的诊断结果进行加权融合，生成全景视频图像诊断结果。融合方法包括直接平均融合、中值滤波、羽化、加权/线性融合、多频带融合或金字塔融合等。例如，先对每个视频图像分布一个权值，然后将每个视频图像的诊断结果与该视频图像分布的权值做数学运算，得到该视频图像在全景视频图像的诊断贡献值，再将每个视频图像的诊断贡献值进行累加得到全景视频图像的质量诊断结果，最后输出全景视频图像的质量诊断结果。以下实施例将进行详细说明。

本发明实施例通过全景摄像机预置的多摄像头获取多路视频图像，并建立视频图像质量诊断的数学模型对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果。然后将每个摄像头的视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果。实现了对全景视频图像进行质量诊断，提高了对全景视频图像进行质量诊断的便捷性，以保证全景视频图像的质量。

进一步地，基于上述全景视频的质量诊断方法第一实施例，提出了本发明全景视频的质量诊断方法第二实施例，该实施例中上述步骤S30包括：

对所述每个摄像头的视频图像分别对应设定一个权值；

将每个摄像头的视频图像的诊断结果分别与对应设定的权值进行运算，得到每个摄像头的视频图像在所述全景视频图像中的诊断贡献值；

将每个摄像机的视频图像的诊断贡献值进行累加，得到所述全景视频图像的质量诊断结果。

本实施例中，首先对全景摄像机中的对每个摄像头采集的的视频图像分布一个权值，假设N个摄像机的权值分别为ω₁,ω₂,…,ω_N，其中，ω_i取值可以根据摄像头个数进行简单的取值为

这样设置权重无需考虑到区域大小的贡献率。ω_i取值也可以根据每个摄像头的视频图像的像素占所有摄像头的视频图像的像素的比值来作为权重值，假设N个摄像头总像素为N_p，每个摄像头的视频图像包含像素数为M_i(i＝1,2,…,N)，则

将每个摄像头的视频图像的质量诊断结果对应与该摄像头的视频图像分布的权值做数学运算，得到该摄像头的视频图像在全景视频图像中的诊断贡献值，每个摄像头视频图像质量诊断的贡献值x_i(i∈[1,N])，计算方式可以采用如下方式但不限于该方式：x_i＝α_i·ω_i(i∈[1,N])。

所有摄像头的视频图像的诊断贡献值进行累加得到全景视频图像的质量诊断结果，该质量诊断结果令其为y，y计算方式为

本实施例通过对每个摄像头的视频图像分别对应设定一个权值，并结合每个摄像头的视频图像的诊断结果进行运算，得到每个摄像头的视频图像在全景视频图像中的诊断贡献值，将各诊断贡献值进行累加得到全景视频图像的质量诊断结果，提高了对全景视频图像进行质量诊断的可靠性及灵活性。

进一步地，基于上述全景视频的质量诊断方法第一或第二实施例，提出了本发明全景视频的质量诊断方法第三实施例，该实施例中上述步骤S30之后包括：

建立投影模型，根据所述投影模型对所述每个摄像头的视频图像进行投影；

提取投影后的所述每个摄像头的视频图像的特征信息；

根据所述特征信息，对存在相交区域的每两个视频图像进行特征匹配；

根据特征匹配结果对所述每个摄像头的视频图像进行视频图像融合，根据视频图像融合结果生成全景视频图像。

本实施例中，在对每个摄像头采集的视频图像分别进行质量诊断，并将每个视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果后，可以将多路视频图像拼接成一路全景视频图像。

首先建立投影模型，该投影模型包括平面、圆柱面、球面或多面体等。然后将各路视频图像根据投影模型进行投影，包括：通过建立投影模型，将多路视频图像绘制在投影模型上，可根据匹配特征点之间的映射关系来表现视频图像之间的投影位置，从而将待拼接视频图像映射到指定坐标空间。

将各路投影后的视频图像进行图像特征的提取，得到视频图像的特征信息，例如，通过特征检测算子和描述符提取图像的特征信息。该特征信息包括视频图像的物理特征、视频图像的内容描述特征等，例如，Harris算子、Sift特征等。

提取视频图像的特征信息后，将每两路存在相交区域的视频图像进行特征匹配，包括：通过分别提取两个或多个图像的特征(点、线、面等特征)，生成特征描述符，然后通过特征描述符进行匹配。该特征匹配方法包括基于流的特征匹配方法、基于相位的特征匹配方法或基于特征的特征匹配方法等。

然后根据特征匹配结果进行视频图像融合，包括：对各摄像头的视频图像进行拼接，并对拼接的边界进行平滑处理，让缝隙自然过渡。视频图像特征的融合方法还包括直接平均融合、中值滤波、羽化、加权/线性融合、多频带融合或金字塔融合等。根据视频图像融合结果生成全景视频。

下面以柱面投影为例进行举例说明：

假设全景摄像机中相机的坐标系为OXYZ，视平面的位置关系如图2所示，其中，Z＝-f为视平面，则实景图像上任意一点在Z轴坐标值为-f，假设相机的镜头中心没有任何的偏差，则实景图像的中心就是相机的光轴(相机坐标系中的Z轴)与视觉平面的交点。在相机坐标系下，X轴与Y轴分别平行于图像坐标系的横轴和纵轴，因此实景图像上的任意一个像素点(x,y)在相机坐标系OXYZ下的像素坐标为(x-W/2,y-H,-f)，其中，W,H分别代表实景图像的宽度和高度。

如图3所示，J为相机拍摄的一张实景图像，P(x,y)为实景图像J上的一个像素点，则该像素点在相机坐标系下的坐标可表示为：

其中，W,H为实景图像的宽度和高度，相机坐标系中的原点O为圆柱的中心，圆柱的半径为相机的焦距f，柱面投影的目标就是求出实景图像J中的任意一像素点P(x,y)在圆柱面上的投影点Q(x',y')。

相机坐标系中的原点O与像素点P的直线方程可用参数方程的形式来表示，如以下公式(11)所示：

其中t表示参数，则圆柱的方程可表示为：

u²+v²＝f² (12)

联立公式(11)、公式(12)可得：

其中(u,v,w)是P(x,y)在圆柱面上的投影后的坐标，可用公式(14)实现将三维的参数坐标转换为二维的图像坐标：

其中，

hfov是相机的水平视角。

联立公式(13)和公式(14)就可得到实景图像J上的任意一点P(x,y)投影到柱面坐标系上的对应点Q(x',y')的投影变换公式：

其中相机焦距f＝W/(2tan(hfov/2))，hfov为相机的水平视角。

相应的，由柱面投影公式(15)可得柱面反投影公式：

在对多路视频图像进行投影后可提取特征信息，并进行特征匹配，根据匹配结果将多路视频图像融合生成全景视频图像。

本实施例通过建立投影模型对多路视频图像进行投影，并对投影后的视频图像进行特征信息及特征匹配，根据特征匹配结果将多路视频图像融合生成全景视频图像，提高了对全景视频图像融合的准确性及便捷性。

对应地，如图4所示，提出本发明一种全景视频的质量诊断装置第一实施例。该实施例的全景视频的质量诊断装置包括：

获取模块100，用于通过全景摄像机预置的多摄像头获取多路视频图像；

本实施例中，全景视频的质量诊断装置应用于全景摄像机对采集到的全景视频图像进行质量诊断，该全景摄像机可包括多个摄像头，在对全景视频进行质量诊断之前，首先获取模块100需要通过全景摄像机预置的多摄像头获取多路视频图像，以分别对多路视频图像进行质量诊断。

诊断模块200，用于建立视频图像质量诊断的数学模型，根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果；

在得到多路视频图像后，诊断模块200建立视频图像质量诊断的数学模型，将该数学模型应用于每个摄像头采集的视频图像进行质量诊断。

优选地，上述诊断模块200还用于，确定视频图像质量诊断功能；

根据所确定的图像质量诊断功能，设定对应的视频图像质量评价函数，根据所述视频图像质量评价函数建立视频图像质量诊断的数学模型；

根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果。

具体地，首先确定图像质量诊断功能，该图像质量诊断功能包括清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测和视频拼接效果检测等。

然后根据所选择的图像质量诊断功能选择一个合适的视频图像质量评价函数，该评价函数和所确定的图像质量诊断功能相关，不同的图像质量诊断功能需要建立相应的评价函数，从而建立该诊断功能的数学模型。

将该数学模型应用于每个摄像头采集的视频图像进行质量诊断，得到每个视频图像的质量诊断结果，假设N个摄像头的视频图像对应的诊断值为α_i(i∈[1,N])。

现以清晰度检测为例进行举例说明，当待检测的视频图像是彩色时，先将其进行灰度化，然后采用Tenengrad函数作为清晰度评价函数。

Tenengrad函数是使用Sobel算子来提取水平和垂直方向的梯度值。梯度检测中，使用高斯函数的一阶微分形式对图像进行滤波，得到以下公式(10)：

梯度为矢量，函数的梯度方向给出了方向导数取最大值的方向，如以下公式(20)所示：

而这个方向的方向导数等于梯度的模，如以下公式(30)所示：

对于数字图像公式式(1)的导数可用差分来近似，最简单的梯度表达式为：

评价函数f(I)定义为梯度的平方和，梯度G(x,y)要高于一个阈值T，即

式中

是在点(x,y)上Sobel算子的卷积，T为经验值，从而实现了根据建立的数学模型对每个视频图像进行清晰度检测的质量诊断。

融合模块300，用于将所述每个摄像头的视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果。

在根据数学模型对每个摄像头采集到的视频图像进行质量诊断后，融合模块300将每个视频图像的诊断结果进行加权融合，生成全景视频图像诊断结果。融合方法包括直接平均融合、中值滤波、羽化、加权/线性融合、多频带融合或金字塔融合等。例如，先对每个视频图像分布一个权值，然后将每个视频图像的诊断结果与该视频图像分布的权值做数学运算，得到该视频图像在全景视频图像的诊断贡献值，再将每个视频图像的诊断贡献值进行累加得到全景视频图像的质量诊断结果，最后输出全景视频图像的质量诊断结果。以下实施例将进行详细说明。

本发明实施例通过全景摄像机预置的多摄像头获取多路视频图像，并建立视频图像质量诊断的数学模型对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果。然后将每个摄像头的视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果。实现了对全景视频图像进行质量诊断，提高了对全景视频图像进行质量诊断的便捷性，以保证全景视频图像的质量。

进一步地，基于上述全景视频的质量诊断装置第一实施例，提出了本发明全景视频的质量诊断装置第二实施例，该实施例中上述融合模块300还用于，对所述每个摄像头的视频图像分别对应设定一个权值；

将每个摄像头的视频图像的诊断结果分别与对应设定的权值进行运算，得到每个摄像头的视频图像在所述全景视频图像中的诊断贡献值；

将每个摄像机的视频图像的诊断贡献值进行累加，得到所述全景视频图像的质量诊断结果。

本实施例中，融合模块300首先对全景摄像机中的对每个摄像头采集的的视频图像分布一个权值，假设N个摄像机的权值分别为ω₁,ω₂,…,ω_N，其中，ω_i取值可以根据摄像头个数进行简单的取值为

这样设置权重无需考虑到区域大小的贡献率。ω_i取值也可以根据每个摄像头的视频图像的像素占所有摄像头的视频图像的像素的比值来作为权重值，假设N个摄像头总像素为N_p，每个摄像头的视频图像包含像素数为M_i(i＝1,2,…,N)，则

将每个摄像头的视频图像的质量诊断结果对应与该摄像头的视频图像分布的权值做数学运算，得到该摄像头的视频图像在全景视频图像中的诊断贡献值，每个摄像头视频图像质量诊断的贡献值x_i(i∈[1,N])，计算方式可以采用如下方式但不限于该方式：x_i＝α_i·ω_i(i∈[1,N])。

所有摄像头的视频图像的诊断贡献值进行累加得到全景视频图像的质量诊断结果，该质量诊断结果令其为y，y计算方式为

本实施例通过对每个摄像头的视频图像分别对应设定一个权值，并结合每个摄像头的视频图像的诊断结果进行运算，得到每个摄像头的视频图像在全景视频图像中的诊断贡献值，将各诊断贡献值进行累加得到全景视频图像的质量诊断结果，提高了对全景视频图像进行质量诊断的可靠性及灵活性。

进一步地，基于上述全景视频的质量诊断装置第一或第二实施例，提出了本发明全景视频的质量诊断装置第三实施例，该实施例中上述全景视频的质量诊断装置还包括：

投影模块，用于建立投影模型，根据所述投影模型对所述每个摄像头的视频图像进行投影；

提取模块，用于提取投影后的所述每个摄像头的视频图像的特征信息；

匹配模块，用于根据所述特征信息，对存在相交区域的每两个视频图像进行特征匹配；

生成模块，用于根据特征匹配结果对所述每个摄像头的视频图像进行视频图像融合，根据视频图像融合结果生成全景视频图像。

本实施例中，在对每个摄像头采集的视频图像分别进行质量诊断，并将每个视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果后，可以将多路视频图像拼接成一路全景视频图像。

首先由投影模块建立投影模型，该投影模型包括平面、圆柱面、球面或多面体等。然后将各路视频图像根据投影模型进行投影，包括：通过建立投影模型，将多路视频图像绘制在投影模型上，可根据匹配特征点之间的映射关系来表现视频图像之间的投影位置，从而将待拼接视频图像映射到指定坐标空间。

提取模块将各路投影后的视频图像进行图像特征的提取，得到视频图像的特征信息，例如，通过特征检测算子和描述符提取图像的特征信息。该特征信息包括视频图像的物理特征、视频图像的内容描述特征等，例如，Harris算子、Sift特征等。

提取视频图像的特征信息后，匹配模块将每两路存在相交区域的视频图像进行特征匹配，包括：通过分别提取两个或多个图像的特征(点、线、面等特征)，生成特征描述符，然后通过特征描述符进行匹配。该特征匹配方法包括基于流的特征匹配方法、基于相位的特征匹配方法或基于特征的特征匹配方法等。

然后生成模块根据特征匹配结果进行视频图像融合，包括：对各摄像头的视频图像进行拼接，并对拼接的边界进行平滑处理，让缝隙自然过渡。视频图像特征的融合方法还包括直接平均融合、中值滤波、羽化、加权/线性融合、多频带融合或金字塔融合等，根据视频图像融合结果生成全景视频。

下面以柱面投影为例进行举例说明：

假设全景摄像机中相机的坐标系为OXYZ，视平面的位置关系如图2所示，其中，Z＝-f为视平面，则实景图像上任意一点在Z轴坐标值为-f，假设相机的镜头中心没有任何的偏差，则实景图像的中心就是相机的光轴(相机坐标系中的Z轴)与视觉平面的交点。在相机坐标系下，X轴与Y轴分别平行于图像坐标系的横轴和纵轴，因此实景图像上的任意一个像素点(x,y)在相机坐标系OXYZ下的像素坐标为(x-W/2,y-H,-f)，其中，W,H分别代表实景图像的宽度和高度。

如图3所示，J为相机拍摄的一张实景图像，P(x,y)为实景图像J上的一个像素点，则该像素点在相机坐标系下的坐标可表示为：

其中，W,H为实景图像的宽度和高度，相机坐标系中的原点O为圆柱的中心，圆柱的半径为相机的焦距f，柱面投影的目标就是求出实景图像J中的任意一像素点P(x,y)在圆柱面上的投影点Q(x',y')。

相机坐标系中的原点O与像素点P的直线方程可用参数方程的形式来表示，如以下公式(110)所示：

其中t表示参数，则圆柱的方程可表示为：

u²+v²＝f² (120)

联立公式(110)、公式(120)可得：

其中(u,v,w)是P(x,y)在圆柱面上的投影后的坐标，可用公式(140)实现将三维的参数坐标转换为二维的图像坐标：

其中，

hfov是相机的水平视角。

联立公式(130)和公式(140)就可得到实景图像J上的任意一点P(x,y)投影到柱面坐标系上的对应点Q(x',y')的投影变换公式：

其中相机焦距f＝W/(2tan(hfov/2))，hfov为相机的水平视角。

相应的，由柱面投影公式(150)可得柱面反投影公式：

在对多路视频图像进行投影后可提取特征信息，并进行特征匹配，根据匹配结果将多路视频图像融合生成全景视频图像。

本实施例通过建立投影模型对多路视频图像进行投影，并对投影后的视频图像进行特征信息及特征匹配，根据特征匹配结果将多路视频图像融合生成全景视频图像，提高了对全景视频图像融合的准确性及便捷性。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种全景视频的质量诊断方法，其特征在于，所述全景视频的质量诊断方法包括以下步骤：

通过全景摄像机预置的多摄像头获取多路视频图像；

建立视频图像质量诊断的数学模型，根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果；

将所述每个摄像头的视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果；

建立投影模型，根据所述投影模型对所述每个摄像头的视频图像进行投影；

提取投影后的所述每个摄像头的视频图像的特征信息；

根据所述特征信息，对存在相交区域的每两个视频图像进行特征匹配；

根据特征匹配结果对所述每个摄像头的视频图像进行视频图像融合，根据视频图像融合结果生成全景视频图像；

其中，所述建立视频图像质量诊断的数学模型，根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果包括：

确定视频图像质量诊断功能；

根据所确定的图像质量诊断功能，设定对应的视频图像质量评价函数，根据所述视频图像质量评价函数建立视频图像质量诊断的数学模型；

根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果；

其中，所述图像质量诊断功能包括清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测和视频拼接效果检测。

2.如权利要求1所述的全景视频的质量诊断方法，其特征在于，所述将所述每个摄像头视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果包括：

对所述每个摄像头的视频图像分别对应设定一个权值；

将每个摄像头的视频图像的诊断结果分别与对应设定的权值进行运算，得到每个摄像头的视频图像在所述全景视频图像中的诊断贡献值；

将每个摄像机的视频图像的诊断贡献值进行累加，得到所述全景视频图像的质量诊断结果。

3.一种全景视频的质量诊断装置，其特征在于，所述全景视频的质量诊断装置包括：

获取模块，用于通过全景摄像机预置的多摄像头获取多路视频图像；

诊断模块，用于建立视频图像质量诊断的数学模型，根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果；

融合模块，用于将所述每个摄像头的视频图像的质量诊断结果进行融合，得到全景视频图像质量诊断结果；

投影模块，用于建立投影模型，根据所述投影模型对所述每个摄像头的视频图像进行投影；

提取模块，用于提取投影后的所述每个摄像头的视频图像的特征信息；

匹配模块，用于根据所述特征信息，对存在相交区域的每两个视频图像进行特征匹配；

生成模块，用于根据特征匹配结果对所述每个摄像头的视频图像进行视频图像融合，根据视频图像融合结果生成全景视频图像；

其中，所述诊断模块还用于，确定视频图像质量诊断功能；

根据所确定的图像质量诊断功能，设定对应的视频图像质量评价函数，根据所述视频图像质量评价函数建立视频图像质量诊断的数学模型；

根据所述数学模型分别对每个摄像头获取到的视频图像进行质量诊断，得到每个摄像头的视频图像的质量诊断结果；

其中，所述图像质量诊断功能包括清晰度检测、视频噪声检测、亮度异常检测、视频雪花检测、偏色检测、视频冻结检测、视频丢失检测和视频拼接效果检测。

4.如权利要求3所述的全景视频的质量诊断装置，其特征在于，所述融合模块还用于，对所述每个摄像头的视频图像分别对应设定一个权值；

将每个摄像头的视频图像的诊断结果分别与对应设定的权值进行运算，得到每个摄像头的视频图像在所述全景视频图像中的诊断贡献值；

将每个摄像机的视频图像的诊断贡献值进行累加，得到所述全景视频图像的质量诊断结果。

Images