CN104363421A - 实现多角度摄像头监控效果的方法和装置 - Google Patents

Abstract

本发明提出一种实现多角度摄像头监控效果的方法和装置，其中方法包括：通过全景摄像机摄全景图像；针对全景图像设置多个漫游角度；根据各个漫游角度得到多张局部校正图。本发明能够降低全景监控的成本。

Description

实现多角度摄像头监控效果的方法和装置

技术领域

本发明涉及鱼眼镜头技术领域，尤其涉及一种实现多角度摄像头监控效果的方法和装置。

背景技术

目前的视频监控***，镜头一般可视角度小于60度；为了实现大范围全景监控，一般采用多角度的多个摄像头实现。但是，这种多角度多个摄像头的监控方案，会使监控***的搭建和维护成本较高。另外，目前也有通过一个相机旋转拍摄多张图像，然后拼接成一张全景图，采用这种方式，不仅操作麻烦，而且无法实时全方位实时监控。

发明内容

本发明提供了一种实现多角度摄像头监控效果的方法，能够降低全景监控的成本。

本发明还提供了一种实现多角度摄像头监控效果的装置，能够降低全景监控的成本。

本发明的技术方案是这样实现的：

一种实现多角度摄像头监控效果的方法，包括：

通过全景摄像机摄取全景图像；

针对全景图像设置多个漫游角度；

根据各个漫游角度得到多张局部校正图。

一种实现多角度摄像头监控效果的装置，包括：

预设模块，用于针对全景摄像机摄取的全景图像设置多个漫游角度；

校正模块，用于根据各个漫游角度得到多张局部校正图。

可见，本发明提出的实现多角度摄像头监控效果的方法和装置，对全景摄像机所摄取的全景图像分别根据多个不同漫游角度得到多张局部校正图，这些局部校正图能够达到多角度多个摄像头的监控效果。

附图说明

图1为发明提出的实现多角度摄像头监控效果的方法实现流程图；

图2为鱼眼图像变换为鱼眼图像校正图的示意图；

图3为实施例一的实现效果示意图；

图4为发明提出的实现多角度摄像头监控效果的装置结构示意图。

具体实施方式

本发明提出一种基于全景摄像机实现多角度摄像头监控效果的方法和装置。全景摄像机可以采用鱼眼摄像头或反射镜面，其中反射镜面可以为抛物线或镜面双曲线镜面。

以全景摄像机采用鱼眼摄像机为例，鱼眼摄像机可以独立实现大范围无死角监控，其安装方式一般有两种，吸顶式和壁挂式。采用吸顶式安装时，鱼眼摄像机的可视范围为镜头下方的360°；采用壁挂式安装时，鱼眼摄像机的可视范围为镜头前方的180°。本发明对鱼眼摄像机所摄取的全景图像(具体为鱼眼图像)进行对应不同漫游角度的校正，每个漫游角度对应一个的鱼眼图像校正图，其效果相当于采用多角度的多个普通摄像头同时摄取不同角度的图像。对于吸顶式摄像机，漫游角度是水平的，可以理解为是在X轴和Y轴构成的平面上；对于壁挂式摄像机，漫游角度是垂直的，可以理解为是在Y轴和Z轴构成的平面上。

如图1为本发明提出的实现多角度摄像头监控效果的方法实现流程图，包括：

步骤101：通过全景摄像机摄取全景图像；

步骤102：针对全景图像设置多个漫游角度；

步骤103：根据各个漫游角度得到多张局部校正图。

其中，步骤103具体可以为：分别根据各个漫游角度确定所述全景图像上的新的光学中心；根据所述新的光学中心对全景图像进行局部校正，得到所述漫游角度的全景图像校正图。

根据漫游角度确定全景图像上的新的光学中心的方式可以为：

根据所述漫游角度、预先设定的角度值、全景摄像机成像的投影球面的半径以及预先设定的参数值确定所述新的光学中心的坐标值；具体的确定方式将在以下详细介绍。

通过上述过程，针对每一帧全景图像，能够得到多幅针对该帧全景图像的全景图像校正图，每个全景图像校正图对应一个漫游角度；这些全景图像校正图的视觉效果相当于多个普通摄像机在拍摄角度为不同漫游角度时所摄取的图像。

为便于理解，以下首先介绍全景图像校正的基本原理。在以下的举例中，将全景图像具体为鱼眼图像进行说明。

采用空间三维直角坐标系，鱼眼图像的球面投影模型为：

从原点O(0,0,0)，指向空间任一点(x,y,z)的射线，交投影球面x²+y²+z²＝R²于一点，再把这一点投影到一个与z轴垂直的固定平面上，得到平面点(u,v)。平面点(u,v)和(x,y,z)有如下关系：

$\frac{x}{u}=\frac{y}{v}=\frac{z}{\sqrt{R^2-u^2-v^2}}=\frac{\sqrt{x^2+y^2+z^2}}{R}$

$x=\frac{\mathrm{zu}}{\sqrt{R^2-u^2-v^2}},y=\frac{\mathrm{zv}}{\sqrt{R^2-u^2-v^2}}$

$u=\frac{\mathrm{Rx}}{\sqrt{x^2+y^2+z^2}},v=\frac{\mathrm{Ry}}{\sqrt{x^2+y^2+z^2}}$

空间各点(x,y,z)在所给固定平面上的投影(u,v)，即为鱼眼镜头的成像平面。利用此模型的逆变换，可以把鱼眼图像变换为透视投影模型上的图像，即实现鱼眼图像的校正。

以上即为鱼眼图像校正的原理介绍。由于鱼眼图像为大视角图像，在图像边缘有明显的畸变，本发明对鱼眼图像的校正算法进行改进，使鱼眼图像上的所有新的光学中心点在鱼眼图像范围内的一个圆上，从而使得鱼眼图像校正图的观看角度自然。

如图2为鱼眼图像变换为鱼眼图像校正图的示意图。变换过程包括：

步骤1：根据漫游角度确定鱼眼图像上的新的光学中心，具体采用如下公式确定：

其中，

P₀(u₁,v₁)为鱼眼图像上的新的光学中心；

为预先设定的角度值；其取值可以为

θ为该漫游角度；

viewratio为预先设定的数值。

这样，在的情况下，θ取不同的取值值，可以实现多个角度监控的效果。校正图像观看角度自然。其中viewratio用于控制原始鱼眼图像上新光学中心点P₀(u₁,v₁)的位置，确保所有P₀(u₁,v₁)的位于一个圆上，半径为R*viewratio；viewratio的取值为(0,1)。

步骤2：确定P₀(u₁,v₁)在全景摄像机成像的投影球面上的对应点P的坐标为 $(u_1,v_1,\sqrt{R^2-{u_1}^2-{v_1}^2});$

步骤3：令校正平面到透视中心O(即投影球面的球心)的距离为kR，其中k>0，R为投影球面的半径；确定P₀(u₁,v₁)在校正平面上的对应点P'的坐标为将P'作为校正平面的光学中心；

步骤4：在校正平面上确定平面坐标轴的两个方向，用矢量α、β表示，分别对应鱼眼图像上u、v坐标轴的正方向。β选择为投影球面上经过点P的经线在该点的向上切线方向。

矢量α和β的约束条件为：

α与β垂直；

α、β和OP构成左手坐标系。

其中，

α＝BP×AP，

β＝OP×α，

其中，BP为起点为B并且终点为P的矢量，AP为起点为A并且终点为P的矢量，OP为起点为O并且终点为P的矢量，所述“×”表示2个矢量相乘；A和B的坐标如下：

步骤5：将α和β单位化，确定鱼眼图像校正图的宽、高、以及P'在鱼眼图像校正图中的位置(i₀,j₀)，一般默认为图像的中心位置。

步骤6：依次按照以下方式确定鱼眼图像校正图中每个像素点(i,j)在空间的对应点Q的颜色值，得到该漫游角度的鱼眼图像校正图；

确定像素点(i,j)在空间的对应点Q为(j-j₀)α+(i-i₀)β+kP；确定射线OQ与投影球面的交点为得到Q点在鱼眼图像中的对应点(u,v)，将点(u,v)的颜色值进行插值处理，得到所述Q点的颜色值。

通过上述方式，当遍历完鱼眼图像校正图像的每一点后，即完成一次图像校正。

以下举具体的实施例详细介绍：

实施例一：

本实施例使用180°鱼眼镜头的摄像机，并采用吸顶式安装，鱼眼摄像机的可视范围为镜头下方的360°。本实施例中，设置8个漫游角度θ，各个漫游角度θ的取值分别为：0°、45°、90°、135°、180°、225°、270°和315°。

针对鱼眼摄像机所摄取的鱼眼图像，对同一帧鱼眼图像分别进行对应不同漫游角度的校正，得到8个对应的鱼眼图像校正图，即实现了多角度摄像头监控的效果。根据漫游角度确定新的光学中心及校正的具体方式如上所述，在此不赘。

如图3为本实施例的实现效果示意图，在图3中，位于中心的图片为鱼眼摄像机所摄取的鱼眼图像；从鱼眼图像右侧的图片开始按照逆时针顺序显示的8幅图片分别为θ取值为0°、45°、90°、135°、180°、225°、270°、315°时对应的鱼眼图像校正图，可以看到鱼眼图像校正图的显示效果符合平视的角度，观看自然。

上述实施例为针对鱼眼摄像机的可视范围为镜头下方的360°情况的实现方式；当采用壁挂式安装时，180°鱼眼镜头的摄像机的可视范围为镜头前方的180°，针对这种情况，本发明提出的实现多角度摄像头效果的方式略有区别，具体包括以下步骤：

通过鱼眼摄像机，实时采集鱼眼图像；

以鱼眼图像的圆心为xy坐标轴原点，水平向右为x轴正向，垂直向上为y轴正向，R为圆心图像的半径。选定一个新的光学中心(u,v)，作为新的校正图的中心，u、v的取值范围均为(-R，R)。

根据新的光学中心，对鱼眼图像进行局部校正，得到一张鱼眼图像校正图。

在鱼眼图像上，根据需要，选取n个点作为新的光学中心，对同一帧圆形鱼眼图像分别进行校正，得到n张鱼眼图像校正图，即相当于n个摄像头所拍摄的效果。

以上介绍了实现多角度摄像头监控效果的方法，本发明还提出一种实现多角度摄像头监控效果的装置，如图4为该装置的结构示意图，包括：

预设模块401，用于针对全景摄像机摄取的全景图像设置多个漫游角度；

校正模块402，用于根据各个漫游角度得到多张局部校正图。

上述装置中，校正模块402分别根据各个漫游角度确定所述全景图像上的新的光学中心；根据所述新的光学中心对全景图像进行局部校正，得到所述漫游角度的全景图像校正图。

校正模块402根据漫游角度确定所述全景图像上的新的光学中心的方式为：

根据所述漫游角度、预先设定的角度值、全景摄像机成像的投影球面的半径以及预先设定的参数值确定所述新的光学中心的坐标值。

具体可以采用以下公式确定：

其中，

P₀(u₁,v₁)为所述全景图像上的新的光学中心；

为预先设定的角度值；

θ为该漫游角度；

viewratio为预先设定的数值。

校正模块402根据新的光学中心对全景图像进行局部校正，得到漫游角度的全景图像校正图的方式可以为：

确定P₀(u₁,v₁)在全景摄像机成像的投影球面上的对应点P的坐标为 $(u_1,v_1\sqrt{R^2-{u_1}^2-{v_1}^2});$

令校正平面到投影球面的球心O的距离为kR，其中k>0，R为投影球面的半径；确定P₀(u₁,v₁)在校正平面上的对应点P'的坐标为将P'作为校正平面的光学中心；

在所述校正平面上确定平面坐标轴的两个方向，用矢量α、β表示，其中，

α＝BP×AP，

β＝OP×α，

所述BP为起点为B并且终点为P的矢量，所述AP为起点为A并且终点为P的矢量，所述OP为起点为O并且终点为P的矢量，所述“×”表示2个矢量相乘；所述A和B的坐标如下：

将α和β单位化，确定全景图像校正图的宽、高以及P'在全景图像校正图中的位置(i₀,j₀)；

依次按照以下方式确定全景图像校正图中每个像素点(i,j)在空间的对应点Q的颜色值，得到所述该漫游角度的全景图像校正图；

确定像素点(i,j)在空间的对应点Q为(j-j₀)α+(i-i₀)β+kP；确定射线OQ与投影球面的交点为得到Q点在全景图像中的对应点(u,v)，将点(u,v)的颜色值进行插值处理，得到所述Q点的颜色值。

上述装置中，全景摄像机可以采用鱼眼镜头或采用反射镜面；其中反射镜面可以为抛物线镜面或双曲线镜面。

综上可见，本发明提出的实现多角度摄像头监控效果的方法和装置，分别根据各个漫游角度确定全景摄像机所摄取的全景图像上的新的光学中心，并根据该新的光学中心对全景图像进行校正，从而得到分别对应多个漫游角度的多个全景图像校正图，这些全景图像校正图能够达到多角度多个摄像头的监控效果；并且，在进行图像校正时，利用多个漫游角度确定的全景图像上新的光学中心位于全景图像范围内的一个圆上，从而使得全景图像校正图的观看角度自然。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种实现多角度摄像头监控效果的方法，其特征在于，所述方法包括：

通过全景摄像机摄取全景图像；

针对全景图像设置多个漫游角度；

根据各个漫游角度得到多张局部校正图。

2.根据权利要求1所述的方法，其特征在于，所述全景摄像机采用鱼眼镜头或采用反射镜面。

3.根据权利要求2所述的方法，其特征在于，当全景摄像机采用鱼眼镜头时，所述根据各个漫游角度得到多张局部校正图的方式为：

分别根据各个漫游角度确定所述全景图像上的新的光学中心；根据所述新的光学中心对全景图像进行局部校正，得到所述漫游角度的全景图像校正图。

4.根据权利要求4所述的方法，其特征在于，所述根据漫游角度确定所述全景图像上的新的光学中心的方式为：

根据所述漫游角度、预先设定的角度值、全景摄像机成像的投影球面的半径以及预先设定的参数值确定所述新的光学中心的坐标值。

5.根据权利要求4所述的方法，其特征在于，所述根据漫游角度确定所述全景图像上的新的光学中心的方式为：

采用以下公式确定：

其中，

P₀(u₁,v₁)为所述全景图像上的新的光学中心；

为预先设定的角度值；

θ为所述漫游角度；

viewratio为预先设定的数值。

6.根据权利要求5所述的方法，其特征在于，所述根据新的光学中心对全景图像进行局部校正，得到所述漫游角度的全景图像校正图的方式为：

确定P₀(u₁,v₁)在全景摄像机成像的投影球面上的对应点P的坐标为

令校正平面到投影球面的球心O的距离为kR，其中k>0，R为投影球面的半径；确定P₀(u₁,v₁)在校正平面上的对应点P'的坐标为将P'作为校正平面的光学中心；

在所述校正平面上确定平面坐标轴的两个方向，用矢量α、β表示，其中，

α＝BP×AP，

β＝OP×α，

所述BP为起点为B并且终点为P的矢量，所述AP为起点为A并且终点为P的矢量，所述OP为起点为O并且终点为P的矢量，所述“×”表示2个矢量相乘；所述A和B的坐标如下：

将α和β单位化，确定全景图像校正图的宽、高以及P'在全景图像校正图中的位置(i₀,j₀)；

依次按照以下方式确定全景图像校正图中每个像素点(i,j)在空间的对应点Q的颜色值，得到所述漫游角度的全景图像校正图；

确定像素点(i,j)在空间的对应点Q为(j-j₀)α+(i-i₀)β+kP；确定射线OQ与投影球面的交点为得到Q点在全景图像中的对应点(u,v)，将点(u,v)的颜色值进行插值处理，得到所述Q点的颜色值。

7.一种实现多角度摄像头监控效果的装置，其特征在于，所述装置包括：

预设模块，用于针对全景摄像机摄取的全景图像设置多个漫游角度；

校正模块，用于根据各个漫游角度得到多张局部校正图。

8.根据权利要求7所述的装置，其特征在于，所述全景摄像机采用鱼眼镜头或采用反射镜面。

9.根据权利要求8所述的装置，其特征在于，当全景摄像机采用鱼眼镜头时，所述校正模块分别根据各个漫游角度确定所述全景图像上的新的光学中心；根据所述新的光学中心对全景图像进行局部校正，得到所述漫游角度的全景图像校正图。

10.根据权利要求9所述的装置，其特征在于，所述校正模块根据漫游角度确定所述全景图像上的新的光学中心的方式为：

根据所述漫游角度、预先设定的角度值、全景摄像机成像的投影球面的半径以及预先设定的参数值确定所述新的光学中心的坐标值。

11.根据权利要求10所述的装置，其特征在于，所述校正模块根据漫游角度确定全景图像上的新的光学中心的方式为：

采用以下公式确定：

其中，

P₀(u₁,v₁)为所述全景图像上的新的光学中心；

为预先设定的角度值；

θ为所述漫游角度；

viewratio为预先设定的数值。

12.根据权利要求11所述的装置，其特征在于，所述校正模块根据新的光学中心对全景图像进行局部校正，得到所述漫游角度的全景图像校正图的方式为：

确定P₀(u₁,v₁)在全景摄像机成像的投影球面上的对应点P的坐标为

令校正平面到投影球面的球心O的距离为kR，其中k>0，R为投影球面的半径；确定P₀(u₁,v₁)在校正平面上的对应点P'的坐标为将P'作为校正平面的光学中心；

在所述校正平面上确定平面坐标轴的两个方向，用矢量α、β表示，其中，

α＝BP×AP，

β＝OP×α，

所述BP为起点为B并且终点为P的矢量，所述AP为起点为A并且终点为P的矢量，所述OP为起点为O并且终点为P的矢量，所述“×”表示2个矢量相乘；所述A和B的坐标如下：

将α和β单位化，确定全景图像校正图的宽、高以及P'在全景图像校正图中的位置(i₀,j₀)；

依次按照以下方式确定全景图像校正图中每个像素点(i,j)在空间的对应点Q的颜色值，得到所述漫游角度的全景图像校正图；

确定像素点(i,j)在空间的对应点Q为(j-j₀)α+(i-i₀)β+kP；确定射线OQ与投影球面的交点为得到Q点在全景图像中的对应点(u,v)，将点(u,v)的颜色值进行插值处理，得到所述Q点的颜色值。