CN111210482B - 摄像机视频图像实时纠偏方法、计算机存储介质及设备 - Google Patents

Abstract

本发明提供了一种摄像机视频图像实时纠偏方法、计算机存储介质及电子设备，方法包括以下步骤：S1、调整摄像头转动至任意两个不同的位置，并从两个位置中分别选择一条垂直于地面的直线，得到直线A和直线B；S2、获取直线A和直线B在摄像头画面中的坐标；S3、根据直线A和直线B的坐标分别计算直线A和直线B对应的图像的倾斜率以及摄像头安装倾斜的角度；S4、根据直线A和直线B的倾斜率以及摄像头安装倾斜的角度，获取任意水平角所对应的视频图像的倾斜度k；S5、将原始视频画面逆时针旋转k度，裁剪比例为R(0～1)；S6、将原始视频画面中的任一点经过顺时针旋转k度后，裁剪至原画面的R倍，得到纠正后的视频图像。

Description

摄像机视频图像实时纠偏方法、计算机存储介质及设备

技术领域

本发明涉及视频安防监控领域，更具体地，涉及一种摄像机视频图像实时纠偏方法、计算机存储介质及电子设备。

背景技术

对于非PTZ摄像机来说，摄像机视频图像出现倾斜时，常是通过调整摄像机设备，纠正摄像机视频图像倾斜问题。当通过调整摄像机设备较为困难时，可通过摄像机视频图像的倾斜度利用算法将图像旋转回正常图像。

对于PTZ摄像机来说，安装位置较低时出视频图像倾斜的话，可以再次施工安装，纠正安装倾斜问题引起的视频图像倾斜。但也可能出现多次安装也无法纠正安装倾斜问题。对于安装较高的PTZ摄像机来说，通常是安装在50米以上的建筑上，安装难度较大，如果因为安装原因使得摄像机倾斜，会导致成像图像倾斜，即视频图像会出现一定的倾斜。由于安装的倾斜方向不确定，云台转动不同的角度，视频图像会出现不同角度的倾斜，导致视频图像无法纠正；如果二次施工安装，则花费更多的人力物力，因此甚至出现视频图像倾斜后不予处理的现象。而且当PTZ摄像机安装倾斜后，视频图像的倾斜会随着PTZ摄像机的转动的变化而变化的。现有技术无法对视频画像实时进行纠正，导致PTZ摄像机安装倾斜时出现视频图像倾斜较为明显，影响图像质量。

发明内容

有鉴于此，本发明提供一种摄像机视频图像实时纠偏方法、计算机存储介质及电子设备，能够方便有效地实现安装倾斜的摄像机的视频图像的纠偏，减少二次安装，节省开支。

为解决上述技术问题，一方面，本发明提供一种摄像机视频图像实时纠偏方法，包括以下步骤：S1、调整摄像头转动至任意两个不同的位置，并从两个位置中分别选择一条垂直于地面的直线，得到直线A和直线B；S2、获取直线A和直线B在摄像头画面中的坐标，其中，直线A的两个端点在摄像头画面中的坐标为A1(xa1，ya1)，A2(xa2，ya2)，直线B的两个端点在摄像头画面中的坐标为B1(xb1，yb1)，B2(xb2，yb2)；S3、根据直线A和直线B的坐标分别计算直线A和直线B对应的图像的倾斜率以及摄像头安装倾斜的角度；

S4、根据直线A和直线B的倾斜率以及摄像头安装倾斜的角度，获取任意水平角所对应的视频图像的倾斜度k；S5、将原始视频画面逆时针旋转k度，裁剪比例为R；S6、将原始视频画面中的任一点经过顺时针旋转k度后，裁剪至原画面的R倍，得到纠正后的视频图像。

根据本发明实施例的摄像机视频图像实时纠偏方法，通过实时地纠正视频图像的倾斜量，还原视频图像的正常水平，可以解决摄像机因安装倾斜导致视频图像倾斜问题，该方法不受摄像机结构安装的限制，无需对摄像机装配结构进行二次调整，节省人力，提高摄像机视频图像的质量。

根据本发明的一些实施例，直线A和直线B分别为两个位置中垂直于地面的建筑物的一条竖直边。

根据本发明的一些实施例，在步骤S1中，摄像机转动的任意两个位置分别为A(p1,t1)和B(p2,t2)，p1≠p2,p1-p2≠±π,t1＝t2,所述p1和t1为摄像头位置A的镜头方向与x轴夹角和与z轴的夹角,p2和t2为摄像头位置B的镜头方向与x轴夹角和与z轴的夹角。

根据本发明的一些实施例，在步骤S3中，直线A和直线B对应的图像的倾斜率分别为k1和k2，摄像头安装倾斜的角度为τ，摄像头倾斜于垂向的角度为θ，

k1＝(ya1-ya2)/(xa1-xa2)；

k2＝(yb1-yb2)/(xb1-xb2)；

τ＝k2*sin(p1-θ)；

τ＝k1*sin(p2-θ)；

其中，0≤xa1≤1920,0≤ya1≤1080,0≤xa2≤1920,0≤ya2≤1080。

根据本发明的一些实施例，在步骤S4中，任意水平角所对应的视频图像的倾斜度k＝sin(θ-P)*τ。

根据本发明的一些实施例，在步骤S5中，原始画面的画面分辨率为H*V，裁剪后分辨率不变。

根据本发明的一些实施例，原始视频画面中的任一点(x，y)经过顺时针旋转k度后，裁剪至原画面的R倍，变换后的(x’，y’)为：

x0＝(x-H/2)*cos(k)-(y-V/2)*sin(k)+H/2；

y0＝(x-H/2)*sin(k)+(y-V/2)*cos(k)+V/2；

x’＝(x0-(1-R)*(2*H/2)/2.0)/R；

y’＝(y0-(1-R)*(2*V/2)/2.0)/R；

H＝1920；V＝1080

根据本发明的一些实施例，所述方法还包括：

S7、在旋转后的视频画面中加入增强现实信息或标定信息，复原至原始视频画面，变换后的(x，y)为：

x0＝(x’-H/2)*cos(k)-(y′-V/2)*sin(-k)+H/2；

y0＝(x’-H/2)*sin(-k)+(y’-V/2)*cos(k)+V/2；

x＝(1-R)*(2*H/2)/2.0+R*x0；

y＝(1-R)*(2*V/2)/2.0+R*y0；

H＝1920；V＝1080。

第二方面，本发明实施例提供一种计算机存储介质，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现如上述实施例所述的方法。

根据本发明第三方面实施例的电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令；所述处理器用于调用并执行所述一条或多条计算机指令，从而实现如上述任一实施例所述的方法。

附图说明

图1为根据本发明实施例的摄像机视频图像实时纠偏方法中摄像机的安装示意图；

图2为根据本发明实施例的摄像机视频图像实时纠偏方法中摄像机的安装无倾斜的示意图；

图3为根据本发明实施例的摄像机视频图像实时纠偏方法中摄像机的安装倾斜的示意图；

图4为根据本发明实施例的摄像机视频图像实时纠偏方法中摄像机的视频图像裁剪前后的对比示意图；

图5为根据本发明实施例的摄像机视频图像实时纠偏方法中摄像机旋转至一个位置时的视频图像；

图6为根据本发明实施例的摄像机视频图像实时纠偏方法中摄像机旋转至另一个位置时的视频图像；

图7为由图5的视频图像纠偏后得到的视频图像；

图8为本发明实施例的电子设备的示意图。

附图标记：

电子设备300；

存储器310；操作***311；应用程序312；

处理器320；网络接口330；输入设备340；硬盘350；显示设备360。

具体实施方式

下面将结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

下面首先结合附图具体描述根据本发明实施例的摄像机视频图像实时纠偏方法。

如图1-图7所示，根据本发明实施例的摄像机视频图像实时纠偏方法包括以下步骤：

S1、调整摄像头转动至任意两个不同的位置，并从两个位置中分别选择一条垂直于地面的直线，得到直线A和直线B。

S2、获取直线A和直线B在摄像头画面中的坐标，其中，直线A的两个端点在摄像头画面中的坐标为A1(xa1，ya1)，A2(xa2，ya2)，直线B的两个端点在摄像头画面中的坐标为B1(xb1，yb1)，B2(xb2，yb2)。

S3、根据直线A和直线B的坐标分别计算直线A和直线B对应的图像的倾斜率以及摄像头安装倾斜的角度。

S4、根据直线A和直线B的倾斜率以及摄像头安装倾斜的角度，获取任意水平角所对应的视频图像的倾斜度k。

S5、将原始视频画面逆时针旋转k度，裁剪比例为R(0～1)。

S6、将原始视频画面中的任一点经过顺时针旋转k度后，裁剪至原画面的R倍，得到纠正后的视频图像。

其中需要说明的是，根据本发明实施例的摄像机视频图像实时纠偏方法在实施之前，摄像机已经装配在预定位置并进行拍摄操作，摄像机装配的位置在坐标系中如图1所示。当摄像机的安装位置无倾斜时，如图2所示，摄像机的垂心是平行于z轴的，p指摄像机镜头方向与x轴夹角，t指摄像机镜头方向与z轴的夹角。当摄像机的安装位置出现倾斜时，如图3所示，OO″为摄像机垂心，OO″与OO′的夹角τ为垂度，即摄像机安装倾斜的角度，其中角度单位均为弧度。O′O″为OO″的平面xO′y的投影，O′′O′与O′_X的夹角θ为垂向，即摄像机安装倾斜垂向的角度。由于摄像机在安装时垂向与垂度是未知的，因此，可以采用本发明的摄像机视频图像实时纠偏方法，通过两个画面不同的倾斜量求出垂向与垂度。

根据本发明实施例的摄像机视频图像实时纠偏方法在对摄像机进行纠偏时，首先控制摄像机转动至任意两个位置，并从每个位置中获得一条垂直于地面的直线，接着获取每条直线在图像中的坐标，并计算两条直线对应的图像的倾斜率，从而获得摄像头安装倾斜的角度，由此进一步计算摄像头的任意水平角所对应的视频图像的倾斜度，最后，根据倾斜度，按照裁剪比例逆时针旋转摄像头的原始视频画面，再将视频画面顺时针旋转，并恢复至原始裁剪比例，即可得到纠正后的视频图像。

由此，根据本发明实施例的摄像机视频图像实时纠偏方法，通过实时地纠正视频图像的倾斜量，还原视频图像的正常水平，可以解决摄像机因安装倾斜导致视频图像倾斜问题，该方法不受摄像机结构安装的限制，无需对摄像机装配结构进行二次调整，节省人力，提高摄像机视频图像的质量。

根据本发明的一个实施例，直线A和直线B分别为两个位置中垂直于地面的建筑物的一条竖直边。可选地，在步骤S1中，摄像机转动的任意两个位置分别为A(p1，t1)和B(p2，t2)，p1≠p2，p1-p2≠±π，t1＝t2。

具体地，如图5和图6所示，可以选择摄像头在两个旋转位置拍摄到的视频画面中任意一个建筑物的边沿或者墙面作为直线A或者直线B，两条直线在视频画面中可能是倾斜的，但是在现实中是垂直于地面的直线，并且两条直线优选两个视频画面中两个不同的建筑物的边沿或者墙面。

在本发明的一些具体实施方式中，在步骤S3中，直线A和直线B对应的图像的倾斜率分别为k1和k2，摄像头安装倾斜的角度为τ，摄像头倾斜于垂向的角度为θ，

k1＝(ya1-ya2)/(xa1-xa2)；

k2＝(yb1-yb2)/(xb1-xb2)；

τ＝k2*sin(p1-θ)；

τ＝k1*sin(p2-θ)；

其中，0≤x≤1920，0≤y≤1080。

也就是说，根据直线A和直线B在坐标系中的坐标，可以计算出各自的视频画面相对于竖直方向的倾斜率，其中(xa1，ya1)、(xa2，ya2)、(xb1，yb1)、(xb2，yb2)为视频图像坐标，其中0≤x≤1920，0≤y≤1080，可求得θ与τ的值，即可通过视频图像计算出摄像机的倾斜状态。

在此基础上，根据两个视频画面中不同直线计算得到的不同的倾斜率，求得θ与_τ的值后，则可求任意P所对应的视频图像倾斜度了。则有：

k＝sin(θ-P)*τ；

k为任意水平角为P时的视频图像的倾斜度，即在水平角为P时将原始视频图像旋转k度可得到无倾斜的视频图像。

由于视频图像在任意水平角P都是经过原始视频图像旋转k(--τ≤k≤τ)形成的，固原始视频图像的任意位置也是经过旋转的。在许多视频监控***中，视频图像都是附加增强现实信息或图像标定的。因此需要找出视频图像旋转前后的对应关系，再对附加增强现实信息或图像标定信息与视频图像一一对应。

假设当前画面分辨率为H*V，画面逆时针倾斜角度为k度(旋转以顺时针为正)。需要裁减的比率为R(范围在0～1之间)，裁减前后分辨率不变，如图4所示。原始图面中有一点(x，y)经过顺时针旋转k度后再裁减至原来画面的R倍，变换后的(x’，y’)公式如下：

x0＝(x-H/2)*cos(k)-(y-V/2)*sin(k)+H/2；

y0＝(x-H/2)*sin(k)+(y-V/2)*cos(k)+V/2；

x’＝(x0-(1-R)*(2*H/2)/2.0)/R；

y’＝(y0-(1-R)*(2*V/2)/2.0)/R；

H＝1920；V＝1080

即任意点(x，y)经过旋转k度后的目标位置为(x’，y’)，即原始视频图像中(x，y)点的增强现实信息或标定信息应该在旋转后的视频图像(x’，y’)位置，即可得到纠偏后的图像，其中图7为图5的视频画面纠偏后的视频画面。

相反，若在旋转后的视频图像中加入的增强现实信息或标定信息，因需求需要复原至原始视频图像，根据本发明实施例的摄像机视频图像实时纠偏方法还包括：

S7、在旋转后的视频画面中加入增强现实信息或标定信息，复原至原始视频画面，变换后的(x，y)为：

x0＝(x’-H/2)*cos(k)-(y’-V/2)*sin(-k)+H/2；

y0＝(x’-H/2)*sin(-k)+(y’-V/2)*cos(k)+V/2；

x＝(1-R)*(2*H/2)/2.0+R*x0；

y＝(1-R)*(2*V/2)/2.0+R*y0；

H＝1920；V＝1080。

由此，还可以将纠偏后的图像复原至原始的视频图像。

总而言之，根据本发明实施例的摄像机视频图像实时纠偏方法，可以实时地纠正视频图像的倾斜量，还原视频图像的正常水平，可以解决摄像机因安装倾斜导致视频图像倾斜问题，该方法不受摄像机结构安装的限制，无需对摄像机装配结构进行二次调整，节省人力，提高摄像机视频图像的质量。

此外，本发明还提供一种计算机存储介质，所述计算机存储介质包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述任一所述的摄像机视频图像实时纠偏方法。

也就是说，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行上述任一所述的摄像机视频图像实时纠偏方法。

如图8所示，本发明实施例提供了一种电子设备300，包括存储器310和处理器320，所述存储器310用于存储一条或多条计算机指令，所述处理器320用于调用并执行所述一条或多条计算机指令，从而实现上述任一所述的方法。

也就是说，电子设备300包括：处理器320和存储器310，在所述存储器310中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器320执行上述任一所述的方法。

进一步地，如图8所示，电子设备300还包括网络接口330、输入设备340、硬盘350、和显示设备360。

上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器320代表的一个或者多个中央处理器(CPU)，以及由存储器310代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。

所述网络接口330，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘350中。

所述输入设备340，可以接收操作人员输入的各种指令，并发送给处理器320以供执行。所述输入设备340可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

所述显示设备360，可以将处理器320执行指令获得的结果进行显示。

所述存储器310，用于存储操作***运行所必须的程序和数据，以及处理器320计算过程中的中间结果等数据。

可以理解，本发明实施例中的存储器310可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器310旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器310存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作***311和应用程序312。

其中，操作***311，包含各种***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序312，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序312中。

本发明上述实施例揭示的方法可以应用于处理器320中，或者由处理器320实现。处理器320可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器320中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器320可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器310，处理器320读取存储器310中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

具体地，处理器320还用于读取所述计算机程序，执行上述任一所述的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种摄像机视频图像实时纠偏方法，其特征在于，包括以下步骤：

S1、调整摄像头转动至任意两个不同的位置，并从摄像头在两个位置拍摄得到的视频画面中分别选择一条垂直于地面的直线，得到直线A和直线B；

S2、获取直线A和直线B在摄像头画面中的坐标，其中直线A的两个端点在摄像头画面中的坐标为A1（xa1，ya1），A2（xa2，ya2），直线B的两个端点在摄像头画面中的坐标为B1（xb1，yb1），B2（xb2，yb2）；

S3、根据直线A和直线B的坐标分别计算直线A和直线B对应的图像的倾斜率以及摄像头安装倾斜的角度；

S4、根据直线A和直线B的倾斜率以及摄像头安装倾斜的角度，获取任意水平角P所对应的视频图像的倾斜度k；

S5、将原始视频画面逆时针旋转k度，裁剪比例为R；

S6、将原始视频画面中的任一点经过顺时针旋转k度后，裁剪至原画面的R倍，得到纠正后的视频图像；

在步骤S3中，直线A和直线B对应的图像的倾斜率分别为k1和k2，摄像头安装倾斜的角度为，摄像头倾斜于垂向的角度为θ，

k1=(ya1-ya2)/(xa1-xa2)；

k2=(yb1-yb2)/(xb1-xb2)；

；

；

其中，0≤xa1≤1920,0≤ya1≤1080, 0≤xa2≤1920,0≤ya2≤1080；

在步骤S4中，任意水平角所对应的视频图像的倾斜度；

所述在步骤S1中，摄像机转动的任意两个位置分别为A(p1,t1)和B(p2,t2)，p1≠p2,p1-p2≠±π,t1=t2，所述p1和t1为摄像头位置A的镜头方向与x轴夹角和与z轴的夹角,p2和t2为摄像头位置B的镜头方向与x轴夹角和与z轴的夹角。

2.根据权利要求1所述的方法，其特征在于，直线A和直线B分别为两个位置中垂直于地面的建筑物的一条竖直边。

3.根据权利要求1所述的方法，其特征在于，在步骤S5中，原始画面的画面分辨率为，裁剪后分辨率不变。

4.根据权利要求1所述的方法，其特征在于，原始视频画面中的任一点(x,y)经过顺时针旋转k度后，裁剪至原画面的R倍，变换后的(x’,y’)为：

5.根据权利要求4所述的方法，其特征在于，还包括：

S7、在旋转后的视频画面中加入增强现实信息或标定信息，复原至原始视频画面，变换后的（x，y）为：

6.一种计算机存储介质，其特征在于，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现如权利要求1-5中任一项所述的方法。

7.一种电子设备，包括存储器和处理器，其特征在于，

所述存储器用于存储一条或多条计算机指令；

所述处理器用于调用并执行所述一条或多条计算机指令，从而实现如权利要求1-5中任一项所述的方法。