CN102891991B - 云台自动连续巡航方法 - Google Patents

Abstract

本发明公开了一种云台自动连续巡航方法，数据处理主要集中到上位机，使得下位机在不增加工作负担的情况下来实现更智能的操作。部分功能转移到上位机，进一步减轻下位机的负担，提高了下位机工作稳定性，特别是针对下位机维修不便或是一经安装要求不可拆卸的工作要求，此方法可以减少下位机的故障率。而对于弯道部分只在两端设置巡航预置点，中间部分开启云台自动连续巡航功能，通过反馈控制实现弯道部分的自动巡航功能，这样不仅减少了预置点的设置，而且一定程度上实现了巡航的智能化。巡航线路根据模板的设置可以实现的准确度的控制。

Description

云台自动连续巡航方法

技术领域

本发明涉及一种云台自动连续巡航方法。

背景技术

近年来，随着安防行业的兴起，我国出现的大批的安防公司，他们提供安防产品和安防解决方案，其中不乏一些优秀的企业，如；海康威视、天地伟业、浙江大华等。他们的一些产品和服务在国内乃至世界上都有着不小的影响力，但是毕竟安防行业作为一个新兴行业，还有着不足之处有待科研工作者的挖掘，比如***的处理效率、安防***本身安全性的保障等。

其中，云台巡航作为安防监控的一项必备功能，也存在很多不足，如目前各个厂家仍然采用着单一的模式，即：设置好预置点和其他的一些功能，一旦功能开启，便从预设好的预置位开始转动云台逐一巡视各个点，实现了想监控哪儿就监控哪儿的功能，这看起来已经是完美了，这在一般情况下完全也是可以实现的。然而如果要监控的是一个线路是弯曲的或者含有弯曲部分，那么就得按照弯曲的线路进行设置预置点才能实现无遗漏的监控，这必然会增加监控点的数量，并且不可能把整个曲线上都设置上巡航监控点，这对于全线实现高密度监控是不利的。

如跑道的监控，就不是对某些点监控。椭圆形跑道的部分路段是弯曲的，这样预置点设置起来就可能会多些，首先，这不仅增加了前端嵌入式设备的处理工作，其次，对预置点信息的保存也占用了一些存储空间，一定程度上加剧了资源的紧张程度。

目前在安防领域还没有太多的人关注这个问题，也许是因为这个行业才刚刚出现，也许是因为人们不不认为这是个急需解决的或需要解决的问题，鉴于以上说明，这个技术问题是需要解决的。除了前述的问题外，如当前某些应用中一个通道最多可以设置16个预置点，预置点的多寡不仅对存储资源的占用有影响，也会对其他资源的占用会有比较大的影响。另外，如云台控制端的存储空间有限，为扩展预置位，需要其他的外部存储空间，这又会涉及到同步问题和传输问题。

发明内容

基于上述存在的问题，本发明提出一种基于特征提取的弯道云台自动连续巡航方法，提高了巡航的平均速度。

为了实现本发明的目的，所采用的技术方案为：

一种云台自动连续巡航方法，应用于具有弯道巡航的场景，匹配弯道两端各设置一个预置点；

作为下位机的云台按照预定的线路开启巡航，并把云台当前角度以及所采集的视频图像实时传输给上位机；

比较所述角度与弯道两端的预置点所对应的云台角度，若不一致，则继续按照预定的路线巡航，若一致，则开启匹配该弯道的自动连续巡航；

其中所述自动连续巡航为：

1）从当前回传的所述视频图像中提取一个[N×N]的模板，N为自然数，表示像素点数；

2）从所述模板中提取边缘点，并对边缘点置位，其余点复位，得到[N×N]矩阵；

3）依据所述矩阵的行列为正交的坐标构造平面直角坐标系，将所提取的边缘点映射到参数空间，形成匹配每个边缘点的各一条三角函数曲线；

4）统计三角函数曲线中与其他三角函数曲线在量化后参数空间某点相交的次数，并保持对应；然后对参数空间的点进行最大值检测，以找到参数空间里三角函数曲线经过最多的点，并依据所述矩阵找到对应该特征三角函数曲线的边缘点在平面直角坐标系参数空间中的参数θ1，取θi=90^o-θ1；

5）如果自动连续巡航没有结束，则读入对应弯道下一个预置点的角度信息（θnh,θnv），与当前预置点（θch,θcv）组成一个方向判断因子，并通过下式确定云台转动方向：

上：θnv>θcv

下：θnv<θcv

左：θnh<θch

右：θnh>θch

并在上式中任意两个成立时，确定一个运动方向；

并依据当前云台速度确定云台的水平VH与俯仰VV速度：

VH=|VC*sinaθi|

VV=|VC*sinaθi|

把所述水平VH与俯仰VV速度发送给云台以控制云台运行，当两个速度中某个值为0时，则不发送对应方向上的速度值。

依据本发明的上述云台自动连续巡航方法，其有益效果是，数据处理主要集中到上位机，也就是图像处理和运算采用了上重下轻的架构，使得下位机在不增加工作负担的情况下来实现更智能的操作。部分功能转移到上位机，进一步减轻下位机的负担，提高了下位机工作稳定性，特别是针对下位机维修不便或是一经安装要求不可拆卸的工作要求，此方法可以减少下位机的故障率。

而对于弯道部分只在两端设置巡航预置点，中间部分开启云台自动连续巡航功能，通过反馈控制实现弯道部分的自动巡航功能，这样不仅减少了预置点的设置，而且一定程度上实现了巡航的智能化。巡航线路根据模板的设置可以实现的准确度的控制。

上述云台自动连续巡航方法，云台当前角度的生成方法是电子罗盘或云台相对角度法。

上述云台自动连续巡航方法，所述模板存放于上位机的数据库，并开放人工修改权限。

上述云台自动连续巡航方法，所述模板的N值为100。

上述云台自动连续巡航方法，上位机的数据库还存放有云台的预置位号、对应预置位号的云台角度，以及自动连续巡航线路上的预置位号、对应该预置位号处的弯道巡航开启或者关闭标志。

上述云台自动连续巡航方法，从所述模板中提取边缘点的步骤为，对模板进行灰度化，以亮度为区分参数，按照预定的阈值进行阈值分割，从而将模板图像中的弯道区域与环境区域区分开。

上述云台自动连续巡航方法， [N×N]矩阵映射到参数空间的映射方程为：

p=x*cos(θ)+y*sin(θ)；

将矩阵里的第一维坐标作为x，第二位坐标作为y，而参数θ为参数空间的自变量。

附图说明

图1为依据本发明云台控制***的总体结构示意图。

图2为视频图像模板截取及处理示意图，其中参数空间框格取自仪表，不影响发明内容的表达。 

图3为方向与速度计算流程图。 

 图4 参数空间变换方程的几何示意图。

具体实施方式

参照说明书附图1，构成云台控制的***，包括云台控制器所控制的云台，以及载于云台上的摄像头，其中云台控制器构成通常被认为包含于云台，而构成上位机，用于云台的功能控制。在图1所示的结构中，云台控制器通过传输模块与上位机通信。

关于下位机模块，用于提供预置点视察功能、巡航功能、云台角度实时回传功能和视频捕捉功能。预置点视察功能是现在安防领域机器必备的功能，它是巡航功能的基础；巡航功能是目前无人监控的基础，它可以按照预先的设置的预置点进行循环遍历视察，减少了人工的参与，实现了一定的智能；云台角度实时回传功能可以把云台目前的角度信息实时回传给上位机，目前有电子罗盘和云台相对角度两种角度计算方式，电子罗盘可以提供相对于地球的云台角度，而云台相对角度是相对于云台自定义零度位置计算的，这两种方法均可以作为上位机数据处理依据。以云台相对角度为例说明，因为它是目前使用较多的；视频捕捉功能提供了前端场景的信息，同时也是上位机数据处理的原始数据。

关于信息传输模块，其包括控制信息、反馈信息、视频数据信息，此模块仅提供一个通信链路，为信息的传递提供支持。 

关于上位机模块，为了不增加下位机的工作负担，本方案的突出特定点是：利用下位机原有的基础功能同时充分发挥上位机的速度与存储优势。该模块主要任务是：弯道自动连续巡航功能的开关控制、速度计算、方向计算、巡航线路的精确度控制、上位机配置信息的记录与管理等功能。

增上所述，依据图1所示的架构，其具有以下显著特点：

1、由于图像的数据含量是相当大的，本方案采用的上重下轻的设计架构将图像数据的处理全部放到上位机，也就是下位机把当前云台的角度信息和视频信息交由上位机来处理，使得下位机在不增加工作负担的情况下来实现更智能的操作，最后又上位机把控制信息回传给下位机，实现下位机的巡航控制。

2、用户使用时可以针对有特征的线路只在两端设置巡航预置点，中间部分开启云台自动连续巡航功能，使云台沿弯道巡航，上位机根据当前的视频画面特点自动控制云台巡航方向，可以适应直线巡航和弯道巡航，两个巡航方法的切换由弯道自动连续巡航功能的开关控制，弯道自动连续巡航功能开则执行弯道巡航，弯道自动连续巡航功能关则切换为直线巡航。这样不仅减少了预置点的设置，而且一定程度上实现了巡航的智能化。其中预置点为所说的开关控制提供了基础，这就是在弯道的两端各设置一个预置点，匹配预置点对应的云台角度即可实现开关点的选择。而通过对两预置点的角度，还可以实现方向判断。

3、巡航线路根据模板的设置来实现的准确度的控制，模板由人工设置，用一个数表示模板参数，并存于数据库，如模板参数为N则表示一个具有N×N个像素的图片区域，模板参数是弯道巡航用到的有一个关键数据。

4、部分功能转移到上位机，进一步减轻下位机的负担，提高了下位机工作稳定性，特别是针对下位机维修不便或是一经安装要求不可拆卸的工作要求，此方法可以减少下位机的故障率。主要有屏蔽区域设置，巡航功能，尤其是屏蔽区域占用较多的字节数，把功能转移到上位机，利用大容量的辅助存储器，这样既减少了下位机的访问存储器操作来提高反应速度，也降低了下位机存储成本。

如参考图1所示的结构，包括下位机模块、信息传输模块、上位机模块。其中下位机模块和信息传输模块为辅助模块。其中下位机模块主要是产生实时云台角度并回传给上位机，同时把视频源数据传给上位机；信息传输模块起到连接上下位机的通道，上位机根据下位机反馈状态实现对其控制与视频图像的智能处理。可以看到它又包括了：数据收发模块、视频预处理模块、模板提取与处理模块、视频检测模块、中心控制模块、警告模块。

在上位机上对预置位、巡航线路进行设置时，关键信息都会被记录在数据库相应的表内，部分模块工作时需要数据库提供支持供程序存储和访问数据。其中，预置位关键信息包括：预置位号、设置预置位时对应的云台角度；巡航线路关键信息包括：巡航线路上的预置位号、预置位号处的弯道巡航开启或关闭标志。

另外，应当理解，现有很多情况下，在下位机也配只有容量较小的存储器，也可以存放如预置点等信息，在本方案中，也不排除把某些相对重要的预置点信息存放到下位机。

整个***的工作过程如下：

第一步，当某路线的巡航开启后，云台把自己的角度实通过RS232或其它线路及网络回传给上位机，于此同时，视频图像也实时传输给上位机。应知，实时视频图像传输至上位机也是当前云台的基本功能。

第二步，上位机通过数据收发模块获得下位机的反馈状态与视频数据并分别进入中心控制模块与视频预处理模块。

第三步，中心控制模块从反馈状态中分离出云台角度信息。视频预处理模块对视频源数据做进一步的处理同时送到显示器显示。

第四步，包括控制中心控制弯道巡航开关、抓图并读取模板参数N、从抓到的图片中提取N×N的模板、模板处理。其中弯道巡航的开关控制方法是：当巡航到某一点或巡航停止时，把此时云台的回传角度与记录在程序中并存于数据库的弯道巡航开始的预置点角度对比，如果相等则表示要开启弯道巡航，否则，按原来方法继续后面得动作。如果此时开启了弯道自动连续巡航功能，由于设置预置位时已把预置位的关键信息存入数据库，在此提取出来，同时从数据库内读取模板参数N，接着从预览的视频中抓取一副图片，则该副图片被送到模板提取与处理模块，最终将一个角度参数θ，该角度为弯道内某处的运动方向所在直线的角度，是一个相对于云台当前位置的角度，或者说角度差；然后把该角度被作为方向控制参数被送到中心控制模块。

第五步，中心控制模块根据θ与巡航线路的下个预置点信息计算出水平转动与垂直转动的方向命令，如左上运动，右下运动。具体见关于图3的解释说明。

参考图2，视频图像模板提取及处理示意图：

注：本文内的实时处理是指：实时的抓取预览视频中的一副图片进行处理，进而控制下位机，本文实时性由算法的效率和上位机处理器性能来保证，在算法中会用到一些数据库内的数据，如预置位与巡航线路信息，作为实时处理输入数据的一部分。

首先提取视频模板，方法为：从数据库读取视频模板参数N，该参数对应一个[N×N]的模板，然后在算法中提取前面所抓取图像的中间的一个[N×N]的子图像作为进一步处理的数据，理论上N的值越小路线分割越细致，巡航线路的精确度越高，但实际上是N值太小会导致无有效数据，进而对巡航产生不可知的控制，这里限定N值是100，对应含有100×100个像素的视频模板，最大不应超过显示视频的垂直方向的像素个数。

然后经过灰度化、阈值分割将图像中弯道区域与其他区域区分开来，表现为亮度的不同，这里的阈值分割是一个亮度为度量标准，设定亮度阈值；然后提取弯道的特征，在本实施例中用的是弯道的边缘特征，用边缘检测算法提取边缘点，其中心思想是将模板图像中每个像素点包括它周围的一个小区域的像素值进行分析，如果某些像素点得值与这些之外的像素点得值有较大差异，那么认为该点处在弯道边缘的地方，经过边缘检测后就把这样的点处的值赋为1，否则非边缘点赋值为0。经过上面的处理得到一副带紧包含0、1值得模板图像，在数学上表现为一个[N×N]的矩阵。

（3）将只有0和1的数据矩阵中值为1的点，即边缘点，映射到参数空间。映射方程为：

p=x*cos(theta)+y*sin(theta)

也就是：将矩阵里的第一维坐标作为x，第二维坐标作为y, theta为参数空间的自变量，这样矩阵里的每个点在矩阵中的位置（x,y）在参数空间就可以形成一条正弦曲线，而且如果共线的点会在参数空间相交。这个用平面几何知识可以解释，在图4中可以示出一个几何关系：

x0cosθ+y0sinθ=x1cosθ+y1sinθ=r

就是说当参数空间的自变量取θ值时，两点（x0,y0）、（x1,y1）在参数空间有相同的值r。

（4）与此同时，对参数空间中参数θ和r的可能取值范围进行量化。因为r对应平面上原点到直线的垂直距离，它的最大值与视频像画面对角线上的像素个数对应，根据预览画面的分辨率可以计算，每段长度设为△r；θ是直线的垂线段在平面坐标系上与x轴正方向的夹角相对应，故将θ的值分成180段，每段长度设为△θ，形成多个(△r，△θ)小单元，相当于一个数据指针。每个小单元设置一个累加器，从而构造出一个累加器数组A(r，θ)，并将其所有数据初始化为0；对图像空间每个点让θ取遍所有可能的值，根据极坐标方程算出相应的r，根据θ和r的值，对累加数组A进行累加；由A(r，θ)的数值可得共线点的个数，也可确定直线。

（5）检索A(r，θ)，求出最大的值，即相交次数最多的点，其对应的r1，θ1就是平面空间共线点所在直线垂线的倾斜角与原点到直线的距离，则直线的倾斜θi角为：90o-θ1,如果θi大于90o说明平面空间的直线斜率小于0，θi值做为速度计算一个关键依据。

参考图3，方向与速度计算流程图：

（1）控制中心获得θi的同时，根据目前所在巡航路线的位置，如果没有巡航完毕，读入巡航路径的下一个预置点的角度信息（θnh,θnv）,与当前预置点（θch,θcv）组成一个方向判断因子，其中（θnh,θnv）、（θch,θcv）分别为下一个预置点的水平与垂直角度和当前预置点的云台的水平与垂直角度，通过下文第（3）步的比较得出该朝什么方向运动，并通过控制中心向下位机发命令来控制。

（2）计算水平与俯仰的速度。根据速度的合成与分解，假设当前设置的云台速度值为VC，水平与俯仰速度值分别为VH、VV，则有：

VH=|VC*sinaθi|

VV=|VC*sinaθi|

如果某个值为0则不发送该方向转动命令。

（3）转动方向分为四个区域，右上、右下、左上、左下，具体向那个方向行进有方向判断因子决定。具体如下：

上：θnv>θcv

下：θnv<θcv

左：θnh<θch

右：θnh>θch

如果上面的比较中有某两个成立，则运动方向是他们两个的组合，如右上运动，由此向设备发送命令来控制云台的运动。对于特殊情况：θnv=θcv或者θnh=θch在此处暂不考虑。

Claims (7)

1.一种云台自动连续巡航方法，应用于具有弯道巡航的场景，其特征在于，匹配弯道两端各设置一个预置点；

作为下位机的云台按照预定的线路开启巡航，并把云台当前角度以及所采集的视频图像实时传输给上位机；

比较所述角度与弯道两端的预置点所对应的云台角度，若不一致，则继续按照预定的路线巡航，若一致，则开启匹配该弯道的自动连续巡航；

其中所述自动连续巡航为：

1）从当前回传的所述视频图像中提取一个[N×N]的模板，N为自然数，表示像素点数；

2）从所述模板中提取边缘点，并对边缘点置位，其余点复位，得到[N×N]矩阵；

3）依据所述矩阵的行列为正交的坐标构造平面直角坐标系，将所提取的边缘点映射到参数空间，形成匹配每个边缘点的各一条三角函数曲线；

4）统计三角函数曲线中与其他三角函数曲线在量化后参数空间某点相交的次数，并保持对应；然后对参数空间的点进行最大值检测，以找到参数空间里三角函数曲线经过最多的点，记参数空间里三角函数曲线经过最多的点所对应的三角函数曲线为特征函数曲线，并依据所述矩阵找到对应该特征三角函数曲线的边缘点在平面直角坐标系参数空间中的参数θ1，取θi=90^o-θ1；

5）如果自动连续巡航没有结束，则读入对应弯道下一个预置点的角度信息（θnh,θnv），与当前预置点（θch,θcv）组成一个方向判断因子，并通过下式确定云台转动方向：

上：θnv>θcv

下：θnv<θcv

左：θnh<θch

右：θnh>θch

并在上式中任意两个成立时，确定一个运动方向；

并依据当前云台速度确定云台的水平V_H与俯仰V_V速度：

V_H=|V_C*sinθi|

V_V=|V_C*cosθi|

把所述水平V_H与俯仰V_V速度发送给云台以控制云台运行，当两个速度中某个值为0时，则不发送对应方向上的速度值；

其中，θ1为参数空间中的三角函数经过次数最多的点的参数。

2.根据权利要求1所述的云台自动连续巡航方法，其特征在于，云台当前角度的生成方法是电子罗盘或云台相对角度法。

3.根据权利要求1所述的云台自动连续巡航方法，其特征在于，所述模板存放于上位机的数据库，并开放人工修改权限。

4.根据权利要求3所述的云台自动连续巡航方法，其特征在于，所述模板的N值为100。

5.根据权利要求1所述的云台自动连续巡航方法，其特征在于，上位机的数据库还存放有云台的预置位号、对应预置位号的云台角度，以及自动连续巡航线路上的预置位号、对应该预置位号处的弯道巡航开启或者关闭标志。

6.根据权利要求1所述的云台自动连续巡航方法，其特征在于，从所述模板中提取边缘点的步骤为，对模板进行灰度化，以亮度为区分参数，按照预定的阈值进行阈值分割，从而将模板图像中的弯道区域与环境区域区分开。

7.根据权利要求1或6所述的云台自动连续巡航方法，其特征在于，[N×N]矩阵映射到参数空间的映射方程为：

p=x*cos(θ)+y*sin(θ)；

将矩阵里的第一维坐标作为x，第二位坐标作为y，而参数θ为参数空间的自变量。