CN103051887A - 仿鹰眼智能视觉传感节点及其工作方法 - Google Patents

Abstract

本发明涉及一种仿鹰眼智能视觉传感节点，包括一个广角摄像机、两个PTZ摄像机，嵌入式处理机，PTZ控制装置；广角摄像机和两个PTZ摄像机位于所述的硬件平台上，广角摄像机位于中间，位置固定，两个PTZ摄像机位于两侧，广角摄像机与PTZ摄像机均通过信号线与嵌入式处理机相连，采集的图像均经过嵌入式处理机进行处理，嵌入式处理机通过PTZ控制装置对PTZ摄像机进行控制，两个PTZ摄像机可以在嵌入式处理机的控制下进行调整。采用仿鹰眼智能视觉传感器节点及工作方法，可以扩展视觉范围，能达到180°左右，便于可变分辨率的方式进行大范围的对可疑目标检测、扫视定位，高分辨进行精心分析和识别目标。

Description

仿鹰眼智能视觉传感节点及其工作方法

技术领域

本发明涉及一种仿鹰眼智能视觉传感节点及工作方法，属于视频分析技术和仿生技术领域

背景技术

在所有的动物中，鹰眼观察动物的敏锐程度名列前茅，且以视觉宽、目光敏锐著称。即便是翱翔在二三千米高空的雄鹰，两眼也能一下子从许多相对运动着的复杂背景中发现并捕捉目标。鹰之所以可以在几千米的高空都能准确无误地辨别地面上的目标，这是由它的眼部结构及其视觉原理的特殊性决定的。因此，对鹰眼视觉原理进行分析，建立鹰眼视觉模型，在仿生视觉领域具有广阔的应用前景。

视觉是人类和一些动物所具有的一项基本功能，是一种重要的信息接收***。经研究表明至少有80 %以上的外界信息都是通过视觉来获得的，因此视觉是人和动物最重要的知觉功能。那么，对视觉传感器的研究在传感器领域就显得至关重要、意义重大了。视觉传感器的低成本和易用性已吸引机器设计师和工艺工程师将其集成到各种曾经依赖人工、多个光电传感器，或根本不检验的应用。视觉传感器的工业应用包括检验、计量、测量、定向、瑕疵检测和分捡等。然而，目前市场上对视觉传感器的节点设计还只停留在简单地图像获取上，而且视觉范围不够宽，工业上出现的少量智能视觉传感器也因为功能相对单一，应用范围狭窄，不能很好地推向市场。因此，对可以进行图像预处理、图像识别与理解的智能视觉传感器节点的设计和应用进行研究是具有很大的商业价值的。那么，设计一种可以方便用户快速定制自己需求功能的智能视觉传感器是很有必要。

发明内容

针对目前视觉传感器的视觉范围不够宽、图像信息利用率低以及一些智能视觉传感器的功能固定、单一、不易更改等缺点，本发现的目的是提供一种仿鹰眼智能视觉传感器节点及工作方法，采用视频分析和图像处理技术，模仿鹰眼感知环境的机制和机理，获取的三路图像进行处理和分析，最后加入在线编程功能，方便用户快速定制自己需求功能，扩展智能视觉传感器的应用范围。

本发明的主要技术内容如下：

一种仿鹰眼智能视觉传感节点，包括一个硬件平台，所述硬件平台包括一个广角摄像机、两个PTZ摄像机，嵌入式处理机，PTZ控制装置；所述广角摄像机和两个PTZ摄像机位于所述的硬件平台上，所述广角摄像机位于中间，位置固定，两个PTZ摄像机位于两侧，所述广角摄像机与PTZ摄像机均通过信号线与嵌入式处理机相连，采集的图像均经过嵌入式处理机进行处理，所述嵌入式处理机通过PTZ控制装置对PTZ摄像机进行控制，所述两个PTZ摄像机可以在嵌入式处理机的控制下进行调整。

上述的PTZ摄像机的成像参数由控制装置发指令并在广角摄像机的视野内进行移动、变倍、变焦；所述的PTZ控制装置采用闭环绝对位置控制，能够快速给定并获取摄像机位置。

上述的仿鹰眼智能视觉传感节点，采用固定的安装方式，安装于需要大场景监控的环境中，所述广角摄像机在调整好监控场景后即固定，所述PTZ摄像机通过参数设置，可以在广角摄像机视野中移动。

上述的嵌入式处理机包括ARM子***和DSP子***组成的主***、电源单元、视频图像接口单元、DDR存储单元、Flash存储单元、视频输出单元、以太网接口单元、调试接口单元；所述电源单元为整个硬件***提供电源，所述视频图像接口单元负责接收前端视频图像采集装置传来的图像，然后交给主***，所述DDR存储单元与主***相连，用于存储数据，所述Flash存储单元与主***相连，用于存储程序代码，所述视频输出单元用于外接液晶显示器，所述以太网接口单元用于方便用户远程访问，所述调试接口单元用于用户功能定制时调试使用。

上述两台PTZ摄像机的工作模式可以进行自动或人工组合，当广角摄像机中捕获的可疑目标距离过远、速度过快，PTZ摄像机难以进行有效跟踪时，两台PTZ摄像机可以组成交替跟踪模式，嵌入式处理机利用广角摄像机捕获的大场景信息来调度两台PTZ摄像机进行交替跟踪。当可疑目标距离较近或者较慢时两台PTZ摄像机进入双目视觉模式，组成立体视觉从而获取感兴趣目标的更多信息。

上述嵌入式处理机对获取的视频数据进行整合输出，根据具体配置，将画面整合显示，在具体实施中不占用额外的带宽资源，同时可以远程遥控切换显示方式。

上述广角摄像机与PTZ摄像机由一个摄像机和若干个红外发光二极管组成，摄像机在中央位置，若干个红外发光二极管均匀分布在摄像机的周围。

一种仿鹰眼智能视觉传感节点的工作方法，所述步骤如下：

（1）、广角摄像机用于大场景的实时监控，其获取的大场景图像为低分辨率图像，经过嵌入式处理机处理后，采用目标的运动显著性和轮廓显著性检测可疑目标；

（2）、在没有可疑目标的情况下两台PTZ摄像机工作处于巡航模式；当广角摄像机发现可疑目标后，通过嵌入式处理机的图像分析和处理程序，计算出感兴趣目标在场景中的坐标位置参数和移动速度参数；

（3）、通过PTZ摄像机位置控制平台，控制两台PTZ摄像机移动、粗调焦和变倍；两台PTZ摄像机根据广角摄像机捕获目标的坐标参数信息对准可疑目标后，根据采集图像信息进一步进行变焦微调，同时广角摄像机获取的目标特征参数会传递给PTZ摄像机，PTZ摄像机根据目标轮廓特征进行进一步精细分析感兴趣目标，并完成感兴趣目标的自动稳定跟踪。

借由上述技术方案，本发明至少具有下列优点：

采用仿鹰眼智能视觉传感器节点及工作方法，可以扩展视觉范围，能达到180°左右，便于可变分辨率的方式进行大范围的对可疑目标检测、扫视定位，高分辨进行精心分析和识别目标。图像传感器采用集中放置的模式，便于安装及数据传输。在视觉传感器节点装置内加入图像预处理的程序，可以提高图像的利用率，方便后期图像分析。为装置加入可编程接口，能够方便用户根据需要定制自己的功能，可以很好地扩展仿鹰眼智能视觉传感器节点的应用范围。

本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

图1是本发明的仿鹰眼智能视觉传感节点结构示意图；

图2是本发明的一种仿鹰眼智能视觉传感节点的硬件连接关系示意图；

图3是图1中嵌入式处理机的组成方框图；

图4是仿鹰眼智能视觉传感节点中摄像机位置部署图；

图5是光源分布结构示意图；

图6是仿鹰眼视觉原理的成像目标检测和识别的流程图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的其具体实施方式、结构、特征及其功效，详细说明如后。

一种仿鹰眼智能视觉传感节点，包括一个硬件平台，硬件平台包括一个广角摄像机、两个PTZ摄像机，嵌入式处理机，PTZ控制装置；广角摄像机和两个PTZ摄像机位于硬件平台上，广角摄像机位于中间，位置固定，两个PTZ摄像机位于两侧，广角摄像机与PTZ摄像机均通过信号线与嵌入式处理机相连，采集的图像均经过嵌入式处理机进行处理，嵌入式处理机通过PTZ控制装置对PTZ摄像机进行控制，两个PTZ摄像机可以在嵌入式处理机的控制下进行调整。

PTZ摄像机的成像参数由PTZ控制装置发指令并在广角摄像机的视野内进行移动、变倍、变焦； PTZ控制装置采用闭环绝对位置控制，能够快速给定并获取摄像机位置。

仿鹰眼智能视觉传感节点，采用固定的安装方式，安装于需要大场景监控的环境中，广角摄像机在调整好监控场景后即固定，PTZ摄像机通过参数设置，可以在广角摄像机视野中移动。

两台PTZ摄像机的工作模式可以进行自动或人工组合，当广角摄像机中捕获的可疑目标距离过远、速度过快，PTZ摄像机难以进行有效跟踪时，两台PTZ摄像机可以组成交替跟踪模式，嵌入式处理机利用广角摄像机捕获的大场景信息来调度两台PTZ摄像机进行交替跟踪。当可疑目标距离较近或者较慢时两台PTZ摄像机进入双目视觉模式，组成立体视觉从而获取感兴趣目标的更多信息。

嵌入式处理机对获取的视频数据进行整合输出，根据具体配置，将画面整合显示，在具体实施中不占用额外的带宽资源，同时可以远程遥控切换显示方式。

如图1所示，仿鹰眼智能视觉传感节点由两个PTZ摄像机1和PTZ摄像机2，一个广角摄像机3组成以及嵌入式处理机4组成，广角摄像机3位于中间，位置固定。两个PTZ摄像机位于两侧。通过可以两自由度转动的PTZ控制装置连接于广角摄像机3两侧，PTZ摄像机1、PTZ摄像机2和广角摄像机3的连接处采用半圆环式连接，内部已经包含调整机构及驱动电路，可以接收嵌入式处理机4的控制信号进行角度及变焦变倍调整。装置安装完毕后，广角摄像机3位置固定，PTZ摄像机1和摄像机2可以在嵌入式处理机4的控制下进行调整。

如图2所示，广角摄像机9和PTZ摄像机5、PTZ摄像机6通过信号线与嵌入式处理机10相连，将采集到的视频信息传送给嵌入式处理机10，嵌入式处理机10根据广角摄像机9的图像数据对监控场景中的可疑目标进行捕获，捕获到目标后通过计算判断感兴趣目标的位置参数和移动速度参数，调用PTZ控制装置7和8进行跟踪。在此过程中，嵌入式处理机10对三路视频信号进行处理，通过连接监控中心11的信号线传输监控数据，监控中心11可以通过控制信号线对本发明所述装置进行控制，包括相机参数的重新标定，对PTZ摄像机的人工控制，自动跟踪的目标切换，本地存储查询等功能。

如图3所示，图1中所述的嵌入式处理机4，由ARM子***和DSP子***组成的主***5、电源单元6、视频图像接口单元7、DDR存储单元8、Flash存储单元9、视频输出单元10、以太网接口单元11、调试接口单元12（JTAG、RS232等）。其中，电源单元6为整个硬件***提供电源，视频图像接口单元7负责接收前端视频图像采集装置传来的图像，然后交给主***5，DDR存储单元8与主***5相连，用于存储数据，Flash存储单元9与主***5相连，用于存储程序代码，视频输出单元10主要用于外接液晶显示器，以太网接口单元11用于方便用户远程访问，调试接口单元12主要用于用户功能定制时调试使用。

如图4所示，仿鹰眼智能视觉传感节点集成了三个摄像机：右摄像机13、中间摄像机14、左摄像机15。三个摄像机的中心轴线在同一平面上并且相交于一点，其中，左、右摄像机的中轴线与中间摄像机的中轴线的夹角分别为α、β，且α=β=45°。可以从图4中看到，中间摄像机14是固定在等腰直角三角形底板16的直角顶点上的，左、右摄像机分别固定在两个等腰直角边上的。就像鹰眼总体来说有三个视觉区一样，左摄像机15负责左侧前方的图像、中间摄像机14负责正前方的图像、右摄像机13负责右侧前方的图像，三个摄像机一起得到一幅总的视野图像，从而具有更宽广的视野范围。

如图5所示，仿鹰眼智能视觉传感节点中，单个广角摄像机与PTZ摄像机由一个摄像机17和若干个红外发光二极管18组成。其中摄像机17在中央位置，若干个红外发光二极管18均匀分布在摄像机17的周围，本发明设计了26个红外发光二极管18，在晚上，红外发光二极管18发出红外光，可使摄像机17在夜晚依然能够采集到监控区域清晰的图像。所以，本发明装置可以24小时正常工作，无论是白天还是夜晚都没有影响。

一种仿鹰眼智能视觉传感节点的工作方法，所述步骤如下：

（1）、广角摄像机用于大场景的实时监控，其获取的大场景图像为低分辨率图像，经过嵌入式处理机处理后，采用目标的运动显著性和轮廓显著性检测可疑目标；

（2）、在没有可疑目标的情况下两台PTZ摄像机工作处于巡航模式；当广角摄像机发现可疑目标后，通过嵌入式处理机的图像分析和处理程序，计算出感兴趣目标在场景中的坐标位置参数和移动速度参数；

（3）、通过PTZ摄像机位置控制平台，控制两台PTZ摄像机移动、粗调焦和变倍；两台PTZ摄像机根据广角摄像机捕获目标的坐标参数信息对准可疑目标后，根据采集图像信息进一步进行变焦微调，同时广角摄像机获取的目标特征参数会传递给PTZ摄像机，PTZ摄像机根据目标轮廓特征进行进一步精细分析感兴趣目标，并完成感兴趣目标的自动稳定跟踪。

如图6所示，是本发明的仿鹰眼视觉原理的智能视觉传感器节点的工作方法流程图。具体的实现步骤如下：

（1）硬件初始化

主要完成各摄像机内参数和外参数的标定，建立世界坐标系。

（2）各路图像的获取及预处理

在硬件初始化之后，分别获取各摄像机的图像，对获取的图像初步定位、缩小匹配范围、提高匹配速度，对图像去噪声、平衡图像亮度，包括图像增强和预先对齐等，由于图像存在噪声，相邻图像样本的重叠部分在细节上是不完全相同的，为过滤图像噪声，先对灰度化图像选用高斯滤波器进行平滑处理和梯度锐化处理。

（3）大场景图像的获取与处理

大场景图像即为正前方的图像。依据检测任务，在模式选择模块的控制下，完成监测场景中，可疑目标的定位、跟踪和标记。统计和计算可疑目标的数量以及在建立的世界坐标系下的实时坐标位置参数和移动速度参数。

（4）小场景图像的获取与处理

左前侧方向图像和右前侧方向图像分别是小场景图像。具有小视场成像特点，可获取场景局部细节图像数据。在给定的可疑目标坐标位置参数信息的导引下，嵌入式处理机控制左右PTZ摄像机对可疑目标进行精确实时交替跟踪检测和实时高清晰成像，并对输出图像进行映射变换，输出高分辨率小视场图像。

（5）目标识别子***

目标识别子***对左前侧和右前方向输出高分辨率小视场图像进行精细分析。具体如下：

1）目标的表征和描述

目标表征和描述用于目标自动识别***的前处理，由于目标形态差异大，对目标的描述往往是多方面的，这必然导致目标特征的多样性，如何依据目标目标的特点和检测工艺实际需求，选择合理的特征来表征和描述目标成为一个重要的问题。不同的特征来表征目标特点和性质，可以从结构上和物理形态找出不同目标之间的区别，如形状特征可以体现不同类别目标在大小、位置、长宽比、分布方向性等的差异，常用的特征模型有：灰度特征、梯度特征、形状特征、投影特征、纹理特征等。目标精准辨识需要大量特征来表征和描述，即便用高阶特征来表征和描述，有大量随机因素，也难以精确表征和描述，而在实际中受检测性能限制，传统的目标检测方法往往对目标的描述的过于复杂“高阶”，必然存在一定的冗余信息，通常采用PCA降维，便于后续目标识别和分类。但是降维后，还需进一步优化各特征，才能更好地表征和描述目标。由于遗传算法依赖性小、全局搜索能力强的一种全局优化方法，因此我们选择遗传算法（GA）优化。由于不同特征对于正确辨识目标的贡献不同，借鉴视觉显著性理论，我们定义一种基于概率显著性度量准则，以视觉显著性理论指导目标统一表征和描述。由于环境条件的限制，目标特征存在很大的不确定性，显著性度量不应以具有确定形式的函数为准则，而应该是一个经验统计量。依据概率显著性，得到辨识准确率最大的特征对应于最显著的特征。具体步骤如下：

Step1 设由GA算法搜索得到最优特征子序列，选择某一特征进行辨识的总准确率和目

标准确率，采用算术平均的方法定义特征的贡献度值 。

Step2 特征贡献度矢量中每个值都在0-1之间。由于不同的特征对鉴别的贡献是不一样的，在训练阶段应用基于GA的特征选择考虑每个特征在特征空间中的相对贡献大小，对特征贡献度矢量进行归一化后计算特征算法得到最优特征子序列之后，如果能够进一步对最优特征子序列进行特征优化，则无疑会提高测试阶段的辨识性能。

Step3 由于最优特征子序列中特征间相关性很小，可以看作是相互独立的，因此采用最大正确率来描述特征的显著性，依据概率显著性来进行特征优化。

2）基于不确定推理的目标辨识

目标识别主要有两类方法：基于目标特征的分类识别和基于不确定推理的识别。复杂环境下，由于目标受干扰严重，信号强度弱，再加上生产线的高速运动，是的目标出现的位置、形状、纹理、尺寸等身份特征不仅弱，且存在比较大的不确定性，目标属于不确定目标。同时，复杂环境下成像设备采集受到采样失真、图像传输***噪声等因素，难以获取目标完备数据，再加上表征目标的特征信息不确定性增加，且表现形式也可能多种多样。这种多样化的不确定信息很难用精确数据表示方法进行确切描述和统一表征，因此，采用传统的基于特征的目标识别方法是很难完成不确定目标识别恒虚警率、高检测率的要求。这种情况下，通过丰富目标目标先验知识，基于不确定推理剔除干扰和虚警，是复杂环境下提高识别率、降低虚警率的一种行之有效的方法。本发明采用不确定推理方法进行目标识别，步骤如下：

Step1 不确定信息建模，重点考虑两类不确定信息建模：目标信息的随机集理论和证据理论的置信测度建模。

Step2 目标的不确定Bayes推理识别过程。

Step3 获取目标目标识别信息，并存储至先验知识库。

（6）目标定位子***

目标定位子***是当广角摄像机发现兴趣目标后，通过嵌入式处理机利用图像分析和处理，计算出兴趣目标在场景中的三维坐标和移动速度，形成对PTZ控制平台的控制指令，控制PTZ摄像机移动以及变倍，两台PTZ摄像机根据广角摄像机捕获目标的坐标信息对准可疑目标后，根据采集图像信息进一步进行变焦微调，完成对可疑目标的精确定位和跟踪分析。

目标定位子***，还可以使两台PTZ摄像机的工作模式进行自动或人工组合切换，当广角摄像机中捕获的可疑目标距离过远、速度过快，PTZ摄像机难以进行有效跟踪时，两台PTZ摄像机可以组成交替跟踪模式，嵌入式处理机利用广角摄像机捕获的大场景信息来调度两台PTZ摄像机进行交替跟踪。当可疑目标距离较近或者较慢时两台PTZ摄像机进入双目视觉模式，组成立体视觉从而获取目标的更多信息。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种仿鹰眼智能视觉传感节点，其特征在于：包括一个硬件平台，所述硬件平台包括一个广角摄像机、两个PTZ摄像机，嵌入式处理机，PTZ控制装置；所述广角摄像机和两个PTZ摄像机位于所述的硬件平台上，所述广角摄像机位于中间，位置固定，两个PTZ摄像机位于两侧，所述广角摄像机与PTZ摄像机均通过信号线与嵌入式处理机相连，采集的图像均经过嵌入式处理机进行处理，所述嵌入式处理机通过PTZ控制装置对PTZ摄像机进行控制，所述两个PTZ摄像机可以在嵌入式处理机的控制下进行调整。

2.根据权利要求1所述的仿鹰眼智能视觉传感节点，其特征在于：所述的PTZ摄像机的成像参数由PTZ摄像机位置控制平台发指令并在广角摄像机的视野内进行移动、变倍、变焦；所述PTZ控制装置采用闭环绝对位置控制，能够快速给定并获取摄像机位置。

3.根据权利要求1所述的仿鹰眼智能视觉传感节点，其特征在于：所述的仿鹰眼智能视觉传感节点，采用固定的安装方式，安装于需要大场景监控的环境中，所述广角摄像机在调整好监控场景后即固定，所述PTZ摄像机通过PTZ控制装置进行参数设置，可以在广角摄像机视野中移动。

4.根据权利要求1所述的仿鹰眼智能视觉传感节点，其特征在于：所述的嵌入式处理机包括ARM子***和DSP子***组成的主***、电源单元、视频图像接口单元、DDR存储单元、Flash存储单元、视频输出单元、以太网接口单元、调试接口单元；所述电源单元为整个硬件***提供电源，所述视频图像接口单元负责接收前端视频图像采集装置传来的图像，然后交给主***，所述DDR存储单元与主***相连，用于存储数据，所述Flash存储单元与主***相连，用于存储程序代码，所述视频输出单元用于外接液晶显示器，所述以太网接口单元用于方便用户远程访问，所述调试接口单元用于用户功能定制时调试使用。

5.根据权利要求1所述的仿鹰眼智能视觉传感节点，其特征在于：所述两台PTZ摄像机的工作模式可以进行自动或人工组合，当广角摄像机中捕获的可疑目标距离过远、速度过快，PTZ摄像机难以进行有效跟踪时，两台PTZ摄像机可以组成交替跟踪模式，嵌入式处理机利用广角摄像机捕获的大场景信息来调度两台PTZ摄像机进行交替跟踪。

6.当可疑目标距离较近或者较慢时两台PTZ摄像机进入双目视觉模式，组成立体视觉从而获取感兴趣目标的更多信息。

7.根据权利要求1所述的仿鹰眼智能视觉传感节点，其特征在于：所述嵌入式处理机对获取的视频数据进行整合输出，根据具体配置，将画面整合显示，在具体实施中不占用额外的带宽资源，同时可以远程遥控切换显示方式。

8.根据权利要求1所述的仿鹰眼智能视觉传感节点，其特征在于：所述广角摄像机与PTZ摄像机由一个摄像机和若干个红外发光二极管组成，摄像机在中央位置，若干个红外发光二极管均匀分布在摄像机的周围。

9.一种仿鹰眼智能视觉传感节点的工作方法，其特征在于所述步骤如下：

（1）、广角摄像机用于大场景的实时监控，其获取的大场景图像为低分辨率图像，经过嵌入式处理机处理后，采用目标的运动显著性和轮廓显著性检测可疑目标；

（2）、在没有可疑目标的情况下两台PTZ摄像机工作处于巡航模式；当广角摄像机发现可疑目标后，通过嵌入式处理机的图像分析和处理程序，计算出感兴趣目标在场景中的坐标位置参数和移动速度参数；

（3）、通过PTZ摄像机位置控制平台，控制两台PTZ摄像机移动、粗调焦和变倍；两台PTZ摄像机根据广角摄像机捕获目标的坐标参数信息对准可疑目标后，根据采集图像信息进一步进行变焦微调，同时广角摄像机获取的目标特征参数会传递给PTZ摄像机，PTZ摄像机根据目标轮廓特征进行进一步精细分析感兴趣目标，并完成感兴趣目标的自动稳定跟踪。

Images