CN101572804B - 多摄像机智能控制方法及装置 - Google Patents

Abstract

本发明公开了一种多摄像机智能控制方法及装置，它包括：检测视频信号中的运动目标，分析运动目标在图像中的大小、位置、运动参数；根据运动目标的大小、位置、运动参数，控制该摄像机的方位和焦距，使运动目标以适当的位置和大小出现在该摄像机的视频画面中，实现对运动目标的跟踪；根据运动目标的位置和运动方向，以及相邻摄像机的监控范围，预测运动目标将进入的相邻摄像机监视区域，控制该相邻摄像机的方位和焦距，使相邻摄像机视场捕获该运动目标，或等待运动目标进入视场。本发明能够对多摄像机覆盖的监控区域内的运动目标进行全程的跨摄像机自动跟踪，并能综合利用各个摄像机采集的运动目标信息，从而对整个***的摄像机进行联动控制。

Description

多摄像机智能控制方法及装置

技术领域

本发明属于视频监控领域，尤指一种具有多摄像机，且各摄像机覆盖区域不一定有重合的区域的，能够对监控区域内的运动目标进行检测及跟踪的摄像机智能控制方法及其装置。

背景技术

随着多媒体技术的不断发展，视频监控已经越来越广泛地应用于安全作业和治安防范等领域。在现代城市中需要很多的智能监控***，如银行，码头，机场，仓库区域，通讯基站的关键地区。传统的监控***不具有自动发现异常的功能，需要由监控值班人员密切注视监视器来发现异常，但是由于人的注意力不能长时间集中，也不可能同时观察许多屏幕。特别地，对于监控人员较少、监控范围较大的***，尤其在夜间，传统的监控方式不能跟踪可疑的运动目标，记录的视频常常很少包含有效信息。而智能监控***具有自动发现异常的功能，极大地弥补了传统监控方式的缺陷。

中国专利申请03116154.5公开了一种能够自动发现并跟踪目标的摄像机***，其摄像机可以自动发现异常目标并自动对其进行跟踪，且能调节焦距，使异常目标在图像上较为清晰。这种摄像机***虽然能够完成异常目标的检测和细部信息的提取，但是其各个监控范围内的信息是孤立的，不能实现跨摄像机的大范围的自动跟踪。中国专利申请200410016455.9公开了一种具有多摄像机的智能跟踪***，该***由一台全景摄像机和若干台跟踪摄像机组成，全景摄像机能够发现异常目标，然后由***分配相应的摄像机进行跟踪，以得到异常目标在监控区域的运动信息和异常目标的清晰图像信息。但是全景摄像不能覆盖很大的监视区域，能控制的摄像机跟踪范围有限。而在现实生活中，一个监控***常包括多台摄像机，各台摄像机的监控区域存在关联性。

发明内容

本发明针对现有监控***的缺陷，提供一种多摄像机智能控制方法及其装置，它能够对多摄像机覆盖的监控区域内的运动目标进行全程的跨摄像机自动跟踪，并能综合利用各个摄像机采集的运动目标信息，从而对整个***的摄像机进行联动控制。这个监控区域可以是一条或几条道路组成的区域，或一个小区。本发明所说的跟踪均指控制摄像机云台转动和镜头焦距(简称控制摄像机)，使目标以适当的大小和位置处于摄像机摄取的画面中，同时进行摄像机自动聚焦，使图像清晰。这样的***大大提高了监视画面和记录图像信息的有效性，减少了监控盲区。本发明还对检测到的运动目标或感兴趣区域进行变焦放大和跟踪，摄取、记录运动目标的特写信息，提高了对运动目标辨识的有效性。摄像机自动聚焦一般由摄像机自动进行，也可由处理器控制进行，如部分网络摄像机，本发明对运动目标的跟踪，均指包括了自动聚焦。

本发明的特点在于：

在摄像机画面中检测到运动目标后，对来自各摄像机的视频信号进行分析，先检测视频信号中的运动目标，再分析运动目标在图像中的大小、位置和运动参数；再根据运动目标在图像中的大小、位置和运动参数，控制摄像机的焦距和方位，使运动目标以适当的位置和大小出现在该摄像机的视频画面中，从而对运动目标进行跟踪，即进入一般跟踪模式。其中运动目标在图像中的大小为运动目标在图像中所占区域的像素点数量，运动目标在图像中的位置即运动目标区域的几何中心或者其它方法确定的位置特征，运动目标的运动参数包括运动方向和运动速度，由运动目标的位置对于时间的变化来求得。在跟踪过程中，控制摄像机的焦距和方位，使运动目标在图像上有适合于跟踪的位置和大小，也就是使得运动目标处于监控画面中心附近的区域，并且运动目标的在监控画面上的大小保持在一定的范围之内，同时摄像机进行自动聚焦，使得运动目标具有较高的清晰度。对摄像机的焦距和方位的控制，是根据摄像机当前的焦距和方位状态参数以及运动目标的大小、位置和运动方向等参数，控制摄像机的镜头和云台，使该运动目标在图像上具有合适的位置和大小；在摄像机的当前焦距和方位参数不能获得时，可采用多次控制的方法逐渐缩放焦距和调整方位，使该运动目标在图像上具有合适的位置和大小。

当一个运动目标处在被跟踪的状态时，提取图像中运动目标的位置、运动方向等信息。再根据运动目标的位置和运动方向、当前摄像机以及相邻摄像机的监视范围，预测运动目标将进入的相邻摄像机监视区域，控制该相邻摄像机的方位和焦距，使相邻摄像机视场捕获该运动目标，或等待运动目标进入视场。

本发明的特点还在于：

当摄像机视频画面中未检测到运动目标且邻近摄像机监控范围内没有运动目标时，自动将摄像机的焦距和方位置于某一个预先设定的预置位，即自动复位，并且根据应用要求或环境情况给摄像机设置多个自动复位的预置位作为预案，当前摄像机及邻近摄像机的监控范围内没有运动目标时，摄像机预置位根据时间、应用需要和检测到的环境情况自动进行调整，即调整到相应预案。比如自动复位预置位的选择可以根据上下班时间的人流方向来设定。

摄像机画面中检测到运动目标后，通过控制摄像机的焦距和方位跟踪运动目标，即对运动目标进行跟踪拍摄。在跟踪拍摄过程中，使运动目标始终处在摄像机画面的中心位置附近，并且使其占整个画面一定比例，并每隔一定时间间隔控制摄像机镜头，改变焦距，一般是使焦距变长，同时控制摄像机方位，使摄像机镜头对准运动目标，从而使运动目标以放大特写的方式处于画面中一段时间，即进入特写跟踪模式。在特写跟踪模式下，运动目标始终处在跟踪状态。与一般跟踪模式相比，特写跟踪方式下运动目标在监控画面中所占的比例更大。放大特写针对感兴趣的运动目标进行，从而获得感兴趣目标更多的细节信息，使人、车等感兴趣目标更清晰。如果特写跟踪模式持续时间较短，或目标运动速度较慢，不调整摄像机方位也不至于使运动目标脱离该摄像机视野，这可根据目标的运动速度和靠近图像边界的程度进行判断，则在特写跟踪模式时可不调整摄像机方位。特写跟踪过程持续一段时间以后，控制摄像机以适当的焦距和方位继续对运动目标进行一般跟踪，也就是使运动目标在图像上的大小恢复到特写跟踪以前的一般跟踪模式的大小，从而便于对运动目标的跟踪，也便于监视更大的区域。这个过程可周期性进行，直到运动目标脱离当前摄像机的监控范围。特写跟踪还可在运动目标形状特征发生较大变化时进行一段时间。

如果摄像机的镜头的焦距参数(或Zoom参数)、摄像机云台的方位参数是可得到的，并可通过设定参数进行控制的，则可能通过参数估算对摄像机进行快速控制，从而实现跟踪拍摄；否则通过逐渐逼近的方式对摄像机进行控制，实现跟踪拍摄。

本发明的特点还在于：

如果在摄像机视频画面中检测到多个运动目标，如检测到多个行人，则根据运动目标在图像上的位置和大小，逐个对各运动目标进行一段时间的放大特写，以便能得到每个运动目标的清晰图像；或者对每一个检测到的运动目标进行特征分析，提取运动目标特征，在检测到多个运动目标时，指定其中一个运动目标，以该运动目标的特征或预先指定的特征作为需要跟踪的目标的特征来选择运动目标进行跟踪，即当前摄像机或相邻摄像机只跟踪其中特征与指定特征最相似的运动目标。可以采用一种或多种目标特征，比如目标大小、运动速度、颜色特征、纹理特征、形状特征、行为特征等。

本发明的特点还在于：

根据目标检测的结果，对运动目标进行分析，找到目标中感兴趣的区域，比如人脸或者车牌等能明显表征目标身份的区域。适当控制摄像机的方位和焦距，对感兴趣的区域进行特写放大处理，以提高感兴趣区域的清晰度，同时保持对运动目标感兴趣区域的跟踪，即进入感兴趣区域跟踪模式。如果感兴趣区域跟踪模式持续时间较短，或目标运动速度较慢，不调整摄像机方位也不至于使该感兴趣区域运动到摄像机视场以外，这可根据目标的运动速度和感兴趣区域靠近图像边界的程度进行判断，则在感兴趣区域跟踪模式时可不调整摄像机方位。这时对运动目标的跟踪可简单地根据纹理特征匹配等方式，也可由其它较复杂的算法实现。得到清晰的感兴趣区域图像后，对感兴趣区域进行特征提取和识别，如对其中车牌或者人脸等进行检测或识别，从而实现视频监控的自动化。其中特征提取、车牌识别和人脸识别可以采用各种成熟的算法。

本发明的特点还在于：

在跟踪运动目标前，需要先检测视频信号中的运动目标，可采用一些成熟的视频信号中检测运动目标的算法，如帧差法、背景差法、混合高斯模型法、目标分割法及光流法等，可只用其中一种方法，也可根据视频信号特点将几种方法结合起来用，如在具有较稳定背景时，采用背景差法或混合高斯模型法，在视频信号背景变化较快时可采用帧差法或目标分割法或光流法。

本发明的特点还在于：

运动目标的检测采用结合邻域特性的混合高斯模型方法，即当前像素的相邻像素中每个判为背景且置信度较高的像素，都加大当前像素的背景模型用于判决时的先验概率或其判决范围，当前像素的相邻像素中每个判为前景且置信度较高的像素，都减小当前像素的背景模型用于判决时的先验概率或其判决范围。

在采用混合高斯模型法时，判为作为背景的高斯模型的置信概率高，则判为背景，否则判为前景。这里所说的将某像素判为背景或前景的置信度也就是采用Bayes法则判为背景或前景像素的后验概率，可用判为作为背景的几个高斯模型的概率之和计算。但因这样计算较复杂，通常具体计算时采用近似的方法，即用规则：所判作的背景或前景的高斯模型为与其均值的Mahalanobis距离具有最小值或小于某阈值，代替规则：判为背景或前景的置信度是否超过某阈值。混合高斯模型算法判决时，为了简化计算，常假设各特征相互独立，并用与高斯模型均值的Mahalanobis距离是否小于一预设阈值Ti进行判决。其中i表示第i个高斯模型。但是常规的混合高斯模型是每个像素独立判决的，没有利用邻域相关性：某像素周围是背景像素时，该像素属于背景的可能性增加，其周围是前景像素时，该像素属于前景的可能性增加。

为了充分利用监控图像中邻域像素之间的相关性，本发明采用基于邻域像素与统计特性相结合的方法来进行目标检测，具体地为采用结合邻域特性的混合高斯模型方法，即当前像素的相邻像素中每个判为背景且置信度较高的像素，都加大当前像素的背景模型用于判决时的先验概率或其判决范围，当前像素的相邻像素中每个判为前景且置信度较高的像素，都减小当前像素的背景模型用于判决时的先验概率或其判决范围。其体实现时，邻域像素为背景的置信概率较高时，或常规混合高斯模型将较多邻域像素将被判为背景时，暂时减小作为背景的那些模型的Mahalanobis距离判决阈值，即用Ti-ε作为判决阈值；邻域像素为前景的置信概率较高时，或常规混合高斯模型将较多邻域像素将被判为前景时，暂时增加作为背景的那些模型的Mahalanobis距离判决阈值，即用Ti+ε作为判决阈值。其中i表示第i个高斯模型，若有n个作为背景的高斯模型，则i＝1，2，…n，ε为一个正实数。因此，结合邻域特性的混合高斯模型法的判决阈值是增是减，取决于邻域中以较高置信度作为背景的像素的数量与以较高置信度作为前景的像素的数量的对比，或简单地取决于常规混合高斯模型将邻域像素判为背景的像素的数量与判为前景像素的数量之对比。这里判决阈值的增加或减小，只用于当前帧像素的判决，不用于后继帧像素的判决。在常规混合高斯模型与结合邻域特性的混合高斯模型法的判决不一致时，判决的可靠性较低，可不更新该像素的高斯模型。

本发明的另一目的提供一种多摄像机智能控制装置，它包括：视频检测模块、摄像机控制模块。该多摄像机智能控制装置与多台摄像机、视频编码设备、通讯模块、录像设备和其它扩展设备相结合，可构成智能视频监控***。

摄像机带有云台和可控镜头，或集成了云台和可控镜头，如一体化球形摄像机、带分离云台的摄像机，具有焦距和方位可控的特点。

视频检测模块实现运动目标检测，并提取运动目标在图像上的大小、位置和运动参数，其中运动参数包括运动方向和运动速度。视频检测模块将所提取的运动目标的大小、位置和运动参数发送到摄像机控制模块。

摄像机控制模块接收来自各摄像机对应的视频检测模块的关于运动目标大小、位置和运动参数等信息，对运动趋势进行分析预测，所述的运动趋势是指运动目标在下一时刻可能的位置或者运动目标脱离当前摄像机的监控范围后可能到达的相邻摄像机及其监控范围。摄像机控制模块基于预测结果给摄像机发出控制信息，控制相应摄像机或其邻近摄像机的方位和焦距，使运动目标以适当的大小出现在摄像机视频画面中，对运动目标进行跟踪，或使其邻近摄像机等待运动目标进入视场，对运动目标进行跨摄像机的接力跟踪。

在对运动目标的跟踪过程中，摄像机控制模块可实现对运动目标短时间的放大，即实现特写跟踪。在对运动目标的跟踪过程中，视频检测模块还检测感兴趣区域，将感兴趣区域的大小、位置和运动参数等信息发送给摄像机控制模块，摄像机控制模块实现对运动目标中感兴趣区域的短时间特写跟踪。在对感兴趣区域进行特写跟踪时，还可进行人脸识别和车牌识别等图像识别。

本发明的特点还在于：

其视频检测模块还对运动目标的特征信息进行分析，特征信息包括目标大小、颜色特征、纹理特征、形状特征、行为特征等，并对特征参数进行记录。在检测到多个运动目标时，摄像机控制模块根据指定的特征参数，或指定的运动目标的特征参数，在摄像机摄取的运动目标中选择一个最接近指定特征的运动目标进行跟踪。当不指定特征参数时采用默认的特征参数进行选择，如选择较大且运动速度较快的运动目标进行跟踪。摄像机控制模块对摄像机发送控制指令，控制当前摄像机或邻近摄像机，使其跟踪与指定目标或指定特征具有最相似特征的运动目标。

本发明的特点还在于：

视频检测模块和摄像机控制模块构成一个独立设备，分析来自摄像机的视频信号。该视频信号是来自摄像机的模拟信号或数字视频码流信号。其中视频检测模块可以分析来自一台或者多台摄像机的视频信号，分析结果送到摄像机控制模块。摄像机控制模块可以接收来自视频检测模块的对一台或者多台摄像机视频检测的分析结果，根据该分析结果确定跟踪目标和跟踪方式，发出摄像机控制信号，对摄像机的方位和焦距进行控制，实现对运动目标的一般跟踪和特写跟踪，或实现对感兴趣区域的特写跟踪。

本发明的特点还在于：

视频检测模块和摄像机控制模块可内置于摄像机内，或内置于视频编码设备中。在内置于摄像机内时，对该摄像机的视频信号进行检测，可只给该摄像机，或同时给该摄像机和其邻近摄像机发送控制指令。在内置于视频编码设备中时，可对被编码的各路视频信号进行检测，并对相应摄像机发送控制指令，也可同时给其它邻近摄像机发送控制指令。

附图说明

图1所示为本发明多摄像机控制的一个实施例过程；

图2为基于多摄像机控制的多摄像机联动跟踪示意图；

图3为对运动目标跟踪过程的一个实施例；

图4为本发明一种实现多摄像机智能控制方法的装置实施例结构图；

图5为采用本发明装置的视频监控***的一个实施例；

图6为采用本发明装置的视频监控***的另一个实施例。

具体实施方式

图1所示为本发明多摄像机控制的一个实施例过程：

在该过程开始前需要对***进行初始化，如将摄像机的最初的焦距和方位置于某一个预先设定的预置位(对准道路的入口)，定义好各摄像机的相邻关系，如每个摄像机定义一些与相邻摄像机关联的区域，这个区域可以用摄像机焦距、方位参数范围来定义，并定义相邻摄像机的名称或编号及其相应的预置位，还可利用地理信息***(GIS)进行相邻摄像机关联区域定义。

来自摄像机的图像逐帧输入，每一帧图像输入后，检测其中的运动目标，可采用各种方法进行目标检测方法，如常用的帧差法、背景差法、混合高斯模型法、目标分割法或光流法等及其改进或组合方法。

如果在当前图像中未检测到运动目标，则过程返回，等待一下帧图像输入；

如果在当前图像中检测到运动目标，则分析该运动目标的大小、位置和运动参数，通过控制摄像机焦距和方位跟踪运动目标，摄像机自动聚焦。如采用运动目标在图像上的面积(像素数)或包围矩形的面积作为运动目标的大小，控制摄像机镜头的焦距，使运动目标在摄像机控制后在图像上的面积为一合适的比例(需要考虑控制所需时间)，如接近1/8。如果摄像机采用了高分辨率传感器，则还可以通过数字缩放的方式实现虚拟变焦。利用运动目标在当前图像上的位置和运动方向、运动速度，可估计运动目标在摄像机控制后在图像上的位置(需要考虑控制所需时间)，控制摄像机云台的方位，使运动目标在控制完成时尽可能处于画面中央。

同时根据预先定义的相邻摄像机关联区域，如跟踪运动目标时进入了某个焦距和方位范围，则控制相应的邻近摄像机为对应的预先设定的焦距和方位，使相邻摄像机视场捕获该运动目标，或等待运动目标进入视场。

上述过程处理完后返回，等待下一帧图像输入。

上述在跟踪过程中，根据检测到的运动目标在图像中的大小、位置和运动参数，通过控制摄像机的焦距和方位实现对运动目标的跟踪，但对摄像机的控制是每隔数帧(如5帧)控制一次，在图像上运动目标变化不大时，可暂不控制，因此，对运动目标的检测也是每隔数帧检测一次，其它图像帧用于维护背景图像、混合高斯模型等。

如图2所示为基于多摄像机控制的多摄像机联动跟踪示意图。图中的大圆圈表示摄像机的监控范围，A、B、C、D为4个摄像机，小方块M表示运动目标，如行人，虚线表示该运动目标的运动轨迹。摄像机A平时视场为该道路的一个入口，运动目标M从入口处进入，一旦进入摄像机A的监控范围内，则被检测到。控制摄像机A的方位和焦距，对运动目标M进行跟踪，图中摄像机A将逆时针方向转动，一旦摄像机的方位角进入点划线所示的α角范围，则控制关联的相邻摄像机B，根据预设的关联控制参数，将摄像机B转到如图中虚线所示方位，同时控制焦距，等待目标M的进入，目标也可能直接进入摄像机B的视野。然后控制摄像机B跟踪该运动目标M。同样地，如果运动目标M进入与摄像机C接近的区域，如图中进入点划线所在的β角范围，则控制摄像机C到如图中的方位，等待运动目标M进入视野，运动目标进入摄像机视野后，由摄像机C继续跟踪。

在上述对运动目标的跟踪过程中，还可根据需要对运动目标进行放大特写处理。

图3所示为对运动目标跟踪过程的一个实施例，在跟踪过程中对运动目标进行了放大特写，具体算法如下：

1.预先设定是否需要运动目标放大特写、是否需要感兴趣区域(ROI)放大特写、二次特写时间间隔T1(即非特写跟踪时间)、运动目标特写持续时间T2、感兴趣区域(ROI)特写持续时间T3等参数。在检测到运动后，跟踪开始。

2.通过控制摄像机对运动目标进行非特写方式跟踪，持续时间T1。

3.检查是否需要对运动目标进行特写跟踪；若是，下一步；否则，转第8步。

4.控制摄像机，使运动目标在画面有较大比例，并控制摄像机跟踪运动目标，对运动目标进行特写跟踪，持续时间T2。

5.检查是否需要对运动目标上感兴趣区域进行特写跟踪；若是，下一步；否则，转第8步。

6.检测感兴趣区域，对人体目标一般为人脸，对车辆目标一般为车牌。

7.控制摄像机，使运动目标上感兴趣区域在画面上有较大比例，并控制摄像机跟踪运动目标上的感兴趣区域，持续时间T3。

8.检查跟踪是否结束，如被人为中断、运动目标离开等。若是，则结束；否则转2，继续下一周期的运动目标跟踪。

在跟踪过程中可改变是否需要特写跟踪、是否需要感兴趣区域特写跟踪的设置，从而控制特写次数，或在需要时增加特写过程。

在跟踪过程中，使运动目标或其感兴趣区域在画面上具有一定比例或一定大小，是通过对摄像机镜头焦距的控制实现的，使运动目标或其感兴趣区域在该摄像机的视频画面中的大小处于[S-ΔS，S+ΔS]之内。这里S和ΔS均是预先设定的值。为使图像保持清晰，同时摄像机自动聚焦。

在跟踪过程中，在运动目标运动较快时，考虑到摄像机方位机械控制的延时，摄像机的方位控制是根据运动目标在图像上的位置、大小和运动方向，对运动目标的运动趋势进行预测，再对摄像机云台进行控制，使运动目标在控制后处于图像(视野)的中央区域附近，即摄像机的方位控制需要利用运动目标的运动趋势预测进行调整。在运动速度较慢时，简单地根据运动目标在图像上的位置和大小，对摄像机云台进行控制，将运动目标在当前图像上的位置作为控制后图像的中央区域。对摄像机视野的控制，一般是通过对摄像机的云台进行控制实现的，对云台镜头一体化的球形也是如此，对于高分辨率摄像机或全景摄像机，则可采用虚拟漫游的方式进行控制。

在上述跟踪过程中，若检测到多个运动目标，且需要对多个运动目标进行特写跟踪和感兴趣区域(ROI)跟踪，则逐个对运动目标进行特写跟踪、感兴趣区域跟踪，对每个目标特写跟踪过程结束后，恢复到一般跟踪模式。在一般跟踪模式，将其中最大或运动最快的目标作为主要跟踪目标，同时使其它检测到的运动目标也进入视野；或将这些运动目标的外接矩形的形心作为视野中心，使检测到的运动目标均进入视野。

在上述跟踪过程中，若检测到多个运动目标，且只需要对指定目标或具有指定特征的运动目标进行跟踪，则对检测出的各运动目标进行特征信息的提取，将指定目标的特征或指定特征作为需跟踪的标准样本特征，标准样本特征可以有多个，将各运动目标的特征采用模式识别的方法与各标准样本特征进行匹配，如最小距离法，对与其中一个标准样本特征具有最相似特征的运动目标进行跟踪。在多摄像机跟踪时，下一个接力跟踪的摄像机采用同样的方法选择跟踪目标。

图4为本发明一种实现多摄像机智能控制方法的装置实施例结构图。

该装置的核心是数字信号处理***，包括一般数字信号处理***所需要的数字信号处理器(DSP)或具有数字信号处理能力的片上***(SoC)芯片、随机存贮器(RAM)、非易失存贮器(如Nor Flash)等器件。数字信号处理***运行的应用软件中包括视频检测模块和摄像机控制模块，视频检测模块用于检测视频中的运动目标，分析运动目标的大小、位置和运动参数；摄像机控制模块根据运动目标的大小、位置和运动参数，控制该摄像机和邻近摄像机方位和焦距。数字信号处理***上还运行其它控制和通信软件，如以太网协议栈。图像处理器或多媒体处理器，如TI公司的DM64x、DM643x和DM644x，均是理想的数字信号处理器。

该装置具有一个或多个视频输入接口，用于接收一路或多路视频信号。在接收来自普通模拟摄像机的复合视频信号时，需要一片视频解码芯片(Video Decoder)，视频解码芯片通常采用ITU656或ITU601视频数据格式将视频信号输入数字信号处理***；在直接接收来自CMOS或CCD图像传感器的视频信号时，直接将数字化后的视频信号输入数字信号处理***；在接收其它格式的视频信号，需要相应的视频采集接口。

该装置还具有以太网通信接口，用于接收来自视频监控***的控制命令，也可在检测到运动目标或特定运动目标后向监控中心发送报警信号。

该装置还具有控制通信接口，如RS232、RS485，用于向摄像机发送控制命令。该接口也可用于与数字视频录像机(DVR)、数字视频服务器(DVS)和视频切换矩阵等设备通信，将摄像机控制命令发送给这些设备，通过它们实现摄像机控制。

控制通信接口还可接受来自监控***的控制命令、向监控中心发送报警信号，这时可省去以太网通信接口。

对摄像机的控制命令也可通过以太网发送给DVR、DVS或监控***中的其它设备，通过这些设备实现摄像机控制，则可省去控制通信接口。

视频信号也可以通过以太网以视频流的方式输入，这时可以没有视频输入接口。

如果DVS、DVR、网络摄像机中已具有足够处理能力的数字信号处理器，则只要将附图4装置中视频信号处理***上的视频检测和摄像机控制软件模块嵌入DVR、DVS、网络摄像机的数字信号处理器软件中，即可实现本发明的多摄像机智能控制。

普通PC机也可作为实现多摄像机智能控制方法的硬件平台，只要增加视频采集接口，如视频采集卡，并增加视频检测和摄像机控制应用软件即可。

若视频信号采用以太网方式输入数字信号处理处理***，如压缩编码后的视频信号或未经压缩的视频信号均可通过以太网输入数字信号处理***，则图4中可省去视频输入接口。一般具有以太网接口并具有数字信号处理能力的设备，如嵌入式***或PC机均可成为实现多摄像机智能控制方法的装置。

图5为采用本发明实现多摄像机智能控制方法的装置的视频监控***的一个实施例。

该***中采用的摄像机带有或集成云台和可控镜头，如一体化球形摄像机、带分离云台的摄像机，具有焦距和方位可控的特点。

***中摄像机智能控制器就是实现多摄像机智能控制方法的装置。

视频编码设备是指实现视频编码的设备，如DVR、DVS或网络摄像机，它对输入的视频信号进行编码、输出压缩后的码流，并接受视频监控***(监控终端或监控服务器)的控制。压缩编码后的视频数据发送到监控终端，还可发送给集中录像设备(如IP-SAN磁盘阵列)。

视频监控终端和视频监控服务器通过以太网与视频编码设备、摄像机智能控制器通信。

来自摄像机的视频信号被分成两路，如采用视频分配器。一路信号进入摄像机智能控制器；另一路信号进入视频编码设备。

摄像机智能控制器中的视频检测模块实现运动目标检测，并提取运动目标在图像上的大小、位置和运动参数，其中运动参数包括运动方向和运动速度。运动目标在图像上的大小用运动目标在图像上占得比例或者像素点数来表示；运动目标在图像上的位置用运动目标在图像上的几何中心(重心、或者外接矩形、外接多边形的中心等)来表示。运动目标的运动参数包括运动速度，运动方向，其中运动速度用运动目标的几何中心的移动速度来表示，运动方向用运动目标的几何中心的移动方向来表示。

摄像机智能控制器中的摄像机控制模块接收来自各个摄像机对应的视频检测模块的关于运动目标的大小、位置和运动参数等信息，对运动趋势进行分析预测。运动趋势预测根据当前运动目标的位置和运动参数，估计出运动目标在下一个时刻将出现在监控图像中的位置。

摄像机智能控制器中的摄像机控制模块根据监控图像中运动目标占图像的比例或者运动目标的像素点数来调节摄像机的焦距变化，使得被跟踪的运动目标在监控图像中占的比例或者运动目标的像素点数达到限定的范围；根据运动目标在监控图像中的位置以及运动目标的运动趋势预测来调节摄像机镜头的方位，使得被跟踪的运动目标在运动过程中始终处在监控图像的限定区域内。

在对运动目标的跟踪过程中，摄像机控制模块可实现对运动目标短时间的放大，即实现特写跟踪。在对运动目标的跟踪过程中，视频检测模块还能采用人脸或车牌等检测算法检测感兴趣区域，将感兴趣区域的大小、位置和运动参数等信息发送给摄像机控制模块，摄像机控制模块实现对运动目标中感兴趣区域的短时间特写放大跟踪。在对感兴趣区域进行特写跟踪时，还可采用相应的算法进行人脸识别和车牌识别等图像识别。

其视频检测模块还对运动目标的特征信息进行分析，特征信息包括目标大小、颜色特征、纹理特征、形状特征、行为特征等，并对运动目标的特征参数进行记录。在检测到多个运动目标时，摄像机控制模块根据指定的特征参数在摄像机摄取的运动目标中选择一个最接近指定特征的运动目标进行跟踪。当不指定特征参数时采用默认的特征参数进行选择，默认的特在参数根据实际情况来设定，如选择面积较大且运动速度较快的运动目标进行跟踪。摄像机控制模块将当前摄像机监控范围内出现的运动目标的特征信息与邻近摄像机中出现过或出现的运动目标的特征信息进行比较，分析判断出相同的运动目标，并对摄像机发送控制指令，使当前摄像机或相邻摄像机跟踪其中运动目标记录中与指定特征最相似的运动目标。

在图5所示的***中，摄像机智能控制器是一个独立的设备，可以同时连接一个或者多个摄像机，处理来自一个或者多个摄像机的视频数据，并且控制一个或者多个摄像机的焦距和方位变化，经过视频检测模块和摄像机控制模块处理的结果数据发送到服务器。

摄像机智能控制器中的视频检测模块和摄像机控制模块还可内置于摄像机内，或内置于视频编码设备(如DVR、DVS)中。在内置于摄像机内时，对该摄像机的视频信号进行检测，可只给该摄像机，或同时给该摄像机和其邻近摄像机发送控制指令。在内置于视频编码设备中时，可对输入该编码设备的各路视频信号进行分析，并对相应摄像机发送控制指令，也可同时给其它邻近摄像机发送控制指令。

图6为采用本发明实现多摄像机智能控制方法的装置的视频监控***的另一个实施例。其中摄像机智能控制器可以是一台或多台设备，与图5不同的是，摄像机智能控制器通过网络接收一路或多路视频流信号，内置视频解码模块，通过视频解码得到解压后的视频信号。摄像机智能控制器中视频检测模块和摄像机控制模块的功能与图5相同。摄像机控制模块通过以太网给视频编码设备或监控服务器发送控制信号，从而实现摄像机控制。摄像机智能控制器可以由具有以太网接口并具有数字信号处理能力的设备实现，如采用具有网络接口的基于嵌入式处理器的设备(如基于DM644x、DM643x和DM64X系列处理器的设备)，或一台具有网络接口的计算机，其中配置视频解码、视频检测、摄像机控制等软件模块。

Claims (9)

1.一种多摄像机智能控制方法，对来自各摄像机的视频信号进行分析，根据分析结果对各摄像机进行控制，其特征在于包括如下步骤：检测视频信号中的运动目标，分析运动目标在图像中的大小、位置、运动参数；根据运动目标的大小、位置、运动参数，控制该摄像机的方位和焦距，使运动目标以适当的位置和大小出现在该摄像机的视频画面中，实现对运动目标的跟踪；根据运动目标的位置和运动方向，以及相邻摄像机的监控范围，预测运动目标将进入的相邻摄像机监视区域，控制该相邻摄像机的方位和焦距，使相邻摄像机视场捕获该运动目标，或等待运动目标进入视场；

在摄像机视频画面中未检测到运动目标且邻近摄像机监控范围内没有运动目标时，将摄像机的焦距和方位置于一个预先设定的预置位；在摄像机画面中检测到运动目标时，跟踪运动目标，并每隔一定时间间隔控制摄像机镜头，改变焦距，同时控制摄像机方位，使摄像机镜头对准运动目标，从而使运动目标以放大特写的方式处于画面中一段时间，然后控制摄像机以适当的焦距和方位继续对运动目标进行非特写方式跟踪。

2.如权利要求1所述的多摄像机智能控制方法，其特征在于：在摄像机视频画面中检测到多个运动目标时，控制摄像机的焦距和方位，逐个对各运动目标进行一段时间的放大特写；或者对每一个检测到的运动目标进行特征分析，提取运动目标的特征，指定其中一个运动目标并跟踪该指定的运动目标，或跟踪具有与预先指定的特征最相似的运动目标。

3.如权利要求1或2所述的多摄像机智能控制方法，其特征在于：对运动目标进行分析，检测运动目标中的感兴趣区域，通过控制摄像机的焦距和方位，提高感兴趣区域的清晰度，并对感兴趣区域进行特征提取和识别。

4.如权利要求1或2所述的多摄像机智能控制方法，其特征在于：运动目标的检测采用帧差法、背景差法、混合高斯模型法、目标分割法和光流法中的一种或一种以上的组合。

5.如权利要求1或2所述的多摄像机智能控制方法，其特征在于：运动目标的检测采用结合邻域特性的混合高斯模型方法，即当前像素的相邻像素中每个判为背景且置信度较高的像素，都加大当前像素的背景模型用于判决时的先验概率或其判决范围，当前像素的相邻像素中每个判为前景且置信度较高的像素，都减小当前像素的背景模型用于判决时的先验概率或其判决范围。

6.一种多摄像机智能控制装置，其特征在于：它具有视频检测模块和摄像机控制模块，其中：视频检测模块用于检测视频中的运动目标，分析运动目标的大小、位置和运动参数；摄像机控制模块根据运动目标的大小、位置和运动参数，控制该摄像机和邻近摄像机方位和焦距，使运动目标以适当的大小出现在摄像机视频画面中，或等待运动目标进入视场，跟踪运动目标，并对运动目标进行一定时间的放大特写，或检测感兴趣区域，并对感兴趣区域进行一定时间的放大特写。

7.如权利要求6所述的多摄像机智能控制装置，其特征在于：在摄像机视频画面中检测到多个运动目标时，控制摄像机的焦距和方位，逐个对各运动目标进行一段时间的放大特写；或者对每一个检测到的运动目标进行特征分析，提取运动目标的特征，指定其中一个运动目标，跟踪该运动目标，或跟踪具有与预先指定的特征最相似的运动目标。

8.如权利要求6或7所述的多摄像机智能控制装置，其特征在于：视频检测模块和摄像机控制模块构成为一个独立设备，用于分析来自一台或多台摄像机的视频信号，和控制一台或多台摄像机，所述的视频信号为模拟信号或数字视频码流信号。

9.如权利要求6或7所述的多摄像机智能控制装置，其特征在于：视频检测模块和摄像机控制模块内置在摄像机或视频编码设备中，用于分析来自相应摄像机的视频信号，并控制一台或多台摄像机。

Images