CN104243834B - 高清相机的图像分流控制方法及其装置 - Google Patents

Abstract

本发明涉及智能交通领域，公开了一种高清相机的图像分流控制方法及其装置。本发明中，对同一相机重复执行以下步骤：判断下一帧视频所属的流类型；为该相机设置该流类型所对应的拍摄参数；控制相机拍摄一帧视频，并将该视频帧加入到对应的视频流中。本发明采用一台高清相机，对视频帧进行分流曝光控制和数据处理，智能分析视频流采用智能分析视频流所需的曝光控制参数及图像处理算法，录像视频流采用视频录像所需的图像曝光控制参数及图像处理算法，使用同一个相机可以并行输出满足不同需求的多个流，不同流的视频控制参数完全独立，既满足智能分析应用的需要，同时也满足视频录像应用的需要，优势非常明显。

Description

高清相机的图像分流控制方法及其装置

技术领域

本发明涉及智能交通领域，特别涉及一种高清相机的图像分流控制技术。

背景技术

随着平安城市建设的推进，以及智能交通领域的发展，十字路口监控和传统的智能交通应用，如卡口，电子警察应用渐渐在融合，为了节约成本，对目前的智能交通行业相机提出了新的需求，需要既能满足传统智能交通应用，也能满足路口的监控录像应用。

目前在智能交通行业应用中，既要实现智能分析应用，又要实现普通监控录像，一般智能应用需要分析场景中移动物体信息，相机的曝光要做限制，比如快门shutter小于5ms，为了保证分析场景噪声在一定范围内，增益gain也要限制，比如增益小于18dB。然而对于普通的视频监控录像，一般需要保证夜景场景足够亮，设置相机最大曝光时间和最大增益满足需求。对于智能交通行业应用中，既要实现智能分析应用，又要实现普通监控录像，目前常见的解决方案有如下两种：

1）用两台高清相机：一台高清智能相机配置智能应用相应的图像控制参数，以及图像处理算法，以达到这种智能应用的最佳效果；另一台为网络监控摄像机配置相应的图像控制参数，以及图像处理算法，以达到视频监控录像最佳效果。此做法能够保证良好的效果，但采用两个相机，工程相对复杂，设备成本高。

2）用一台普通高清智能相机：在夜晚光照不充分的场景，若优先满足对运动车辆的拍摄，快门较快，车辆轮廓清晰无拖尾，但是会导致视频画面偏暗，丢失暗处的细节；若优先满足画面亮度提升暗处细节，则快门较慢，会导致快速运动的车辆出现拖尾和模糊，车牌信息难以分辨。智能分析视频流采用快门优先的曝光控制策略；录像视频流采用亮度优先的曝光控制策略，一台相机很难做到兼顾视频效果和智能分析的效果。此做法采用一台相机，能够满足一些应用的需求，但很多应用会顾此失彼，影响整体效果。

本发明采用一台高清相机，对视频帧进行分流曝光控制和数据处理。智能分析视频流采用智能分析视频流所需的曝光控制参数及图像处理算法，录像视频流采用视频录像所需的图像曝光控制参数及图像处理算法，两个流的视频控制参数完全独立，既满足智能分析应用的需要，同时也满足视频录像应用的需要，解决了上述目前行业应用中的问题，优势非常明显。

发明内容

本发明的目的在于提供一种高清相机的图像分流控制方法及其装置，可以采用一台高清相机，对视频帧进行分流曝光控制和数据处理，产生智能分析视频流和录像视频流，同时满足智能分析应用和视频录像应用的需求。

为解决上述技术问题，本发明的实施方式公开了一种高清相机的图像分流控制方法，对同一相机重复执行以下步骤：

判断下一帧视频所属的流类型；

为该相机设置该流类型所对应的拍摄参数；

控制相机拍摄一帧视频，并将该视频帧加入到对应的视频流中。

本发明的实施方式还公开了一种高清相机的图像分流控制装置，包括：

类型判断单元，用于判断下一帧视频所属的流类型；

参数设置单元，用于根据类型判断单元所判断出的流类型，为相机设置该流类型所对应的拍摄参数；

控制单元，用于根据参数设置单元所设置的拍摄参数，控制相机拍摄一帧视频；

处理单元，用于将控制单元控制相机所拍摄的视频帧加入到对应的视频流中。

本发明实施方式与现有技术相比，主要区别及其效果在于：

同一相机输出各帧分别属于两个流，一个按分析优化参数，一个按监控优化参数，不同流所属的帧采用不同的参数拍摄，使用同一个相机可以并行输出满足不同需求的多个流。

进一步地，智能分析视频流采用智能分析流所需的曝光控制参数及图像处理算法，录像视频流采用视频录像所需的图像曝光控制参数及图像处理算法，两个流的视频控制参数完全独立，既满足智能分析的应用需求，同时也能满足视频录像的应用需求，既能保证良好的效果，又可以显著降低设备成本。

进一步地，通过对相机的视频帧进行合理的分配使用，比如总帧率/2用于视频录像，总帧率/2用于智能分析，但不限于1/2的分配方式，不同的流采用不同的图像控制参数和图像处理技术，达到一机双用或多用的目的，提高设备的集成度，降低整个项目成本。

附图说明

图1是本发明第一实施方式中一种高清相机的图像分流控制方法的流程示意图；

图2是本发明第二实施方式中一种高清相机的图像分流控制装置的结构示意图；

图3是本发明第三实施方式中一种高清相机的图像分流控制装置的整体架构图；

图4是本发明第三实施方式中一种高清相机的图像分流控制装置的结构示意图；

图5是本发明第三实施方式中一种高清相机的图像分流控制装置的传感器控制与同步模块的工作时序图；

图6是本发明第三实施方式中一种高清相机的图像分流控制装置的图像处理分析控制模块的工作流程图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种高清相机的图像分流控制方法。图1是该高清相机的图像分流控制方法的流程示意图。

具体地说，如图1所示，该高清相机的图像分流控制方法对同一相机重复执行以下步骤：

在步骤101中，判断下一帧视频所属的流类型。

优选地，该流类型包括用于智能分析的视频流和用于监控录像的视频流。

此外，可以理解，在本发明的其它某些实施方式中，流类型包括但不限于这两个，也可能是多个视频流。

此后进入步骤102，为该相机设置该流类型所对应的拍摄参数。

进一步地，具体地说，该拍摄参数包括增益和快门。

智能分析视频流采用智能分析流所需的曝光控制参数及图像处理算法，录像视频流采用视频录像所需的图像曝光控制参数及图像处理算法，两个流的视频控制参数完全独立，既满足智能分析的应用需求，同时也能满足视频录像的应用需求，既能保证良好的效果，又可以显著降低设备成本。

此后进入步骤103，控制相机拍摄一帧视频，并将该视频帧加入到对应的视频流中。

在该控制相机拍摄一帧视频的步骤中，用于智能分析的视频帧和用于监控录像的视频帧按照1比1的帧间隔进行拍摄。

此外，可以理解，在本发明的其它某些实施方式中，用于智能分析的视频帧和用于监控录像的视频帧也可以按照别的帧间隔比例进行拍摄，而不仅仅限于1比1的方式。

在本实施方式中，优选地，同一相机所拍摄的视频帧中包括两个流，一个是用于智能分析的视频流，另一个是用于监控录像的视频流。用于智能分析的视频帧和用于监控录像的视频帧按照1比1的帧间隔进行拍摄。

另外，优选地，同一相机所拍摄的视频帧中也可以包括三个流，一个是用于智能分析的视频流，一个是用于监控录像的视频流，还有一个是抓拍流。用于智能分析的视频帧、用于监控录像的视频帧和抓拍帧之间按照随机比例进行拍摄。

当然，这只是为了更好地理解本发明而列举的几种方式，并不以此为限。

通过对相机的视频帧进行合理的分配使用，比如总帧率/2用于视频录像，总帧率/2用于智能分析，但不限于1/2的分配方式，不同的流采用不同的图像控制参数和图像处理技术，达到一机双用或多用的目的，提高设备的集成度，降低整个项目成本。在该控制相机拍摄一帧视频的步骤之后，还包括以下步骤：

根据该视频帧所属的流类型，在消隐期内为该视频帧标注表示不同流类型的标示符。

例如，对应监控录像视频帧的标示符为FF000000，对应智能分析视频帧的标示符为FF000001。

在并将该视频帧加入到对应的视频流中的步骤中，是根据该视频帧在消隐期内的标示符，并根据标示符所表示的流类型，将该视频帧加入到对应的视频流中。

同一相机输出各帧分别属于两个流，一个按分析优化参数，一个按监控优化参数，不同流所属的帧采用不同的参数拍摄，使用同一个相机可以并行输出满足不同需求的多个流。

此后再次回到步骤101。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中（例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等）。同样，存储器可以例如是可编程阵列逻辑（Programmable ArrayLogic，简称“PAL”）、随机存取存储器（Random Access Memory，简称“RAM”）、可编程只读存储器（Programmable Read Only Memory，简称“PROM”）、只读存储器（Read-Only Memory，简称“ROM”）、电可擦除可编程只读存储器（Electrically Erasable Programmable ROM，简称“EEPROM”）、磁盘、光盘、数字通用光盘（Digital Versatile Disc，简称“DVD”）等等。

本发明第二实施方式涉及一种高清相机的图像分流控制装置。图2是该高清相机的图像分流控制装置的结构示意图。

具体地说，如图2所示，该高清相机的图像分流控制装置包括：

类型判断单元，用于判断下一帧视频所属的流类型。

优选地，该流类型包括用于智能分析的视频流和用于监控录像的视频流。

在本实施方式中，优选地，同一相机所拍摄的视频帧中包括两个流，一个是用于智能分析的视频流，另一个是用于监控录像的视频流。用于智能分析的视频帧和用于监控录像的视频帧按照1比1的帧间隔进行拍摄。

另外，优选地，同一相机所拍摄的视频帧中也可以包括三个流，一个是用于智能分析的视频流，一个是用于监控录像的视频流，还有一个是抓拍流。用于智能分析的视频帧、用于监控录像的视频帧和抓拍帧之间按照随机比例进行拍摄。

当然，这只是为了更好地理解本发明而列举的几种方式，并不以此为限。

参数设置单元，用于根据类型判断单元所判断出的流类型，为相机设置该流类型所对应的拍摄参数。

进一步地，具体地说，该参数设置单元为相机设置的拍摄参数包括增益和快门。

控制单元，用于根据参数设置单元所设置的拍摄参数，控制相机拍摄一帧视频。

处理单元，用于将控制单元控制相机所拍摄的视频帧加入到对应的视频流中。

此外，该高清相机的图像分流控制装置还包括：

帧类型标示单元，用于根据相机所拍摄的视频帧所属的流类型，在消隐期内为该视频帧标注表示不同流类型的标示符。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第三实施方式涉及一种高清相机的图像分流控制装置。图3是一种高清多功能智能网络相机的图像分流控制装置的整体架构图。

如图3所示，整个高清多功能智能网络相机包括三部分：sensor（传感器）模块，sensor（传感器）控制与分流同步模块，图像分流处理分析与控制模块。

传感器模块，用于产生高清的视频流；

传感器控制与分流同步模块，主要是接收图像分流处理与控制模块根据监控录像视频流或智能分析视频流的图像曝光控制以及拍摄参数，分时配置给上述传感器模块，同时控制该传感器模块按照拍摄参数予以产生对应的视频流，最后对产生的监控录像视频流和智能分析视频流进行标示；

图像分流处理与控制模块，主要是对传感器控制与分流同步模块根据视频流类型标示符进行识别并分离视频流，对分离后的两个视频流用不同的图像处理参数或算法进行处理，最后把录像视频流用于视频监控录像，把智能分析视频流用于智能分析应用。同时计算不同流所需要的不同的曝光参数以及其他前端参数发送给传感器控制与分流同步模块。

图4是本发明第三实施方式中一种高清相机的图像分流控制装置的结构示意图。

在本发明第三实施方式中，详细的技术方案通过50帧1920*1080P智能CCD（Charge-coupled Device，电荷耦合元件）网络相机实现，以25帧视频用于视频录像，25帧视频用于智能分析用于为实例进行说明。

如图4所示，传感器模块101包括CCD图像传感器，AFE（Active Front End，主动前端）以及相关驱动电路，用于根据传感器控制模块产生所需的视频流。

在本实例中传感器模块101包括1920*1080分辨率的CCD图像传感器和四路AFE芯片，其中CCD为感光元件，AFE对CCD进行驱动采集量化，在传感器控制与同步模块的控制下，CCD产生50fps的视频流，其中25fps用于录像视频流，25fps用于智能分析视频流。

传感器控制与同步模块201包括图像预处理模块201-1、帧类型标示模块201-2、控制参数与视频同步模块201-3、以及传感器控制与参数执行模块201-4，此模块采用FPGA（现场可编程门阵列）实现。

该图像预处理模块201-1主要对CCD原始图像进行校正，补偿图像的一致性和均匀性。由于录像视频流和智能分析视频流有各自的曝光参数控制，不同曝光参数对应不同的校正参数，例如当前录像视频曝光参数快门shutter_V=20ms，增益gain_V=36dB，当前智能视频分析视频流曝光参数快门shutter_A=2ms，增益gain_A=18dB。不同的视频流需要不同的校正参数分别为Ca，Cv，这些参数由控制参数与视频同步模块201-3控制作用到对应的视频流上，使得图像达到最佳的效果。

该帧类型标示模块201-2根据控制参数与视频同步模块201-3的控制，获得当前帧是视频录像帧还是智能分析帧，并对不同帧进行标示，如果是视频录像帧就在消隐期内加视频录像帧标示符“FF000000”；如果是智能分析视频帧则在消隐期内加智能分析视频帧标示符“FF000001”。

该控制参数与视频同步模块201-3主要负责接收图像分流处理分析控制模块301发送过来的录像视频流参数与智能分析视频流参数，参数包括录像视频流的快门shutter_V，增益gain_V（一般用于录像的视频流尤其是夜间需要保证足够亮度，设置相机的最大曝光值，此处为shutter_V=20ms，gain_V=36db）以及智能分析视频流的快门shutter_A，增益gain_A（一般用于智能分析视频流既要保证一定的夜间亮度又要考虑识别移动物体，设置相机的曝光值一般需要折中，此处shutter_V<5ms，gain_V=18db），该控制参数与视频同步模块201-3控制传感器控制与参数执行模块201-4，按照一帧视频录像帧，一帧视频分析帧交替方式发送驱动时序与前端参数给上述传感器模块101。

该传感器控制与参数执行模块201-4主要是响应上述控制参数与视频同步模块201-3的控制，产生传感器驱动信号、分流执行配置的快门和增益。

图5是本发明第三实施方式中一种高清相机的图像分流控制装置的传感器控制与同步模块的工作时序图。

如图5所示，该传感器控制与同步模块201的工作流程为：

工作状态S1：处在等待状态，等待当前帧n-1（假设为智能分析帧）的结束；

工作状态S2：当前帧n-1结束，上述传感器控制与执行模块201-4发出新一帧n帧的驱动时序，n帧视频录像帧同步信号/驱动信号发出到上述传感器模块101，同时通知上述控制参数与视频同步模块201-3，该控制参数与视频同步模块201-3接收到n帧启动信号，并传递上述前端参数快门shutter_V和增益gain_V给该传感器控制与参数执行模块201-4，执行模块立刻执行。由于曝光在当前帧生效，而增益则在下一帧起效，对应这个曝光时间和增益的视频数据为下一帧视频。所以在当前帧时间为智能分析视频帧数据流过上述图像预处理模块201-1和上述帧类型标示模块201-2。相应的智能分析视频流预处理参数执行，最后该帧类型标示模块201-2在帧消隐期间加入智能分析视频流标示符“FF000001”。进入等待状态S1，等待n帧结束，开始S3状态。

工作状态S3：发起n+1帧的同步信号/驱动信号发出到上述传感器模块101，开启新的一帧智能分析帧，同时通知上述控制参数与视频同步模块201-3，该控制参数与视频同步模块201-3接收到n+1帧启动信号，并传递前端参数快门shutter_A和增益gain_A给上述传感器控制与参数执行模块201-4，执行模块立刻执行。所以在当前帧时间为录像视频帧数据流过上述图像预处理模块201-1和上述帧类型标示模块201-2，相应的录像视频流预处理参数被执行，最后该帧类型标示模块201-2在帧消隐期间加入智能分析视频流标示符“FF000000”。随后，进入等待状态S1，等待n帧结束，开始S2状态，重复以上状态。

该图像分流处理与控制模块301包括帧识别器模块301-1、ISP（Image SignalProcess）处理模块301-2、图像参数控制模块301-3、智能分析模块301-4、以及视频录像模块301-5，整个模块通过SOC（System On Chip，片上***）实现。

该帧识别器模块301-1，用于依据上述帧类别标示模块201-2标示的方法识别每一帧是视频录像帧还是智能分析帧，当在图像消隐期间检测到“FF000000”标示符，则当前帧为视频录像帧，并产生中断0给图像参数控制模块301-3；当在图像消隐期间检测到“FF000001”标示符，则当前帧为智能分析帧，并产生中断1给上述图像参数控制模块301-3。

该ISP处理模块301-2用于依据图像参数控制模块301-3产生的不同视频流配置的不同参数完成对视频流的图像处理。

该图像参数控制模块301-3内部的3A统计模块根据中断对不同流分别进行独立的统计，以产生快门、增益，和AWB等参数，并把不同流的曝光参数发送给上述控制参数与视频同步模块201。该图像参数控制模块301-3中还包括ISP参数模块，根据中断把不同视频流的其他ISP参数作用到对应的流上。

其他ISP参数则是预先设计的。

ISP处理模块301-2，对视频流进行处理，处理的效果和ISP参数有关。

智能分析模块301-4，用于从总视频流中分离出智能分析视频流用于后续的智能分析算法，满足智能应用需求。

视频录像模块301-5，用于从总视频流中分离出录像视频流用于后续的视频监控录像用，满足视频监控应用需求。

图6是本发明第三实施方式中一种高清相机的图像分流控制装置的图像处理分析控制模块的工作流程图。

如图6所示，该图像处理分析控制模块的工作流程如下：

上述帧识别器模块301-1根据上述201-2帧类别标示模块标示的方法识别每一帧是视频录像帧还是智能分析帧。当在图像消隐期间检测到“FF000000”标示符，则当前帧为视频录像帧，并产生中断0给上述图像参数控制模块301-3；当在图像消隐期间检测到“FF000001”标示符，则当前帧为智能分析帧，并产生中断1给该图像参数控制模块301-3。

50fps视频帧序列送给该图像参数控制模块301-3中的3A统计模块，并通过中断0，中断1告知3A统计模块，3A统计模块实现分流统计，当接收到中断0时代表视频录像帧，统计视频录像帧的统计值暂存在ram0中；当接收到中断1时代表智能分析视频帧，统计智能分析视频帧的统计值暂存在ram1中。时间上对每一帧视频录像帧在ram0中对统计值进行叠代处理，同理对ram1中的统计值进行叠代处理，统计结果中曝光参数如：shutter_A、gain_A、shutter_V、gain_V发送给201模块。统计结果中AWB参数，ram0中的参数设置到视频录像流中，ram1中的参数设置到智能分析流中。同时其他ISP参数也根据中断，分别配置给录像视频流和智能分析视频流。该其他ISP参数是图像参数控制模块301-3产生或者是开发人员预先调试设计好的参数，配置给ISP处理模块301-2的

视频数据通过上述ISP数据处理模块301-2后，根据中断0，中断1，视频总帧率为50fps被分流成25fps视频录像流和25fps智能分析视频流。最终25fps视频录像流输入录像模块，满足用于录像需求，而另为25fps输入智能分析模块用于智能分析，满足各种各样的智能分析需求。

需要说明的是，本发明各设备实施方式中提到的各单元或模块都是逻辑单元或模块，在物理上，一个逻辑单元或模块可以是一个物理单元或模块，也可以是一个物理单元或模块的一部分，还可以以多个物理单元或模块的组合实现，这些逻辑单元或模块本身的物理实现方式并不是最重要的，这些逻辑单元或模块所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元或模块引入，这并不表明上述设备实施方式并不存在其它的单元或模块。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种高清相机的图像分流控制方法，其特征在于，对同一相机重复执行以下步骤：

判断下一帧视频所属的流类型；

为该相机设置该流类型所对应的拍摄参数，所述流类型包括用于智能分析的视频流和用于监控录像的视频流；

控制相机拍摄一帧视频，并将该视频帧加入到对应的视频流中。

2.根据权利要求1所述的高清相机的图像分流控制方法，其特征在于，所述拍摄参数包括增益和快门。

3.根据权利要求2所述的高清相机的图像分流控制方法，其特征在于，所述用于智能分析的视频帧和用于监控录像的视频帧按照1比1的帧间隔进行拍摄。

4.根据权利要求3所述的高清相机的图像分流控制方法，其特征在于，所述流类型包括用于智能分析的视频流、用于监控录像的视频流和抓拍流，所述用于智能分析的视频帧、用于监控录像的视频帧和抓拍帧之间按照随机比例进行拍摄。

5.根据权利要求1至4中任一项所述的高清相机的图像分流控制方法，其特征在于，在所述控制相机拍摄一帧视频的步骤之后，还包括以下步骤：

根据该视频帧所属的流类型，在本帧图像内为该视频帧标注表示不同流类型的标示符。

6.根据权利要求5所述的高清相机的图像分流控制方法，其特征在于，在所述并将该视频帧加入到对应的视频流中的步骤中，是根据该视频帧的标示符，并根据所述标示符所表示的流类型，将该视频帧加入到对应的视频流中。

7.一种高清相机的图像分流控制装置，其特征在于，包括：

类型判断单元，用于判断下一帧视频所属的流类型；

参数设置单元，用于根据所述类型判断单元所判断出的流类型，为相机设置该流类型所对应的拍摄参数，所述流类型包括用于智能分析的视频流和用于监控录像的视频流；

控制单元，用于根据所述参数设置单元所设置的拍摄参数，控制相机拍摄一帧视频；

处理单元，用于将所述控制单元控制相机所拍摄的视频帧加入到对应的视频流中。

8.根据权利要求7所述的高清相机的图像分流控制装置，其特征在于，所述参数设置单元为相机设置拍摄参数包括增益和快门。

9.根据权利要求8所述的高清相机的图像分流控制装置，其特征在于，还包括：

帧类型标示单元，用于根据相机所拍摄的视频帧所属的流类型，在本帧图像内为所述视频帧标注表示不同流类型的标示符。