CN113163112A

CN113163112A - 一种聚变焦控制方法及***

Info

Publication number: CN113163112A
Application number: CN202110320069.2A
Authority: CN
Inventors: 路新; 程勇策; 李楠; 乔宇辰; 袁北; 刘文振; 叶艳
Original assignee: Third Research Institute Of China Electronics Technology Group Corp
Current assignee: Third Research Institute Of China Electronics Technology Group Corp
Priority date: 2021-03-25
Filing date: 2021-03-25
Publication date: 2021-07-23
Anticipated expiration: 2041-03-25
Also published as: CN113163112B

Abstract

本方案公开了一种聚变焦控制方法，该方法包括：对获取的视频图像数据进行滤波；基于深度学习算法获得所述视频图像中的目标图像尺寸与视场范围的比值；计算所述视频图像中目标图像的空域梯度值；基于所述目标图像尺寸与视场范围的比值和空域梯度值，获得所述视频图像的清晰度；基于所述视频图像的清晰度调整焦距。本发明方法具有调节步长自适应、精度高的优点，可广泛应用于各种视频监控、探测取证、光电制导等领域。

Description

一种聚变焦控制方法及***

技术领域

本发明涉及镜头焦距的调节控制技术领域，特别涉及一种聚变焦控制方法及***。

背景技术

当前搭载可见光或红外摄像机的光电平台在自动跟踪目标时，随着目标的运动目标相对于摄像机的距离也在不断的变化，此时需要人为操作控制软件完成聚焦、变焦，以使目标清晰能够稳定成像，便于观察提取目标特征。由于聚焦、变焦的操作在跟踪目标时反复变换，操作不当会造成目标成像虚化，被跟踪目标丢失。

现有自动聚焦方式，当焦距处于长焦时，因调节步长固定，图像清晰度函数变化比较平坦，景深较小，能造成视频质量反复变化，聚焦控制很难将目标聚焦到观察者满意的程度。如果将步长设置的较小，在短焦时，景深较大，又会带来调节时间增加，不能快速响应。自动变焦现在的技术手段多是指定焦距位置，通过不断检测当前焦距值与指定焦距值的差值，调整变焦电机的控制电压，直到差值趋近零。但在跟踪目标时，目标远近变化信息未知，焦距应时刻变化，上述指定焦距的操作就不能适应变化的场景。

发明内容

本方案的一个目的在于提供一种聚变焦控制方法，该方法能够在跟踪目标时通过计算目标尺寸、清晰度特征，快速、准确完成聚焦、变焦操作；避免人工操作效率低的问题，满足目标运动跟踪整个过程都能获得清晰、易于观察的目标。

本方案的另一个目的在于提供一种执行上述方法的***。

为达到上述目的，本方案如下：

一种聚变焦控制方法，该方法包括：

S100，对获取的视频图像数据进行滤波；

S200，基于深度学习算法获得所述视频图像中的目标图像尺寸与视场范围的比值；

S300，计算所述视频图像中目标图像的空域梯度值；

S400，基于所述目标图像尺寸与视场范围的比值和空域梯度值，获得所述视频图像的清晰度；

S500，基于所述视频图像的清晰度调整焦距。

优选的，所述深度学习算法为YOLOv3算法。

优选的，所述目标图像尺寸与视场范围的比值为目标图像的宽和高的像素值与整帧图像的宽和高的像素值的比值。

优选的，所述空域梯度值通过在目标图像的中心采用二维拉普拉斯算子提取目标图像的空域梯度值。

优选的，所述调整焦距包括聚焦或变焦。

第二方面，提供一种聚变焦控制***，该***包括：

图像获取单元，采集视频图像；

图像处理单元，用于对获取的视频图像数据进行滤波；基于深度学习算法获得所述视频图像中的目标图像尺寸与视场范围的比值；计算所述视频图像中目标图像的空域梯度值；基于所述目标图像尺寸与视场范围的比值和空域梯度值，获得所述视频图像的清晰度；

控制单元，基于所述视频图像的清晰度调整焦距。

优选的，所述控制单元基于所述视频图像的清晰度调整焦距实现聚焦或变焦。

优选的，所述图像获取单元包括摄像机。

优选的，所述摄像机为可见光摄像机或红外热成像摄像机。

第三方面，提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述程序在被一个或多个计算机执行时，使得所述一个或多个计算机执行如上任一项所述方法中执行的操作。

本方案的有益效果如下：

与现有技术相比，本发明在光电监控设备跟踪目标时，实时计算的目标尺寸与视场范围的比值，空域梯度值，自适应快速、准确完成聚焦、变焦操作，保证被跟踪目标清晰，提高了光电监控设备的使用效率，具有调节步长自适应、精度高的优点。

附图说明

为了更清楚地说明本方案的实施，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本方案的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请方法流程框图；

图2是本申请***结构示意图；

图3是实施例图像处理单元结构示意图；

图4是实施例控制单元结构示意图；

图5是实施例图像处理单元处理程序流程图；

图6是实施例镜头聚焦、变焦自适应控制程序流程图。

具体实施方式

下面将结合附图对本方案的实施方式作进一步地详细描述。显然，所描述的实施例仅是本方案的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本方案中的实施例及实施例中的特征可以相互组合。

说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备，不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请的发明人发现，现有的自动变焦技术手段多是先指定焦距位置，通过不断检测当前焦距值与指定焦距值的差值，调整变焦电机的控制电压，直到差值趋近零。但在跟踪目标时，目标远近变化信息未知，焦距应时刻变化，所以指定焦距的操作就不能适应变化的场景。因此，发明人提出一种聚变焦控制方法及***。

如图1所示，一种聚变焦控制方法，该方法包括如下步骤：

S100，对获取的视频图像数据进行滤波；

S300，计算所述视频图像中目标图像的空域梯度值；

S500，基于所述视频图像的清晰度调整镜头焦距。

在一个实施例中，图像处理单元接收指令，开始跟踪目标，通过视频采集接口，采集一帧视频图像，并对数据进行卷积滤波，利用深度学习算法YOLOv3算法计算视场范围与视频图像中目标图像尺寸的比值，在目标图像的中心采用二维拉普拉斯算子提取目标图像空域梯度值，并将上述量值通过CAN总线发送给控制单元。

控制单元在接收到聚焦，变焦数据后，运行聚焦、变焦自适应控制驱动电压计算模块程序，利用获得的视场范围与目标尺寸的比值及空域梯度值自适应计算聚变焦电压，驱动摄像机镜头聚焦、变焦，直至聚焦变焦电压趋近于0，完成整个聚焦变焦操作。

如图2所示，一种聚变焦控制***，包括图像获取单元10，图像处理单元20和控制单元30；

图像处理单元20从图像获取单元10，例如从一个可见光摄像机或红外热成像摄像机，获得连续的视频图像，并利用深度学习算法获得视频图像中目标图像的宽和高的像素值与整帧图像的宽和高的像素值的比值，同时使用空域梯度作为图像清晰度的评价标准，基于空域梯度检测图像的边缘高频信息，并将计算结果发送给控制单元30；控制单元30从图像处理单元20获得聚焦、变焦控制数据，根据控制量的大小、极性自适应调节聚焦、变焦电机的控制电压，直到聚焦、变焦电压为0，实现聚焦、变焦功能。摄像机完成景物拍摄，输出HDSDI格式或PAL格式视频。本申请提出的方法具有调节步长自适应、精度高的优点，可广泛应用于各种视频监控、探测取证、光电制导等领域。

在一个实施例中，如图3所示，图像处理单元20，是以TMS320C6416的数字信号处理器和XILINX V5 FPGA为主要架构的图像取差处理电路，运行如图5所示的获取视频图像中目标图像的尺寸和计算图像空域梯度程序，获得目标图像的尺寸与视场范围比值的同时计算图像空域梯度；然后采用SJA1000作为CAN总线接口芯片，将上述两个运算结果发送给控制单元30；

获取视频图像中目标图像的尺寸和计算图像空域梯度包括：

①跟踪开始，采集一帧图像，对获得的整帧像素值进行滤波，降噪；

②使用深度学习YOLOv3算法对视频逐帧检测目标图像的边界框，得到目标图像的宽、高像素值；

③分别计算目标图像的宽、高像素值与整帧图像宽、高像素值的比值；

④选择宽高两比值中较大值作为变焦控制值，记为m；

⑤选择目标图像中心0.8宽*0.8高的区域，使用二维拉普拉斯算子计算梯度值，记为n；

⑥通过CAN总线发送m,n两值。

在一个实施例中，如图4所示，控制单元30以控制芯片TMS320F2808和驱动芯片L298P为核心器件，运行如图6所示的摄像机镜头聚焦、变焦自适应控制驱动电压计算程序，通过CAN总线接收图像处理单元20计算的聚焦、变焦控制数据，调节驱动电压，驱动聚焦、变焦电机运动，并接收摄像机镜头的限位信号，如果聚焦远限位信号有效则聚焦电机只能向聚焦近方向运动，反之亦然，变焦控制亦是同理。

镜头聚焦、变焦自适应控制驱动电压计算步骤包括：

①为防止电机聚变焦动作过于频繁，消除电机抖动，需连续三次收到m，n值；

②当m<0.6且变焦远限位无效时，进行放大焦距操作，变焦电压进行变焦电压U1＝K*(m-0.5),其中K为自适应调节增益，与(m-0.5)的绝对值值成正比。当m<0.6且变焦远限位有效时，变焦电压U1为0，停止放大焦距操作；

③当m>0.7且变焦近限位无效时，进行缩小焦距操作，变焦电压进行变焦电压U1＝K*(m-0.5),其中K为自适应调节增益，与(m-0.5)的绝对值值成正比。当m>0.7且变焦近限位有效时，变焦电压U1为0，停止缩小焦距操作；

④当0.6<＝m<＝0.7时，变焦电压U1为0，不进行变焦操作；

⑤本次获得梯度值H(i)与上次获得的梯度值H(i-1)做差，记为(i)＝H(i)-H(i-1)；

⑥当e(i)的绝对值大于死区阈值，且当e(i)为正值，聚焦远限位无效则进行聚焦远操作，否则聚焦电压U2为0；

⑦当e(i)的绝对值大于死区阈值，且当e(i)为负值，聚焦近限位无效则进行聚焦近操作，否则聚焦电压U2为0；

⑧聚焦电压U2＝KK*e(i)，其中KK为自适应调节增益，与e(i)的绝对值值成正比；

⑨将变焦电压U1，聚焦电压U2叠加到变焦PWM，聚焦PWM输出。

与现有技术相比，本申请在光电监控设备跟踪目标时，实时计算目标图像的尺寸与视场范围的比值和目标图像的空域梯度值，自适应快速，能够准确完成聚焦、变焦操作，保证被跟踪目标清晰，提高了光电监控设备的使用效率，具有调节步长自适应、精度高的优点。

可读存储介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本方案操作的程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如JAvA、C++等，还包括常规的过程式程序设计语言-诸如"C"语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims

1.一种聚变焦控制方法，其特征在于，该方法包括：

S100，对获取的视频图像数据进行滤波；

S200，基于深度学习算法获得所述视频图像中目标图像的尺寸与视场范围的比值；

S300，计算所述视频图像中目标图像的空域梯度值；

S400，基于所述目标图像的尺寸与视场范围的比值和空域梯度值，获得所述视频图像的清晰度；

S500，基于所述视频图像的清晰度调整焦距。

2.根据权利要求1所述的聚变焦控制方法，其特征在于，所述深度学习算法为YOLOv3算法。

3.根据权利要求1所述的聚变焦控制方法，其特征在于，所述目标图像尺寸与视场范围的比值为目标图像的宽和高的像素值与整帧图像的宽和高的像素值的比值。

4.根据权利要求1所述的聚变焦控制方法，其特征在于，所述空域梯度值通过在目标图像的中心采用二维拉普拉斯算子提取目标图像的空域梯度值。

5.根据权利要求1所述的聚变焦控制方法，其特征在于，所述调整焦距包括聚焦或变焦。

6.一种聚变焦控制***，其特征在于，该***包括：

图像获取单元，采集视频图像；

控制单元，基于所述视频图像的清晰度调整焦距。

7.根据权利要求6所述的聚变焦控制***，其特征在于，所述控制单元基于所述视频图像的清晰度调整焦距实现聚焦或变焦。

8.根据权利要求6所述的聚变焦控制***，其特征在于，所述图像获取单元包括摄像机。

9.根据权利要求8所述的聚变焦控制***，其特征在于，所述摄像机为可见光摄像机或红外热成像摄像机。

10.一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述程序在被一个或多个计算机执行时，使得所述一个或多个计算机执行如权利要求1至5任一项所述方法中执行的操作。