CN109635802A - 农林业病害孢子图像信息远程监测*** - Google Patents

Abstract

本发明公开了一种农林业病害孢子图像信息远程监测***，包括病害孢子图像采集设备、多设备组网及访问控制程序、图像处理程序三大部分，***具有自动化程度高、使用方便、便于维护、实时病害监测、病害爆发预警等特点。图像采集部分抽取空气，使空气中的孢子附着于胶带表面，通过光学显微镜拍摄图像。图像分析程序能够对采集到的图像进行增强与识别，实时监测病害孢子，主动发出病害爆发警告。本发明可实现对病害孢子的连续自动捕捉、显微成像以及对农林业病害的预警,无需人工参与；仪器成本低,实用性强,使产品大范围推广成为了可能,加快传统农林业的现代化转型。

Description

农林业病害孢子图像信息远程监测***

技术领域

本发明应用了物联网技术，涉及***集成、软件开发技术领域，尤其涉及硬件集成设计，应用于数据采集、自动控制***、远程控制、数据交互、多点访问中；移动APP开发，应用于终端设备中。

背景技术

我国正处于农林业现代化改造的进程中，互联网和物联网技术也逐渐运用于农林业生产的过程中，并且已经有了相应的成果，但是现阶段发展不完善，更多的还是半自动化的采集储存设备，不仅功能相对单一，并且采集设备需要一些专业的材料和大量的人工干预，以及人工识别，而本***则实现了全自动病害孢子图像信息采集，病害孢子识别和病害远程监测与预警。在病害高发期，本***可在宏观未观测到明显病害的情况下，从微观角度直接监测致病原因，对于发现的致病孢子，***将向所有客户端设备发送预警信息。更为有效的实现了对农林作物病害的远程监测分析，极大地方便了农林业生产者，缩减了工作时间提高了工作效率，真正实现了对农作物病害监测的智能化，降低了农业生产的人力与经济成本。

所以，本发明重在实现***功能的全面化、全自动化，实现远程监控达到观测的方便化、简单化，推动农业生产的现代化、智能化。

发明内容

本发明解决的主要技术问题是病害孢子图像的全自动化采集，光学显微镜自动对焦，病害孢子显微图像的增强，实现远程多点的硬件采集设备的控制，远程多点病害的识别、监测与预警，移动终端的开发。

为解决上述技术问题，本发明采用的技术方案是：按照组成本发明的病害孢子图像采集设备、多设备组网及访问控制程序和图像处理程序三大模块来进行设计。

对于病害孢子图像采集设备，首先是在设备的选型上要满足国家的指定标准，并且能够在-30～+65摄氏度的温度下正常工作。

其次是对于采集微观图像而言，机械设备部分的运行精度必须能够满足显微镜对焦的要求，并且需要稳定运行，以防止出现过大的震动，导致微观上的病害孢子出现大规模位移，致使图像采集失败。为了满足精度、以及稳定性的需要，本发明采用步进电机驱动丝杆的方式来移动对焦。步进电机能够将电脉冲信号转变为角位移，在数字程序控制***中应用极为广泛，在非过载状态下，电机的转速、停止的位置只取决于脉冲信号的频率和脉冲数，我们可以通过控制脉冲的数量，达到准确定位的目的，同时，其在通电静止状态下，具有保持力矩，有效防止负载的掉落。基于以上特性，以及对负载重量的分析，本发明选用两相四线42步步进电机作为主要执行机构。由于目前并没有电机的精度可以到达显微对焦的能力，本发明使用精密机械上常用的滚珠丝杆进行精度的提升，丝杆将电机的扭矩转换为轴向作用力，带动精准滑台移动。本发明采用显微镜固定，观察区域移动的方式进行对焦，能够有效降低对焦时产生的震动。

显微镜光源灯的开关通过继电器和STM32嵌入式控制板相连接，在不进行显微镜补光时，可由控制板直接关闭；同时光源灯的亮度调节接口与STM32嵌入式控制板的PWM输出口相连接，在进行显微镜补光时可由控制板输出的PWM方波调整光线强弱。嵌入式控制板上的图像细节增强程序将对采集到的图像进行进一步增强。

真空抽气泵和STM32嵌入式控制板相连，通过使用继电器，实现对这些非数控设备的控制；电机驱动器也与其相连接，产生使能、方向和脉冲信号，根据不同信号的组合，驱动器驱动步进电机工作；STM32嵌入式控制板的有线网络端口与工业路由器的LAN口相连接，若检测到有线端口不可用时，则会使用无线网卡连接工业路由器，即实现网络通信。显微镜的电子目镜经USB接口接至ITOP-4412嵌入式控制板，其也和工业路由器通过有线方式连接，相应的，若有线网络不可用，则使用无线网络连接。

对于多设备组网及访问控制程序，将其架设于ITOP-4412嵌入式控制板上，多病害孢子图像采集设备组网时，每个设备都要向该程序注册，以方便统一调度管理和访问；在外部网络畅通的情况下，该程序能够通过网络接收客户端的请求，并做出相应响应。为了应对多客户访问的请求，以及多病害孢子图像采集设备组网的需求，该程序设计为多线程高并发模式，所有客户端和病害孢子图像采集设备在通过网络向该程序注册后，都将拥有自己独立的线程，同时连接信息将储存至队列中。当有用户发送远程控制请求时，该程序根据请求的硬件设备的IP或名称，以及当前连接的硬件设备状态，提供用户相关控制服务。对于图像文件传输的请求，将启动单独的程序进程对其进行处理。

用于远程控制本***的PC端应用程序是必不可少的，考虑近年来移动互联网的普及，手机APP开发也是势在必行的，通过手机APP，用户可以随时随地远程访问本***，并向本***发出控制命令，其将PC端的功能完全实现；对于无法安装相关APP的手机，也可采用网页的方式对本***进行访问，这极大降低了用户使用本***时所产生的学习成本。

对于图像处理程序，包括图像清晰度评价程序、图像细节增强程序以及病害孢子识别和预警程序。其中图像清晰度评价程序采用Laplacian算子分别提取水平和垂直方向的梯度值，进而对图像清晰度进行评价，接着按照图2所示图像清晰度与成像距离的关系曲线，计算要移动方向，直到清晰度值到达最大；图像细节增强程序，对输入图像的亮度信息进行分析处理，进而获得该图片相应的S型Gamma曲线。利用这条曲线，对输入图像进行处理，可以得到更好的曝光和细节效果的图像；病害孢子识别和预警程序，采用7层卷积神经网络进行病害孢子图像的分析识别。其中5层为卷积层，对于所有卷积层，第一个卷积层设置6个卷积核，之后每个卷积层的卷积核个数依次加倍，最后经由全连接层到达Softmax层，输出图片属于病害孢子的概率，即实现对病害孢子的识别，随即向所用用户客户端发送预警信息。

附图说明

图1：***结构图

图2：图像清晰度与成像距离的关系

图3：硬件控制程序流程图

图4：多设备组网及访问控制程序运行图

图5：PC客户端运行图

图6：手机APP运行图

具体实施方式

下面结合附图详细说明本实施例：

(1)首先设计图1所示***结构图，根据***结构图将设计分为三个部分进行，对于病害孢子采集设备部分，则先进行硬件部分的设计，然后进行软件的开发；对于其他部分，则直接根据对应功能的流程图进行软件的开发设计。

(2)对于病害孢子采集设备部分，首先将滚珠直线导轨滑台以垂直立在箱子底部，并紧靠箱子的一个竖直面，由导轨背部预留的螺丝孔进行固定；导轨上的滑台固定托架，托架上固定有用来抽出胶带的步进电机、胶带托架、显微镜光源、真空抽气泵等，胶带固定在左侧的胶带座上，可左右滚动，预先抽出一部分胶带，使其经过位于托架中间部分的胶带托架，然后缠绕在右侧的步进电机转轴上，真空抽气泵的出气口固定在左侧胶带上部；显微镜支架固定于箱子底部，镜头垂直朝向导轨托架上的胶带托架中心部位。

采集工作开始时，真空泵首先将外部空气抽入箱内，并吹至胶带上，经过一段时间的样本采集后，真空泵停止工作，随后步进电机带动胶带，将采集区域移动至胶带托架的中间部位，该位置有一个小孔，小孔下方安装有显微镜光源灯，此时显微镜光源灯投射至采集区域；接着拍摄一张图片，嵌入式控制板将对其进行清晰度评价，本发明使用的清晰度定义如下：

D(f)＝∑_y∑_x|G(x，y)|

其中L为Laplacian算子，G(x,y)是在像素点(x,y)处Laplacian算子的卷积,D(f)为当前位置的图像清晰度。

清晰度与成像距离之间的关系如图2所示，是一个具有最大值的凸函数，当前拍摄的清晰度可能存在于图2关系图像的任意位置，为了确定该位置，需要控制板控制导轨向上移动，移动距离为步进电机的最小位移，此时再一次拍摄图像并进行清晰度评价，此时对两个清晰度进行比较，若清晰度越来越大，则证明该方向距离焦距越来越近，那么接着沿该方向重复上述清晰度评价比较的过程，必定能到达图2所示关系图像的最大值，此时即可判断已经对焦；若清晰度越来越小，则证明该方向距离焦距越来越远，那么沿反方向重复上述清晰度评价比较的过程，也可最终达到对焦状态。

显微镜自动对焦完成后，由电子目镜在控制板的控制下进行显微拍摄，拍摄完成的图像，由图像细节增强程序进行处理，控制板首先将采集图像进行区域级的曝光计算，将归一化的亮度范围，以0.1为间隔均分为11层，并以罗马数字O-X来分别表示各层亮度，即O对应纯黑，V对应中间灰度，X对应纯白。接着使用gamma(2.2,0.455)值，使用canny算子进行检测，根据各层亮度是否大于中间值V，将各层的细节分为欠曝光Ω_s和过曝光Ω_h两部分，同时计算全部细节Ω_all，接着根据计算相对细节量V_s和V_h。随后把每一层看成一个节点，那么每层有一到两个邻域，定义分割图像的马尔科夫能量方程其中，E_i是第i个独立区域的亮度项，E_ij是第i个区域的j个邻域的亮度项，λ为所有亮度项的和与两两配对的z_i、亮度项的和的比值。马尔科夫能量方程的计算由给出，在似然度P(i)的计算公式中，是z_i＜V条件下的v_i，是z_i＞V条件下的v_i，v_i是前面计算的细节量，C_i是区域大小，θ_i是重要区域大小，z_i是原始的层亮度，是新的层亮度，ρ(t)是sigmoid函数，用于进行亮度的映射。相关性P(i,j)的计算公式中，d_ij是原始相对对比度，是新的相对对比度，C_j是邻域大小，()是均值为0，方差为0.15的高斯分布函数。

各区域层亮度重映射求解完毕后，就可以在此基础上计算暗部总量和亮部总量进而求出调整后的S型Gamma曲线，其计算由给出。其中为S型Gamma曲线的定义，x是输入像素亮度，f(x)是输出像素亮度，f_Δ(x)则定义为输出像素亮度的增加量；f_Δ(x)的定义公式中k₁＝5,k₂＝14,k₃＝1.6；e_i 定义为第i个区域的原始曝光值，C_i为该区域大小，I为图像原始亮度；定义为第i个区域调整后的新曝光值；是由联立解出的，其中计算暗部总量时，视为0，相应的，计算时，视为0；经由该图像细节增强程序后，孢子图像的暗处亮度和细节都得到了提升，为后续识别病害孢子提供便利。

病害孢子采集设备有两个嵌入式控制板，均通过有线网络连接至工业路由器，孢子图像采集后，将存至文件***，等待调用和外部访问。

(3)嵌入式控制板控制程序的设计流程图如图3所示。控制板开机后，首先对各硬件部分进行检查并初始化，并通过有线网络和无线网络分别向多设备组网及访问控制程序发送连接请求，一旦有某个网络成功连接，后续将一直使用该类型的网络进行通信。随后程序进入主循环，主循环将不断检查TCP/IP协议栈是否有多设备组网及访问控制程序发送的数据，在收到数据后，按照预先定好的指令协议进行解析。若解析到自动对焦命令，则控制板将启动导轨的步进电机驱动器，产生对应脉冲控制信号，使得导轨带动待观察区域移动。经由图像清晰度评价程序指导，完成自动对焦功能，控制板向多设备组网及访问控制程序发送对焦完成信号，然后继续进入主循环。若解析到采集病害孢子图像命令，控制板将首先启动抽气泵，随后启动定时器，程序将一直等待直到定时时间结束，此时经过一段时间的采集，孢子将附着在胶带表面，随后步进电机带动胶带，将采集区域移动至观察区域，然后进行图像拍摄，拍摄完成后，控制板将再次进入主循环，等待下一次指令。

(4)由于本发明的所有硬件设备都放置在室外农业或林业区域，对于一些极端天气引起的断电断网等情况，本***采用UPS无间断电源模块直接接在设备的电源接入处，同时本设备正常工作时，在同一时刻有且仅有一个电机处于通电工作状态，因此工作功率低于10W，峰值功率低于24W，普通USP电源就可保证数小时的工作时长，这样可有效保证所有设备在非人为因素下的正常运行。

(5)对于多设备组网及访问控制程序，基于成本和嵌入式控制板使用效率低的现状，将其部署于ITOP-4412控制板上，多设备组网及访问控制程序是整个***的调度程序，如图3所示，不仅是对数据的接收、存储、查询、修改操作，同时还对用户权限、多点控制、多点采集设备组网等调度。每个用户在访问本***时，都会开辟新的线程，以专门向该用户提供服务，同时根据本地储存的权限信息，各线程可以轻松的为不同用户提供不同的功能服务，实现客户端的多点同时访问，以及不同客户端的个性化服务。多设备组网及访问控制程序在设计开发过程中，保留了定时任务功能，即用户可直接设定任务模式、任务时间、任务次数、任务间隔等，用户只需一次设置，本***会在设定时间自动启动相关硬件的采集工作，真正实现病害孢子图像的自动化采集。对于远程控制功能，当客户端提出远程控制请求时，本***会检查相关权限以及硬件设备的运行状况，在符合远程控制条件后，将向不同IP地址的相应硬件发送控制指令，通过不同IP地址和端口，实现了同一用户对多点设备的控制要求。本***在提供自定义文件传输时，为了传输的正确性以及传输程序的自定义化，将采用启动新进程的方式进行，即在ITOP-4412控制板目录下放置单独的文件传输程序，对于自定义化的文件传输，也只需要放置在此目录下即可实现调用自定义化的文件传输。同时多设备组网及访问控制程序还具有透传模式，该模式是为开发和维护人员提供的，即该模式下，本***能将接收到的远程命令直接转发ITOP-4412控制板的操作***，同时将操作***的返回信息再转发回发送远程命令的客户端，实现对控制板操作***的远程调试、修改，该功能在设备出现问题或软件升级时，可使得开发维护人员不需要亲临现场，极大的简化了维护升级流程。

(6)图像处理程序中的病害孢子识别和预警程序，使用YOLOv3框架，采用7层卷积神经网络进行病害孢子图像的分析识别，每层的卷积核都相较于上一层翻倍，以实现更好的抽象特征学习。通过迁移学习的方法在先前人工标注的病害孢子数据集上训练进行训练，以此解决病害孢子的识别与计数问题。迁移学习的训练时间和训练样本数较小，这正好解决了目前人工标注的病害孢子训练集缺乏的问题；不需要过多的训练时间，也使得在保证效果的前提下，使用普通笔记本电脑，就能很轻松的训练模型。卷积神经网络中对图像感受野卷积的过程可以看作是对图像进行特征提取的过程，由于卷积使得权重参数大大减少，网络的训练速度得到有效提高，同时每层的卷积核逐渐上升，使得学习逐渐转变为从低级特征到高级抽象特征，也使得模型在兼顾细节问题的同时，注重整体的抽象识别，从而大大提高准确率，通过预先标定的数据集进行监督学习，使其网络能够很快的收敛并达到很高的准确率。最后保留模型中所有卷积层的权重偏向参数，使得嵌入式板子也能够实现读取模型并识别孢子。在每次图像采集完之后，都会将其送入训练好的卷积神经网络进行分析识别，若已识别为病害孢子并达到一定数量界限，则触发警告，服务器会向当前所有连接客户端发出该警告信息，真正实现提早预警，避免大规模经济损失。

(7)为了方便随时随地的远程查看设备拍摄图片，控制相关硬件的动作，以及查看工作状态，在手机上开发了相应的APP和网页客户端。其基本原理是客户端通过网络通信向本***发送请求，本***收到请求后根据具体的完成相应的操作，对于查询则直接返回给客户端相关数据；对于远程控制功能，则返回给客户端相应的硬件信息；对于透传功能，则将操作***的输出信息重定向至网络，使得调试信息能够直接显示在移动客户端界面上。移动客户端功能的设计与PC端完全一致，普及所有用户，方便随时随地进行远程控制和图片查看。

Claims (8)

1.农林业病害孢子图像信息远程监测***，其特征在于，包括以下三个部分：病害孢子图像采集设备、多设备组网及访问控制程序和图像处理程序；

病害孢子图像采集设备包括嵌入式控制板①、嵌入式控制板②、直线导轨滑台③、步进电机④、光学显微镜⑤、显微镜电子目镜⑥、显微镜光源灯⑦、胶带⑧、真空抽气泵⑨；用于光学显微镜自动对焦和采集农林业病害孢子并拍摄孢子的图像；

多设备组网及访问控制程序⑩位于嵌入式控制板上，用于统一管理控制同一片区域下，位于不同位置的多个病害孢子图像采集设备，保存病害孢子图像信息，同时负责外部互联网进行通信交互，实现远程控制与监测；

图像处理程序位于嵌入式控制板上，包括图像清晰度评价程序图像细节增强程序以及病害孢子识别和预警程序其中图像清晰度评价程序用于指导病害孢子设备进行显微镜自动对焦，该程序采用清晰度评价；图像细节增强程序对采集到的图像进行暗部亮度和细节的增强，该程序对图像进行亮度区域重映射，对Gamma曲线进行调整；病害孢子识别和预警程序对增强后的每一张病害孢子图像进行孢子的识别，同时对病害的发生给出预警提示信息，该程序采用卷积神经网络。

2.根据权利要求1所述的***，其特征在于：光学显微镜的自动对焦，光学显微镜在成像过程中，步进电机会带动待拍摄区域移动，来调整镜头相对于拍摄区域的距离，使得光学显微镜具备对焦能力；步进电机移动角度θ的计算公式如下：

其中N为脉冲数，m为电机细分，对于单个脉冲，θ为0.00009°，即步进电机能够移动的最小角度为0.00009°；

光学显微镜的自动对焦由图像清晰度评价程序进行指导，成像过程中，图像清晰度评价程序，采用Laplacian算子分别提取水平和垂直方向的梯度值，进而对图像清晰度进行评价，对焦点的计算公式如下：

D(f)＝∑_y∑_x|G(x，y)|

D₀＝maxD(f)

其中L为Laplacian算子，G(x,y)是在像素点(x,y)处Laplacian算子的卷积,D(f)为当前位置的图像清晰度，D₀为对焦点；图像清晰度评价程序对每一帧图像进行计算，由清晰度与距离之间的关系，判断使得清晰度值更大的电机移动方向，并向该方向移动，直至图像清晰度值最大，至此完成显微镜的自动对焦。

3.根据权利要求2所述的光学显微镜自动对焦，其特征在于：显微镜镜头是静止不动的，与之相对应的，移动镜头下方的待观察区域，使之与显微镜镜头发生相对位移，从而实现显微镜成像的对焦控制。

4.根据权利要求1所述的图像细节增强程序，其特征在于：进行区域最优曝光计算来调整Gamma曲线对图像进行增强；程序中首先进行区域级的曝光计算，然后进行细节量计算，接着进行相对对比度计算，最后根据上述计算，调整S型伽马曲线，该方法的区域最优曝光计算，考虑了各个区域的可见性，以及邻域的相对对比度，以增强图像暗部效果和图像细节特征，获得更好的曝光和细节效果的图像。

5.根据权利要求1所述***，其特征在于，还包括用于远程控制和信息查看的PC端Android、IOS客户端和网页客户端三类客户端通过互联网与本***连接，均可接收病害孢子图像和病害预警信息，并能够对病害孢子图像采集设备的所有硬件进行远程实时的人工控制。

6.根据权利要求5所述的远程控制，其特征在于，单个用户可同时对多个不同位置的病害孢子图像采集设备进行人工控制。

7.根据权利要求1所述的***，其特征在于，本***单独使用一台病害孢子图像采集设备，或者进行多采集设备的组网运行；多个采集设备可由互联网、局域网中的任意方式进行相互连接，多设备组网及访问控制程序对多个采集设备进行统一管理，对多点采集信息进行统一分析和病害预警，扩大监测范围。

8.根据权利要求1所述的病害孢子识别和预警程序，其特征在于，

采用7层卷积神经网络进行病害孢子图像的分析识别；其中5层为卷积层，对于所有卷积层，第一个卷积层设置6个卷积核，之后每个卷积层的卷积核个数依次加倍，最后经由全连接层到达Softmax层，输出图片属于病害孢子的概率，即实现对病害孢子的识别，随即向所用用户客户端发送预警信息。