CN109460708A - 一种基于生成对抗网络的林火图像样本生成方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的林火图像样本生成方法。生成模型是通过数据拟合生成目标图片，而判别模型则希望能够将生成的虚假样本与真实样本区分。本方法中生成模型与判别模型均采用卷积神经网络形式的子网络，同时对两个网络进行交替训练，通过训练优化两个子网络最终达到动态平衡，即纳什均衡。最终目的是生成模型能够从训练样本中学习图像样本所对应的概率分布，从而得到更多的“生成”样本来实现数据的扩张。本发明属于无监督学习，无需进行样本标定；卷积神经网络能够从样本中学习得到可靠的特征表示，与传统方法相比，算法拥有更好的鲁棒性与泛化能力。本方法在森林生态保护、森林烟火检测等方面有着重要的应用价值。

Description

一种基于生成对抗网络的林火图像样本生成方法

技术领域

本发明属于计算机视觉和森林烟火视频监测领域，具体涉及一种基于生成对抗神经网络的林火图像样本生成方法。

背景技术

我国是一个森林火灾多发的国家，森林防火任务是国家森林资源保护的首要任务，关系到人民生命财产和森林资源的安全。近年来，计算机硬件和图像处理技术开始获得较大进步，林火视频监控***以其独特的优势在森林火灾检测中开始占据更加重要的位置。基于计算机视觉的林火视频监控***是以嵌入式设备、计算机设备等为处理单元，根据视频图像中烟雾和火焰等图像视觉特征进行林火检测，依靠数字图像处理、信号处理、模式识别和深度学习等技术对大面积森林实施林火监控。基于计算机视觉的林火检测方法更加准确高效，检测时间和预报时间都大大缩短，智能化监控***也方便了防火指挥中心的统一管理。因此，作为林火视频监控***核心构件的林火识别算法越来越受到科研人员的关注。

近年来随着计算机性能的进步和GPU的迅速崛起，计算机视觉技术获得了长足发展，以深度神经网络为代表的图像处理方法在目标检测、动作识别、超分辨率等领域获得了巨大成功，基于计算机视觉的林火监测技术的识别能力正处于新的快速发展阶段。但是森林烟火视频监测技术的快速发展需要克服样本量不足的问题。通常不同场景的森林烟火样本非常稀缺，因此若直接采用通用深度学习的方法，在多种多样的实际场景中，算法无法达到优异的适应性。

发明内容

发明目的：本发明的目的在于解决现有的森林烟火视频监测技术的快速发展需要克服样本量不足，若直接采用通用深度学习的方法，在多种多样的实际场景中，算法无法达到优异的适应性的问题。

技术方案：为实现上述目的：本发明采用以下技术方案：

基于深度卷积生成对抗神经网络的森林烟火图像样本生成方法，包括以下步骤：

一种基于生成对抗网络的林火图像样本生成方法，该方法按照包括以下步骤进行：

步骤1：基于森林烟火视频监控***，通过手工收集或者现有的林火视频监控***自动收集的方法，建立初步的森林烟火图像样本数据集；将所有收集到的森林烟火图像样本数据集全部作为训练集；

步骤2：将训练集设计卷积生成对抗神经网络的两个子网络；两个子网络分别为生成模型和判别模型，并进行图像生成和真伪判别；

步骤3：加载真实林火图像样本，首先固定生成模型的权值，将真实的林火图像样本与生成样本分别输入判别模型，训练判别模型达到一定的判别准确度；然后固定生成模型，将一组随机变量输入生成模型，再将生成模型生成的样本输入判别模型进行判别；训练时按照这个流程，同时对生成模型和判别模型进行反向传播，交替训练优化模型参数；达到动态平衡后，生成模型便可以生成和真实样本几乎一致的新样本；

步骤4：通过步骤3训练得到可以用于样本生成的卷积神经网络生成模型，输入一组随机变量给生成模型进行前向计算，可以得到一张新的林火图像样本。

进一步地，所述步骤1中建立森林烟火图像样本数据集，图像样本采用W×H的尺寸大小，采用无监督学习方式，不划分测试集；样本采集的场景具有不同地形地貌、不同距离、不同光照和多个摄像机拍摄角度。

进一步地，步骤2所述生成模型根据输入森林烟火图像样本为W×H的尺寸大小需要最终生成此种尺寸的图像数据。

进一步地，步骤2所述判别模型的网络架构可采用传统的卷积神经网络，如VGGNet，Inception结构和Resnet；判别模型的输入层采用W×H的三通道图像输入，不同之处在于最后依据神经网络的输出概率对输入图像做真伪二分类；本方法中生成模型采用100维的随机变量作为输入，整体结构与判别网络类似，主要包括输入层、隐含层和输出层，其中隐含层都是转置卷积层；

为了保证对抗生成网络能够较好地收敛到纳什均衡，网络结构设计时，生成模型与判别模型的规模需要基本匹配；考虑到判别模型只需要实现真伪二类判别，生成模型需要通过低维数据生成高维图像数据，其任务相对判别模型更复杂，因此判别模型的规模应该略小于生成模型；但是生成模型不能太过复杂，应确保真实样本数量远大于生成模型的参数量，网络训练才能得到零和博弈解；其次，为了保证判别模型拥有良好的适应性与判别能力，本方法中判别模型使用Dropout和L2正则化辅助模型训练。

进一步地，所述步骤3中，生成对抗网络的训练过程可以描述为一个零和博弈过程，博弈双方分别是生成模型和判别模型；本方法中定义判别模型输出1对应样本为真实样本，输出0对应样本为生成样本；训练过程的优化目标函数如下公式表示：

其中，J(θ^D，θ^G)为损失函数，θ^D为判别模型的待优化参数，θ^G为生成模型的待优化参数，T为参与训练的样本数量，D(x^t，θ^D)表示对输入图像x^t进行判别处理的计算过程，G(z^t，θ^G)表示对输入随机信号zt在参数θ^G的基础上进行前向计算得到生成图像的计算过程；D(G(z^t，θ^G)，θ^D)项表示对生成图像的判别结果，若将生成的图像判别为真实样本，则上式中此项会增大，促进模型朝着纳什均衡的方向进行优化；同理，若模型对真实样本错判，则log(D(x^t，θ^D))项的损失值会促进模型提高对真实模型的识别精度；

具体包括如下步骤：

步骤301、从真实样本中选取m个图像样本x^t，其中t表示第t个图像样本，同时随机采样m个随机数据z^t，经过生成模型前向计算G(·)得到m个生成图像样本G(z^t，θ^G)；计算梯度：

其中，各项符号表示与优化目标函数中一致；利用随机梯度上升方法更新判别模型参数θ^D；

步骤302、其次从随机采样m个随机数据z^t，通过生成模型G(·)前向计算得到m个生成图像G(z^t，θ^G)，经过判别模型计算得到预测结果D(G(z^t，θ^G)，θ^D)后，利用随机梯度下降方法更新生成模型参数θ^G：

其中，各项符号表示与优化目标函数中一致；训练生成模型时忽略计算了对真实数据的损失值因为此项并非生成模型参数θ^G的函数，导数为勒令；

步骤303、训练时候需要对参数(θ^D，θ^G)进行交替优化，本方法中选用Adam方法进行模型优化；通过步骤301和步骤302的多轮迭代优化后，模型最终会到达纳什均衡。

进一步地，所述步骤4中，随机变量维度为100维；实际模型训练时可以测试不同的训练超参数设置，选取表现最优异的模型。

有益效果：与现有的技术相比，本发明具有以下优点：

(1)传统的样本增强通常采用镜像、翻转、旋转等图像处理方法对样本数据进行增强，但是数据增强的效果十分有限，极易造成模型的过拟合。

为了解决上述问题，本发明基于深度卷积生成对抗神经网络生成新的样本数据，能够有效学习森林烟火图像样本的纹理和分布特征，生成模型可对数据集进行高质量地规模扩充。

(2)传统的生成对抗网络仅仅依靠全连接层学习样本特征，只能处理一些比较简单的图像。不适用于本场景中的森林烟火图像样本判别与生成。

为了解决上述问题，本发明设计了基于深层卷积神经网络的判别模型与生成模型。

通过对判别模型与生成模型的交替优化，最终可以在生成模型与判别模型共同进步的情况下，达到生成模型与判别模型的纳什均衡。最终得到的生成模型可以生成与真实样本非常相似的生成样本。

附图说明

图1是本发明的模型整体结构图；

图2是本发明的判别模型神经网络结构简化图；

图3是本发明的生成模型神经网络结构简化图；

图4是本发明方法的流程图。

具体实施方式

下面结合具体实施例和说明附图对本发明作进一步说明。

基于深度卷积生成对抗神经网络的森林烟火图像样本生成方法，如图4流程图所示，包括以下步骤：

步骤1：基于森林烟火视频监控***，通过手工收集或者现有的林火视频监控***自动收集等方法，建立初步的森林烟火图像样本数据集。因为卷积生成对抗神经网络为无监督学习，因此不需划分训练集与测试集，将所有收集到的森林烟火图像样本全部作为训练集；

步骤2：如图1所示，需要设计卷积生成对抗神经网络的两个子网络。假设输入森林烟火图像样本为W×H的尺寸大小，生成模型需要最终生成此种尺寸的图像数据，而判别模型则输入此类尺寸的图像数据，输出是真伪二分类。

步骤3：加载真实林火图像样本，首先固定生成模型的权值，将真实的林火图像样本与生成样本分别输入判别模型，训练判别模型达到一定的判别准确度。然后固定生成模型，将一组随机变量输入生成模型，再将生成模型生成的样本输入判别模型进行判别。训练时按照这个流程，同时对生成模型和判别模型进行反向传播，交替训练优化模型参数。达到动态平衡后，生成模型便可以生成和真实样本几乎一致的新样本。

步骤4：通过步骤3训练得到可以用于样本生成的卷积神经网络生成模型，通过此种方式可以得到大量的林火图像样本，解决林火视频监控等领域的样本稀缺问题。

2.根据权利要求1所述的方法，其特征在于，步骤1中建立森林烟火图像样本数据集。图像样本采用W×H的尺寸大小，本方法采用无监督学习方式，因此不需划分测试集。同时，为保证训练样本有足够的代表性，样本采集时需要考虑不同地形地貌、不同距离、不同光照、摄像机拍摄角度等多种场景的覆盖。

3.根据权利要求1所述的方法，其特征在于，步骤2所述的生成对抗网络包括生成模型和判别模型两个子网络。如图2所示，判别模型的网络架构可采用传统的卷积神经网络，如VGGNet，Inception结构，Resnet等网络。判别模型的输入层采用W×H的三通道图像输入，不同之处在于最后使用Softmax层作为真伪二分类器。如图3所示，本方法中生成模型采用100维的随机变量作为输入，整体结构与判别网络类似，主要包括输入层、隐含层和输出层，其中隐含层都是转置卷积层。转置卷积层是传统卷积层的“逆向”过程，主要作用是将输入的低维数据映射到高维空间。

为了保证对抗生成网络能够较好地收敛到纳什均衡，网络结构设计时，生成模型与判别模型的规模需要基本匹配。考虑到判别模型只需要实现真伪二类判别，生成模型需要通过低维数据生成高维图像数据，其任务相对判别模型更复杂，因此判别模型的规模应该略小于生成模型。但是生成模型不能太过复杂，应确保真实样本数量远大于生成模型的参数量，网络训练才能得到零和博弈解。其次，为了保证判别模型拥有良好的适应性与判别能力，本方法中判别模型使用Dropout和L2正则化辅助模型训练。

4.根据权利要求1所述的方法，其特征在于，步骤3中，生成对抗网络的训练过程可以描述为一个零和博弈过程，博弈双方分别是生成模型和判别模型。本方法中定义判别模型输出1对应样本为真实样本，输出0对应样本为生成样本。训练过程的优化目标函数如下公式表示：

其中，J(θ^D，θ^G)为损失函数，θ^D为判别模型的待优化参数，θ^G为生成模型的待优化参数，T为参与训练的样本数量，D(x^t，θ^D)表示对输入图像xt进行判别处理的计算过程，G(z^t，θ^G)表示对输入随机信号zt在参数θ^G的基础上进行前向计算得到生成图像的计算过程。D(G(z^t，θ^G)，θ^D)项表示对生成图像的判别结果，若将生成的图像判别为真实样本(预测结果更接近1)，则上式中此项会增大，促进模型朝着纳什均衡的方向进行优化。同理，若模型对真实样本错判，则log(D(x^t，θ^D))项的损失值会促进模型提高对真实模型的识别精度。

步骤3中具体部署流程如下：

步骤301、从真实样本中选取m个图像样本x^t(其中t表示第t个图像样本)，同时随机采样m个随机数据z^t，经过生成模型前向计算G(·)得到m个生成图像样本G(z^t，θ^G)。计算梯度：

其中，各项符号表示与优化目标函数中一致。利用随机梯度上升方法更新判别模型参数θ^D。

步骤302、其次从随机采样m个随机数据z^t，通过生成模型G(·)前向计算得到m个生成图像G(z^t，θ^G)，经过判别模型计算得到预测结果D(G(z^t，θ^G)，θ^D)后，利用随机梯度下降方法更新生成模型参数θ^G：

其中，各项符号表示与优化目标函数中一致。训练生成模型时忽略计算了对真实数据的损失值因为此项并非生成模型参数θ^G的函数，导数为勒令。

步骤303、训练时候需要对参数(θ^D，θ^G)进行交替优化，本方法中选用Adam方法进行模型优化。通过步骤301和步骤302的多轮迭代优化后，模型最终会到达纳什均衡。

5.根据权利要求1所述的方法，其特征在于，步骤4中，本方法中的随机变量维度为100维。实际模型训练时可以测试不同的训练超参数设置，选取表现最优异的模型。

应理解上述实施例仅用于说明本发明技术方案的具体实施方式，而不用于限制本发明的范围。在阅读了本发明之后，本领域技术人员对本发明的各种等同形式的修改和替换均落于本申请权利要求所限定的保护范围。

Claims (6)

1.一种基于生成对抗网络的林火图像样本生成方法，其特征在于，该方法按照包括以下步骤进行：

步骤1：基于森林烟火视频监控***，通过手工收集或者现有的林火视频监控***自动收集的方法，建立初步的森林烟火图像样本数据集；将所有收集到的森林烟火图像样本数据集全部作为训练集；

步骤2：将训练集设计卷积生成对抗神经网络的两个子网络；两个子网络分别为生成模型和判别模型，并进行图像生成和真伪判别；

步骤3：加载真实林火图像样本，首先固定生成模型的权值，将真实的林火图像样本与生成样本分别输入判别模型，训练判别模型达到一定的判别准确度；然后固定生成模型，将一组随机变量输入生成模型，再将生成模型生成的样本输入判别模型进行判别；训练时按照这个流程，同时对生成模型和判别模型进行反向传播，交替训练优化模型参数；达到动态平衡后，生成模型便可以生成和真实样本几乎一致的新样本；

步骤4：通过步骤3训练得到可以用于样本生成的卷积神经网络生成模型，输入一组随机变量给生成模型进行前向计算，可以得到一张新的林火图像样本。

2.根据权利要求1所述的基于生成对抗网络的林火图像样本生成方法，其特征在于，所述步骤1中建立森林烟火图像样本数据集，图像样本采用W×H的尺寸大小，采用无监督学习方式，不划分测试集；样本采集的场景具有不同地形地貌、不同距离、不同光照和多个摄像机拍摄角度。

3.根据权利要求1所述的基于生成对抗网络的林火图像样本生成方法，其特征在于，步骤2所述生成模型根据输入森林烟火图像样本为W×H的尺寸大小需要最终生成此种尺寸的图像数据。

4.根据权利要求1所述的基于生成对抗网络的林火图像样本生成方法，其特征在于，步骤2所述判别模型的网络架构可采用传统的卷积神经网络，如VGGNet，Inception结构和Resnet；判别模型的输入层采用W×H的三通道图像输入，不同之处在于最后依据神经网络的输出概率对输入图像做真伪二分类；本方法中生成模型采用100维的随机变量作为输入，整体结构与判别网络类似，主要包括输入层、隐含层和输出层，其中隐含层都是转置卷积层；

为了保证对抗生成网络能够较好地收敛到纳什均衡，网络结构设计时，生成模型与判别模型的规模需要基本匹配；考虑到判别模型只需要实现真伪二类判别，生成模型需要通过低维数据生成高维图像数据，其任务相对判别模型更复杂，因此判别模型的规模应该略小于生成模型；但是生成模型不能太过复杂，应确保真实样本数量远大于生成模型的参数量，网络训练才能得到零和博弈解；其次，为了保证判别模型拥有良好的适应性与判别能力，本方法中判别模型使用Dropout和L2正则化辅助模型训练。

5.根据权利要求1所述的基于生成对抗网络的林火图像样本生成方法，其特征在于，所述步骤3中，生成对抗网络的训练过程可以描述为一个零和博弈过程，博弈双方分别是生成模型和判别模型；本方法中定义判别模型输出1对应样本为真实样本，输出0对应样本为生成样本；训练过程的优化目标函数如下公式表示：

其中，J(θ^D，θ^G)为损失函数，θ^D为判别模型的待优化参数，θ^G为生成模型的待优化参数，T为参与训练的样本数量，D(x^t，θ^D)表示对输入图像x^t进行判别处理的计算过程，G(z^t，θ^G)表示对输入随机信号z^t在参数θ^G的基础上进行前向计算得到生成图像的计算过程；D(G(z^t，θ^G)，θ^D)项表示对生成图像的判别结果，若将生成的图像判别为真实样本，则上式中此项会增大，促进模型朝着纳什均衡的方向进行优化；同理，若模型对真实样本错判，则log(D(x^t，θ^D))项的损失值会促进模型提高对真实模型的识别精度；

具体包括如下步骤：

步骤301、从真实样本中选取m个图像样本x^t，其中t表示第t个图像样本，同时随机采样m个随机数据z^t，经过生成模型前向计算G(·)得到m个生成图像样本G(z^t，θ^G)；计算梯度：

其中，各项符号表示与优化目标函数中一致；利用随机梯度上升方法更新判别模型参数θ^D；

步骤302、其次从随机采样m个随机数据z^t，通过生成模型G(·)前向计算得到m个生成图像G(z^t，θ^G)，经过判别模型计算得到预测结果D(G(z^t，θ^G)，θ^D)后，利用随机梯度下降方法更新生成模型参数θ^G：

其中，各项符号表示与优化目标函数中一致；训练生成模型时忽略计算了对真实数据的损失值因为此项并非生成模型参数θ^G的函数，导数为勒令；

步骤303、训练时候需要对参数(θ^D，θ^G)进行交替优化，本方法中选用Adam方法进行模型优化；通过步骤301和步骤302的多轮迭代优化后，模型最终会到达纳什均衡。

6.根据权利要求1所述的基于生成对抗网络的林火图像样本生成方法，其特征在于，所述步骤4中，随机变量维度为100维；实际模型训练时可以测试不同的训练超参数设置，选取表现最优异的模型。