CN116306875B - 基于空间预学习与拟合的排水管网样本增量学习方法 - Google Patents

Abstract

本发明公开了一种基于空间预学习与拟合的排水管网样本增量学习方法，属于图像分类识别领域，包括（1）获取初始数据集，（2）训练得到能识别排水管网多种缺陷类别的初始模型，（3）为下次学习出现的未知新数据预分配空间，微调初始模型，（4）执行增量学习任务时，从数据集中选择部分训练数据，与上一模型的特征空间进行拟合，并同时为下一学习任务进行空间预分配。本发明通过提前为可能出现的新排水管网图像数据预分配空间，同时在新排水管网图像数据学习时进行新数据选择，并使其尽可能拟合预先分配的空间，使模型能避免新旧数据因特征差异大造成的模型整体识别性能下降，提升识别准确率。

Description

基于空间预学习与拟合的排水管网样本增量学习方法

技术领域

本发明涉及一种样本增量学习方法，尤其涉及一种基于空间预学习与拟合的排水管网样本增量学习方法。

背景技术

目前的排水管网缺陷识别通常主要通过电视检测和潜望镜检测来采集图像或视频数据，并通过人工判读的方法进行识别，费时费力，且效率地下。

随着近年来深度学习的快速发展，目前已经开始对排水管道缺陷进行智能检测，该方法为：首先通过CCTV内窥机器人进行地下管网视频拍摄，然后通过基于深度神经网络的智能识别模型识别视频帧中的管网缺陷，基于深度神经网络的管网缺陷智能识别模型一般在一组提前收集及标注的数据集上训练获得。

然而在实际管网检测作业中，采集的管道图像数据随时间推移逐渐增加，同时由于作业场景不同，新旧图像数据特征和缺陷特征也存在差异，微调的方法可能造成模型的整体识别性能降低，而从零训练的方法需要耗费大量的计算与存储资源。所以需要提出一种新的识别方法，不仅能不断从新采集的数据中进行迭代学习，以提高管网缺陷的识别性能，还能减少计算与存储资源的消耗。

发明内容

本发明的目的就在于提供一种解决上述问题，随着识别图像的增加、时间的延长，能不断迭代学习、提升识别准确率，且能有效减少计算与存储资源的消耗的，基于空间预学习与拟合的排水管网样本增量学习方法。

为了实现上述目的，本发明采用的技术方案是这样的：一种基于空间预学习与拟合的排水管网样本增量学习方法，包括以下步骤：

（1）大量采集不同场景下的排水管网图像，对每张排水管网图像，标记其缺陷类别作为标签，将带标签的排水管网图像作为训练样本，所有训练样本构成初始数据集D₀，所述D₀中缺陷类别为n类，n为正整数；

构建一用于增量学习的任务组t={t₁，t₂，…，t_N}，对应的训练数据流为D={D₁，D₂，…，D_N}，第i个任务t_i对应数据集为D_i，学习结束后得到的模型为M_i，D_i中包含多个训练样本，类别集和D₀相同，i=1~N，N为数据集的总数；

（2）建立基础学习任务t₀：用初始数据集D₀训练ResNet网络模型，得到能识别n类缺陷类别的初始模型，其特征空间为H₀，损失函数为loss₁，

（3）为下次学习预分配空间，包括步骤（31）~（33）；

（31）将D₀中训练样本按缺陷类别分为n个类别集，从每个类别集中选择数个训练样本生成模拟特征，其中一个训练样本x通过下式生成模拟特征h(f(x))；

。

式中，f(x)为ResNet网络模型对x提取的特征，λ∈（0,1）为生成模拟特征的权重，x_n为x所属类别集中与x欧氏距离最远的训练样本；

（32）按步骤（31），使每个类别集得到多个模拟特征，对每个类别集，用其中所有模拟特征计算一中心值，作为该类别集的模拟中心值；

（33）通过下式计算模型微调与预分配空间学习的目标函数loss₂对初始模型进行调整，得到模型M₀，其特征空间为H₁，包含D₀和模拟样本的特征，将H₁作为下次学习的预分配空间；

式中，y为训练样本x的标签，C(f(x))为初始模型对x的预测分类结果，C(h(f(x)))为初始模型对x_n的预测分类结果，l_ce(C(f(x))，y)为计算C(f(x))与y的交叉熵损失，l_pf（C(h(f(x)))，y）为计算C(h(f(x)))与y的交叉熵损失，γ∈（0,1）为loss₂权重；

（4）依次学习任务组t中的任务，每次学习结束得到该任务对应的模型，其中任务t_i的学习方法包括步骤（41）~（42）；

（41）对任务t_i，根据D_i-1中每个类别集的模拟中心值，从D_i中为每个类别集选择数个训练样本，构成已选数据集D*_i；

（42）用D*_i训练M_i-1，包括用D*_i与任务t_i-1得到的预分配空间拟合，并同时用D*_i为任务t_i+1预分配空间，得到t_i+1的预分配空间H_i+1，学习结束后得到的模型为M_i。

作为优选：步骤（1）中，所述缺陷类别包括但不限于非检测作业图像、缺陷管网图像或无缺陷管网图像。

作为优选：对于数据集D_i，为完成任务t_i-1后，一段时间内不断获取的新的训练样本的总和。

作为优选：步骤（2）中，ResNet网络模型由特征提取器和分类器组成，训练样本x送入ResNet网络模型中，先由特征提取器提取特征f(x)、再经分类器输出预测分类结果C(f(x))，ResNet网络模型的损失函数loss₁采用下式计算：

。

作为优选：所述步骤（32）通过下式计算中心值：

。

c为类别集，x_k为c的第k个训练样本，u^c为c的中心值，N_c为c中训练样本总数。

作为优选：步骤（41）从D_i中为每个类别集选择数个训练样本具体为；

（a1）将D_i-1中一个类别集的模拟中心值，与D_i对应类别集中的每个训练样本算距离，并按距离从小到大排序，选取前Q个训练样本；

（a2）按步骤（a1）的方法，用D_i-1中其余类别集的模拟中心值，分别在D_i对应类别集中选取Q个训练样本，共得到n×Q个训练样本，构成已选数据集D*_i。

作为优选：步骤（42）中，用D*_i训练M_i-1得到M_i的目标函数为loss₃，采用下式计算：

式中，l_fit为拟合预分配空间损失，||·||₂为L2范数，ε为拟合预分配空间损失的权重。

关于步骤（1）：本发明基于样本增量学习，不断在新采集到训练数据集中进行样本增量学习，在第i次样本增量学习中，仅能读取数据集D_i中的数据，学习结束后得到的模型为M_i。

本发明中，初始数据集D₀与训练数据集D_t中的类别集是相同的，例如，D₀中的缺陷类别为三类：非检测作业图像、缺陷管网图像或无缺陷管网图像，分别标记为类1、类2、类3，那么D_t中的缺陷类别也为此三类，也就是N=3。当然缺陷类别可根据实际情况进行设计，不局限于上述三类。另外，初始数据集D₀前期大量在不同环境、不同场景下大量采集得到的，数据量大于D_t。

关于步骤（2），这一步是基于初始数据集D₀训练得到初始模型。当第一次得到初始数据集D₀后，首先进行排水管网缺陷识别初始模型的学习，本发明采用ResNet网络模型，由一个特征提取器f(·)和一个分类器C(·)组成。模型的输入为初始数据集D₀中的一个训练样本，标记为x，通过特征提取器f(·)提取特征f(x)，随后由分类器输出预测分类结果C(f(x))，模型的学习中损失函数采用交叉熵损失loss₁。

关于步骤（3），这一步是为下次学习预分配空间。这是因为在下一次学习时必然会引入新的训练样本，由于作业场景的不同，不同时间采集排水管网图像数据在特征和缺陷上存在一定的差异，新旧数据因特征差异大会造成的模型整体识别性能下降，所以我们通过分析本次任务的数据库，去模拟生成一批模拟数据，和本次任务的数据库一起，通过loss₂对模型进行调整，从而得到调整后的模型，其特征空间同时包含了本轮数据库中训练样本的特征和所有模拟数据的特征，对基础学习任务t₀而言，初始模型的特征空间为H₀，仅包含D₀的特征空间，但调整后的模型的M₀特征空间为H₁。由于生成模拟数据依照本发明步骤（31）规则，能通过使用新数据对预分配空间进行拟合，使得模型具有向后兼容的学习能力，更适合实际应用场景。

关于步骤（41），本次任务训练样本的选择。本发明是用上一任务的模拟数据，去本次任务的数据库中筛选部分训练样本，而不是直接利用本次任务数据库中的全部样本。例如，对任务t₁，对应的数据库为D₁，要用D₀生成的模拟特征去筛选。具体是：先按本发明步骤（31），D₀中每个类别集都生成了一批模拟特征，再按本发明步骤（32）对D₀中每个类别集各计算一模拟中心值，去D₁中对应类别集中选择训练样本，选择的标准基于训练样本与模拟中心值的距离大小，仅保留距离小的，以便于更好的拟合预分配空间，假设缺陷类别有三类，每个数据集的类别集就有3个，模拟中心值也有三个，用D₀的3个模拟中心值，分别去D₁对应的类别集中各选Q个训练样本，构成的已选数据集D*₁则包含3×Q个训练样本，通拿过来，缺陷类别为n个，D*₁则包含n×Q个训练样本。

关于步骤（42），对任务t_i，同时完成两部分工作，一方面，将D*_i 的特征嵌入拟合上一任务得到预分配空间H_i另一方面，还需要用D*_i为任务t_i+1预分配空间，得到t_i+1的预分配空间H_i+1。预分配空间的方法同本发明步骤（3）。步骤（42）通过调整目标函数loss₃实现，其中为拟合预分配空间损失的权重。目的是使得模型在学习新排水管网图像数据时，使得它在新特征空间中的特征接近上一阶段预分配的空间中心，避免对旧排水管网图像数据特征嵌入的挤压与覆盖，学习结束后得到的模型为M_i，新学习的预分配空间为H_i+1。

与现有技术相比，本发明的优点在于：

（1）本发明能克服在实际管网检测作业中，采集的管道图像数据随时间推移逐渐增加或作业场景不同，新旧图像数据特征和缺陷特征也存在差异，从而导致识别模型精度降低的缺陷，无需使用已学习的旧排水管网图像数据，节省了存储资源；且通过空间预学习为新数据提前分配嵌入空间，避免新旧数据因特征差异大造成的模型整体识别性能下降；并通过使用新数据对预分配空间进行拟合，使得模型具有向后兼容的学习能力，更适合实际应用场景。

（2）本发明虽基于样本增量学习方法，但与现有增量识别不同，现有样本增量，是随着学习任务的增加，每次增加识别的类别，但本发明不增加识别缺陷类别数量，而是通过不断学习同类别的缺陷数据，从而不断提升检测精度，最终能达到95%以上的识别准确率。同时本文提出的方法对排水管道缺陷图像的识别速度也非常的快，在RTX2080显卡，i5-5850 Cpu的设备下，识别速度能达到约24.5ms/帧。

附图说明

图1为本发明学习方法流程图；

图2为预分配空间示意图。

实施方式

下面将结合附图对本发明作进一步说明。

实施例1：参见图1和图2，一种基于空间预学习与拟合的排水管网样本增量学习方法，包括以下步骤：

（1）大量采集不同场景下的排水管网图像，对每张排水管网图像，标记其缺陷类别作为标签，将带标签的排水管网图像作为训练样本，所有训练样本构成初始数据集D₀，所述D₀中缺陷类别为n类，n为正整数。

构建一用于增量学习的任务组t={t₁，t₂，…，t_N}，对应的训练数据流为D={D₁，D₂，…，D_N}，第i个任务t_i对应数据集为D_i，学习结束后得到的模型为M_i，D_i中包含多个训练样本，类别集和D₀相同，i=1~N，N为数据集的总数。

（2）建立基础学习任务t₀：用初始数据集D₀训练ResNet网络模型，得到能识别n类缺陷类别的初始模型，其特征空间为H₀，损失函数为loss₁。

（3）为下次学习预分配空间，包括步骤（31）~（33）；

（31）将D₀中训练样本按缺陷类别分为n个类别集，从每个类别集中选择数个训练样本生成模拟特征，其中一个训练样本x通过下式生成模拟特征h(f(x))；

式中，f(x)为ResNet网络模型对x提取的特征，λ∈（0,1）为生成模拟特征的权重，x_n为x所属类别集中与x欧氏距离最远的训练样本。

（32）按步骤（31），使每个类别集得到多个模拟特征，对每个类别集，用其中所有模拟特征计算一中心值，作为该类别集的模拟中心值。

（33）通过下式计算模型微调与预分配空间学习的目标函数loss₂对初始模型进行调整，得到模型M₀，其特征空间为H₁，包含D₀和模拟样本的特征，将H₁作为下次学习的预分配空间；

。

式中，y为训练样本x的标签，C(f(x))为初始模型对x的预测分类结果，C(h(f(x)))为初始模型对x_n的预测分类结果，l_ce(C(f(x))，y)为计算C(f(x))与y的交叉熵损失，l_pf（C(h(f(x)))，y）为计算C(h(f(x)))与y的交叉熵损失，γ∈（0,1）为loss₂权重。

（4）依次学习任务组t中的任务，每次学习结束得到该任务对应的模型，其中任务t_i的学习方法包括步骤（41）~（42）；

（41）对任务t_i，根据D_i-1中每个类别集的模拟中心值，从D_i中为每个类别集选择数个训练样本，构成已选数据集D*_i。

（42）用D*_i训练M_i-1，包括用D*_i与任务t_i-1得到的预分配空间拟合，并同时用D*_i为任务t_i+1预分配空间，得到t_i+1的预分配空间H_i+1，学习结束后得到的模型为M_i。

本实施例中，步骤（1）中，所述缺陷类别包括但不限于非检测作业图像、缺陷管网图像或无缺陷管网图像。但不局限于次，例如，可以针对缺陷管网图像对缺陷进行具体分类。

对于数据集D_i，为完成任务t_i-1后，一段时间内不断获取的新的训练样本的总和。其数量小于D₀，但属于一段时间累积所得的新数据。

步骤（2）中，ResNet网络模型由特征提取器和分类器组成，训练样本x送入ResNet网络模型中，先由特征提取器提取特征f(x)、再经分类器输出预测分类结果C(f(x))，ResNet网络模型的损失函数loss₁采用下式计算：

。

所述步骤（32）通过下式计算中心值。

。

c为类别集，x_k为c的第k个训练样本，u^c为c的中心值，N_c为c中训练样本总数。

步骤（41）从D_i中为每个类别集选择数个训练样本具体为：

（a1）将D_i-1中一个类别集的模拟中心值，与D_i对应类别集中的每个训练样本算距离，并按距离从小到大排序，选取前Q个训练样本。

（a2）按步骤（a1）的方法，用D_i-1中其余类别集的模拟中心值，分别在D_i对应类别集中选取Q个训练样本，共得到n×Q个训练样本，构成已选数据集D*_i。

步骤（42）中，用D*_i训练M_i-1得到M_i的目标函数为loss₃，采用下式计算：

式中，l_fit为拟合预分配空间损失，||·||₂为L2范数，ε为拟合预分配空间损失的权重。

实施例2：参见图1和图2，我们在实施例1的基础上，给出一种具体方法：

关于步骤（1）：在不同场景去获取5000张的排水管网图像，缺陷类别分为三类，分别为非检测作业图像、缺陷管网图像或无缺陷管网图像，对5000张排水管网图像分别标记缺陷类别，构成5000个训练样本，合成初始数据集D₀。

关于步骤（2）：用D₀训练ResNet网络模型，得到能识别三类缺陷类别的初始模型，其特征空间为H₀，损失函数为loss₁。

关于步骤（3）为下次学习预分配空间：

D₀中训练样本按缺陷类别分为3个类别集，分别为类1到类3，分别包含1500、1500、2000个训练样本，对类1，按步骤（31）生成一批模拟特征，并按步骤（32）计算中心值，对类2、类3同样操作，得到D₀中类1到类3的模拟中心值；再按步骤（33），用5000个训练样本和所有模拟特征一起，对初始模型进行调整，假设每个类别集生成了200个模拟特征，则共5000+200×3=5600个特征参与到初始模型的调整过程中。最终调整后，得到模型M₀，其特征空间为H₁。

接下来学习任务t₁：

先用D₀中类1到类3的模拟中心值，去D₁中为每个类别集选择200个训练样本，共600个训练样本，构成已选数据集D*₁；再用D*₁训练M₀，包括用D*₁与H₁拟合，并同时用D*₁为任务t₂预分配空间，得到t₂的预分配空间H₂，训练完成后得到任务t₁的模型。用D*₁为任务t₂预分配空间的方法与步骤（3）相同，还是先生成模拟特征、算中心值、再用loss₂ 对M₀进行调整。

同理学习任务t₂、t₃等，与任务t₁相同。

实施例3：参见图1和图2，在实施例2的基础上，我们调整数据集中训练样本的数量，D₀中，非检测作业图像1500张、缺陷管网图像1500张、无缺陷管网图像2000张，通过5次增量学习，每次上述三类图像分别增量150、150、200张，识别准确率从90%上升到95%以上，且识别速度达到约24.5ms/帧。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于空间预学习与拟合的排水管网样本增量学习方法，其特征在于，包括以下步骤：

（1）大量采集不同场景下的排水管网图像，对每张排水管网图像，标记其缺陷类别作为标签，将带标签的排水管网图像作为训练样本，所有训练样本构成初始数据集D₀，所述D₀中缺陷类别为n类，n为正整数；

构建一用于增量学习的任务组t={t₁，t₂，…，t_N}，对应的训练数据流为D={D₁，D₂，…，D_N}，第i个任务t_i对应数据集为D_i，学习结束后得到的模型为M_i，D_i中包含多个训练样本，类别集和D₀相同，i=1~N，N为数据集的总数；

（2）建立基础学习任务t₀：用初始数据集D₀训练ResNet网络模型，得到能识别n类缺陷类别的初始模型，其特征空间为H₀，损失函数为loss₁，

（3）为下次学习预分配空间，包括步骤（31）~（33）；

（31）将D₀中训练样本按缺陷类别分为n个类别集，从每个类别集中选择数个训练样本生成模拟特征，其中一个训练样本x通过下式生成模拟特征h(f(x))；

式中，f(x)为ResNet网络模型对x提取的特征，λ∈（0,1）为生成模拟特征的权重，x_n为x所属类别集中与x欧氏距离最远的训练样本；

（32）按步骤（31），使每个类别集得到多个模拟特征，对每个类别集，用其中所有模拟特征计算一中心值，作为该类别集的模拟中心值；

（33）通过下式计算模型微调与预分配空间学习的目标函数loss₂对初始模型进行调整，得到模型M₀，其特征空间为H₁，包含D₀和模拟样本的特征，将H₁作为下次学习的预分配空间；

式中，y为训练样本x的标签，C(f(x))为初始模型对x的预测分类结果，C(h(f(x)))为初始模型对x_n的预测分类结果，l_ce(C(f(x))，y)为计算C(f(x))与y的交叉熵损失，l_pf（C(h(f(x)))，y）为计算C(h(f(x)))与y的交叉熵损失，γ∈（0,1）为loss₂权重；

（4）依次学习任务组t中的任务，每次学习结束得到该任务对应的模型，其中任务t_i的学习方法包括步骤（41）~（42）；

（41）对任务t_i，根据D_i-1中每个类别集的模拟中心值，从D_i中为每个类别集选择数个训练样本，构成已选数据集D*_i；

（42）用D*_i训练M_i-1，包括用D*_i与任务t_i-1得到的预分配空间拟合，并同时用D*_i为任务t_i+1预分配空间，得到t_i+1的预分配空间H_i+1，学习结束后得到的模型为M_i，其中，用D*_i训练M_i-1得到M_i的目标函数为loss₃，采用下式计算：

式中，l_fit为拟合预分配空间损失，||·||₂为L2范数，ε为拟合预分配空间损失的权重，c为类别集，u^c为c的中心值，x_i为D*_i中的一个训练样本，f(x_i)为ResNet网络模型对x_i提取的特征。

2.根据权利要求1所述的基于空间预学习与拟合的排水管网样本增量学习方法，其特征在于，步骤（1）中，所述缺陷类别包括但不限于非检测作业图像、缺陷管网图像或无缺陷管网图像。

3.根据权利要求1所述的基于空间预学习与拟合的排水管网样本增量学习方法，其特征在于，对于数据集D_i，为完成任务t_i-1后，一段时间内不断获取的新的训练样本的总和。

4.根据权利要求1所述的基于空间预学习与拟合的排水管网样本增量学习方法，其特征在于，步骤（2）中，ResNet网络模型由特征提取器和分类器组成，训练样本x送入ResNet网络模型中，先由特征提取器提取特征f(x)、再经分类器输出预测分类结果C(f(x))，ResNet网络模型的损失函数loss₁采用下式计算：

。

5.根据权利要求1所述的基于空间预学习与拟合的排水管网样本增量学习方法，其特征在于，所述步骤（32）通过下式计算中心值：

c为类别集，x_k为c的第k个训练样本，u^c为c的中心值，N_c为c中训练样本总数。

6.根据权利要求4所述的基于空间预学习与拟合的排水管网样本增量学习方法，其特征在于，步骤（41）从D_i中为每个类别集选择数个训练样本具体为；

（a1）将D_i-1中一个类别集的模拟中心值，与D_i对应类别集中的每个训练样本算距离，并按距离从小到大排序，选取前Q个训练样本；

（a2）按步骤（a1）的方法，用D_i-1中其余类别集的模拟中心值，分别在D_i对应类别集中选取Q个训练样本，共得到n×Q个训练样本，构成已选数据集D*_i。