CN116309155A - 基于卷积和转换器混合网络的图像修复方法、模型和装置 - Google Patents
基于卷积和转换器混合网络的图像修复方法、模型和装置 Download PDFInfo
- Publication number
- CN116309155A CN116309155A CN202310256040.1A CN202310256040A CN116309155A CN 116309155 A CN116309155 A CN 116309155A CN 202310256040 A CN202310256040 A CN 202310256040A CN 116309155 A CN116309155 A CN 116309155A
- Authority
- CN
- China
- Prior art keywords
- wall painting
- model
- image
- repair
- tomb wall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000010422 painting Methods 0.000 claims abstract description 129
- 230000008439 repair process Effects 0.000 claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000010276 construction Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 32
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000004393 visual impairment Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 2
- 238000009933 burial Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 3
- 102100031315 AP-2 complex subunit mu Human genes 0.000 description 2
- 235000017274 Diospyros sandwicensis Nutrition 0.000 description 2
- 101000796047 Homo sapiens AP-2 complex subunit mu Proteins 0.000 description 2
- 241000282838 Lama Species 0.000 description 2
- 229940110339 Long-acting muscarinic antagonist Drugs 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011496 digital image analysis Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卷积和转换器混合网络的图像修复方法、模型和装置，模型构建方法包括：步骤1：采集墓葬壁画图像数据，预处理、人工标注得到墓葬壁画检测模型数据集；确定修复模型的训练集和验证集；步骤2：将人工标记好的数据集输入至检测模型训练；步骤3：对有破损的墓葬壁画检测并转换成二值掩码图像，得到修复测试集图像；步骤4：设计破损修复模型；步骤5：利用修复数据集训练得到墓葬壁画修复模型；步骤6：利用测试集对修复模型进行测试，实现对破损区自动修复。本发明使得墓葬壁画检测模型的检测效果更准确，另外通过混合修复网络利用Transformer模型全局恢复图像的纹理信息，结合快速傅里叶变换方法恢复出质量更高的修复图像。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于深度卷积和视觉转换器混合网络的图像修复方法、模型和装置。
背景技术
墓葬壁画作为一种珍贵文化遗产，其保护问题一直备受国内外考古学界和文物保护界的关注。因为自然灾害、人为因素、气候等影响，墓葬壁画出现褪色、失真、脱落等劣化现象逐渐加重，并且难以逆转，这导致这些原本已稀缺的不可再生文化资源加速锐减。近些年以来，经过专家学者的共同努力，在壁画的保护研究上已取得很大进步,但是受到研究方式以及技术条件的制约，研究大多集中在对壁画局部的修复上。并且修复的成果大多以论文、考古报告、复原设计图纸、书籍等形式表达。涉及到墓葬壁画长久的保护、建筑重构的探索就很少并且大多有些力不从心，且采集到墓葬壁画的图像信息的数量以及质量都会直接影响到后续研究工作的开展。不可否认，通过取证、手工描摹以及现场考察等传统方式在早期的研究中确实具有不可替代的作用，但是这样导致的图像精度低、素材利用率低、数据信息缺失严重以及壁画雕塑的三维空间难以重构等问题也无法解决。对于壁画中破损的部分，目前的文物保护人员通常使用手工修复，但手工修复对于修复者的技艺要求严苛，不仅需要修复者具备多年的工作经验，而且还要有较高的专业知识和艺术修养，因为修复过程中如果稍有疏漏，就有可能使壁画受到不可逆转的损失。
随着现代社会数字采集手段的进步，大量绘画集被收集并以数字方式显示。这为使用深度学习算法进行数字图像分析提供了支持。本发明使用数字图像分析的算法提取出墓葬壁画的高维特征，然后在大量的训练集中学习特征信息，利用检测网络检测墓葬壁画的破损区，然后通过基于Transformer修复网络对得到的破损区进行数字修复。数字图像处理技术能通过某些数学的先验模型或者算法对图像中的破损区域进行检测，并且使用数字图像的修复技术对图像进行非接触性识别修复，不仅避免传统手工方法中对图像实体造成的二次损害，而且修复的结果也方便保留，且不会受损。因此，构建基于数字化的数据集，使用卷积神经网络和Transformer来识别修复墓葬壁画的破损区域是本发明的主要工作。
发明内容
针对现有技术中的缺陷和不足，本发明提供一种基于卷积和转换器混合网络的图像修复方法、模型和装置，通过建立检测模型和修复模型，实现了墓葬壁画破损区的高质量自动修复，为今后深度学习在文化遗产数字化保护中的应用和推广提供了技术支撑，克服现有技术中无法自动检测修复墓葬壁画破损区的问题。本发明通过设计相应的检测网络模型，精确检测墓葬壁画的破损区，并通过设计的修复模型自动恢复出纹理完整、协调一致的空洞区域。
为达到上述目的，本发明采取如下的技术方案：
一方面，提供一种基于卷积和转换器混合网络的图像修复模型构建方法，包括以下步骤：
步骤1：利用数字设备采集墓葬壁画图像数据；采集的墓葬壁画图像包括完整的墓葬壁画和存在破损的墓葬壁画图像，对采集的墓葬壁画图像数据进行预处理，对带有破损区的墓葬壁画使用标注软件对破损区域进行人工标注，得到墓葬壁画检测模型数据集；将完好的墓葬壁画图像作为墓葬壁画修复模型的训练集和验证集；
步骤2：将步骤1中人工标记好的墓葬壁画数据集输入至墓葬壁画破损区检测模型进行训练，得到训练好的检测模型；
步骤3：利用步骤2得到的训练好的检测模型对有破损的墓葬壁画进行破损检测，并将检测结果转换成二值掩码图像，得到墓葬壁画的修复测试集图像；
步骤4：设计基于视觉特征转换器的破损修复模型，所述基于视觉特征转换器的破损修复模型由基于Transformer的结构纹理修复模型和内容填补模型构成；所述结构纹理修复模型采用了快速傅里叶卷积层进行频域的学习，结合由全卷积网络构成的结构特征编码器；
步骤5：利用步骤1中得到的墓葬壁画修复数据集对基于视觉特征转换器的破损修复模型进行训练，得到墓葬壁画修复模型；
步骤6：利用步骤3得到的墓葬壁画测试集对训练好的基于卷积和转换器的混合网络检测修复模型进行测试，实现对墓葬壁画破损区的自动修复。
进一步的，所述步骤2中，所述的墓葬壁画破损区检测模型用于实现如下流程：
步骤21，输入图像先经过多尺度特征提取网络得到5种不同尺度的特征向量，将尺度最小的三种特征向量送入特征金字塔中进行采样拼接；经过采样拼接后得到了5种尺寸不一的特征图；该步骤将多尺度特征提取网络和特征金字塔进行横向连接，利用特征金字塔自下而上的连接方式，将低层特征与深层特征进行融合，得到不同尺寸的特征；
步骤22，在预测阶段，预测分支采用改进的基于锚的目标检测器，包括分类层和回归层、掩码系数层；所述分类层用于输出目标类别的置信度得分，所述回归层用于输出预测框结果，所述掩码系数层用于预测生成的K个掩码系数，每一个系数对应于每一个生成的原型；将步骤21得到的特征金字塔网络的特征层结果作为预测分支的输入，通过共享卷积层的方式得到三组数据：对锚点所属类别、预测框的回归坐标和掩码系数。
进一步的，所述步骤2中，损失函数由3部分组成：
Loss＝Losscls+αLossbox+βLossmask
其中，Losscls、Lossbox、Lossmask分别表示分类损失函数、预测框损失函数及掩码损失函数，α，β为权重系数；分类损失函数为交叉熵损失，预测框损失函数采用smoothL1损失函数，掩码损失函数为预测掩码和真值掩码之间的逐像素二进制交叉熵：
Lossmask＝BCE(M，Mgt)
其中，BCE是指二元交叉熵损失函数，M是预测掩码，Mgt是真值掩码。
进一步的，所述步骤4中，损失函数由以下四部分构成：
loss＝αLl1+βLadv+γLfm+μLhrf式III
其中α，β，γ，μ为各个损失函数的权重，其中Lfm为特征匹配损失，Ladv由判别损失和生成损失构成，Lhrf为视觉损失；其中α＝10，β＝10，γ＝100，μ＝30。
另一方面，本发明提供一种基于卷积和转换器混合网络的图像修复模型构建装置，包括：
数据获取模块，用于获取墓葬壁画数据集；
墓葬壁画破损检测模型模块，用于对预处理后的墓葬壁画数据集进行训练，得到墓葬壁画破损区检测模型，该模型用于对输入的墓葬壁画图像进行破损区检测；并将检测结果自动输出为二值图，输出的检测结果和相应的二值图用于墓葬壁画破损区修复模型的修复；
墓葬壁画破损修复模型模块，用于对预处理后的未破损的墓葬壁画数据集进行训练，得到墓葬壁画破损区修复模型；该模型用于对输入的破损墓葬壁画图像和其相应的二值图像进行修复操作，得到修复好的墓葬壁画图像。
第三方面，本发明提供一种基于深度卷积和视觉转换器混合网络的图像修复方法，将待修复的墓葬壁画图像，输入至训练好的墓葬壁画检测模型，得到检测到的破损区图像和其相应的二值图像，再将破损区图像和二值图像输入至训练好的墓葬壁画修复模型，得到修复后的墓葬壁画图像；所述训练好的墓葬壁画检测模型和墓葬壁画修复模型通过本发明的基于卷积和转换器混合网络的图像修复模型构建方法得到。
第四方面，本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现本发明的基于卷积和转换器混合网络的图像修复模型构建方法。
第五方面，本发明提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，该程序指令可被处理器执行以实现本发明的基于卷积和转换器混合网络的图像修复模型构建方法。
与现有技术相比，本发明具有如下有益效果：
本发明通过多尺度特征提取网络结合特征金字塔的设计，使得墓葬壁画检测模型相对于现有方法的检测效果更为准确，另外，通过基于深度卷积和视觉转换器的混合修复网络利用Transformer模型全局恢复图像的纹理信息，结合快速傅里叶变换的方法恢复出了质量更高的修复图像。
附图说明
图1为本发明墓葬壁画破损区检测及修复方法流程图。
图2为本发明中的墓葬壁画破损区检测模型的结构示意图。
图3为本发明中的墓葬壁画破损区修复模型的结构示意图。
图4中(a)为待修复图像，(b)为检测到的破损区二值图像，(c)为修复后图像。
图5中(a)为待修复图像，(b)为检测到的破损区二值图像，(c)为修复后图像。
具体实施方式
实施例一：
如图1至图3所示，本实施例提供的基于卷积和转换器混合网络的图像修复模型构建方法，包括以下步骤：
步骤1：利用数字设备采集墓葬壁画图像数据；采集的墓葬壁画图像包括完整的墓葬壁画和存在破损的墓葬壁画图像，对采集的墓葬壁画图像数据进行预处理，对带有破损区的墓葬壁画使用标注软件对破损区域进行人工标注，得到墓葬壁画检测模型数据集。将完好的墓葬壁画图像作为墓葬壁画修复模型的训练集和验证集。
步骤2：将步骤1中人工标记好的墓葬壁画数据集输入至墓葬壁画破损区检测模型进行训练，得到训练好的检测模型。
所述的墓葬壁画破损区检测模型用于实现如下流程：
步骤21，输入图像先经过多尺度特征提取网络得到5种不同尺度的特征向量，将尺度最小的三种特征向量送入特征金字塔中进行采样拼接；经过采样拼接后得到了5种尺寸不一的特征图。该步骤将多尺度特征提取网络和特征金字塔进行横向连接，利用特征金字塔自下而上的连接方式，将低层特征与深层特征进行融合，得到不同尺寸的特征。
步骤22，在预测阶段，基于锚的目标检测器(Prediction Head)一般包括分类层和回归层。本发明中的预测分支采用改进的基于锚的目标检测器，不仅包括分类层和回归层，还包括掩码系数层。分类层用于输出目标类别的置信度得分，回归层用于输出预测框结果，掩码系数层(Protonet)用于预测生成的K个掩码系数，每一个系数对应于每一个生成的原型。
将步骤21得到的特征金字塔网络的特征层结果作为预测分支的输入，通过共享卷积层的方式得到三组数据：对锚点所属类别、预测框的回归坐标和掩码系数。
步骤2中损失函数由3部分组成：
Loss＝Losscls+αLossbox+βLossmask 式I
其中，Losscls、Lossbox、Lossmask分别表示分类损失函数、预测框损失函数及掩码损失函数，α，β为权重系数。分类损失函数定义为交叉熵损失，预测框损失函数采用smoothL1损失函数，掩码损失函数定义为预测掩码和真值掩码(Mgt)之间的逐像素二进制交叉熵：
Lossmask＝BCE(M，Mgt) 式II
其中，BCE是指二元交叉熵损失函数，M是预测掩码，Mgt是真值掩码。
步骤3：利用步骤2得到的训练好的检测模型对有破损的墓葬壁画进行破损检测，并将检测结果转换成二值掩码图像，得到墓葬壁画的修复测试集图像。
步骤4：针对墓葬壁画破损区的特点，设计基于视觉特征转换器的破损修复模型。所述基于视觉特征转换器的破损修复模型由基于Transformer的结构纹理修复模型和内容填补模型构成。该模型利用Transformer的全局信息提取优势，恢复出墓葬壁画破损区的纹理结构，对纹理信息补全后，再利用深度卷积神经网络对墓葬壁画的缺失的内容信息进行填补。Transformer在图像修复领域相对于卷积神经网络来说，可以学习到更长程的序列数据间的交互关系，因此我们用Transformer来做整体的纹理结构修复。此外，为了克服Transformer的标准自注意力机制时间复杂度高的问题，我们在模块中交替使用了轴向注意力和标准注意力。
结构纹理修复模型采用了快速傅里叶卷积层进行频域的学习，结合由全卷积网络构成的结构特征编码器，来提升墓葬壁画的结构修复效果。
我们的损失函数主要由以下四部分构成：
loss＝αLl1+βLadv+γLfm+μLhrf式III
其中α，β，γ，μ为各个损失函数的权重，其中Lfm为特征匹配损失，Ladv由判别损失和生成损失构成，Lhrf为视觉损失。其中α＝10，β＝10，γ＝100，μ＝30。
步骤5：利用步骤1中得到的墓葬壁画修复数据集对基于视觉特征转换器的破损修复模型进行训练，得到墓葬壁画修复模型。
步骤6：利用步骤3得到的墓葬壁画测试集对训练好的基于卷积和转换器的混合网络检测修复模型进行测试，实现对墓葬壁画破损区的自动修复。
实施例二：
本实施例提供了一种基于卷积和转换器混合网络的图像修复模型构建装置，包括：
数据获取模块，用于获取墓葬壁画数据集，该数据集用于墓葬壁画破损检测模型训练、测试，以及墓葬壁画破损修复模型训练、测试；
墓葬壁画破损检测模型模块，用于对预处理后的墓葬壁画数据集进行训练，得到墓葬壁画破损区检测模型，该模型用于对输入的墓葬壁画图像进行破损区检测。并将检测结果自动输出为二值图，输出的检测结果和相应的二值图用于墓葬壁画破损区修复模型的修复；
墓葬壁画破损修复模型模块，用于对预处理后的未破损的墓葬壁画数据集进行训练，得到墓葬壁画破损区修复模型。该模型用于对输入的破损墓葬壁画图像和其相应的二值图像进行修复操作，得到修复好的墓葬壁画图像。
实施例三：
本实施例提供了一种基于卷积和转换器混合网络的图像修复方法，将待修复的墓葬壁画图像，输入至训练好的墓葬壁画检测模型，即可得到检测到的破损区图像和其相应的二值图像，再将破损区图像和二值图像输入至训练好的墓葬壁画修复模型，即可得到修复后的墓葬壁画图像；所述训练好的墓葬壁画检测模型和墓葬壁画修复模型通过本发明的基于卷积和转换器混合网络的图像修复模型构建方法得到。
实施例四：
本实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行计算机程序时实现本发明的基于卷积和转换器混合网络的图像修复模型构建方法。
实施例五：
本实施例提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，该程序指令可被处理器执行以实现本发明的基于卷积和转换器混合网络的图像修复模型构建方法。
上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品等等。
实验验证：
在本实施例中，将图4(a)和图5(a)所示的待修复图像输入至墓葬壁画破损区检测模型中，获得图4(b)和图5(b)检测到的破损区二值图像，其中图4(a)的检测结果为图4(b)，图5(a)的检测结果为图5(b)，将图4(b)和图5(b)所示的破损区二值图像输入至墓葬壁画破损区修复模型中，获得图4(c)和图5(c)修复后的墓葬壁画图像，其中图4(b)的修复结果为图4(c)，图5(b)的修复结果为图5(c)。
在本实验中使用墓葬壁画数据集，将本发明提供的检测方法与现有二阶段分割网络Mask R-CNN进行比较，在标注框bbox的平均精度AP、AP50、AP75、Aps、APm、APl上进行比较，该六项为评价coco数据集的主要指标，这几种衡量检测效果的指标对比见表1，其中AP越大代表正确率越高；将本发明提供的修复方法与现有技术中LAMA方法进行比较，在峰值信噪比PSNR、生成图像的多样性和质量FID这两种衡量修复效果的指标对比见表2，PSNR越大代表图像质量越好，FID越小意味着两个分布之间更接近，意味着生成图片的质量较高、多样性较好。
表1本发明中的检测方法与现有检测方法对比
| 方法 | AP↑ | AP50↑ | AP75↑ | Aps↑ | APm↑ | APl↑ |
| Mask R-CNN | 13.25 | 28.05 | 10.89 | 7.73 | 10.89 | 14.03 |
| 本方法 | 19.63 | 35.58 | 17.58 | 12.29 | 29.10 | 40.20 |
表2本发明中的修复方法与现有修复方法对比
| 方法 | FID↓ | PSNR↑ |
| LAMA | 33.11 | 30.34 |
| 本方法 | 27.50 | 37.95 |
实验结果表明，本发明所建模型在性能上优于现有技术方法，充分验证了本发明提出的方法的有效性和优越性。
Claims (8)
1.一种基于卷积和转换器混合网络的图像修复模型构建方法，其特征在于，包括以下步骤：
步骤1：利用数字设备采集墓葬壁画图像数据；采集的墓葬壁画图像包括完整的墓葬壁画和存在破损的墓葬壁画图像，对采集的墓葬壁画图像数据进行预处理，对带有破损区的墓葬壁画使用标注软件对破损区域进行人工标注，得到墓葬壁画检测模型数据集；将完好的墓葬壁画图像作为墓葬壁画修复模型的训练集和验证集；
步骤2：将步骤1中人工标记好的墓葬壁画数据集输入至墓葬壁画破损区检测模型进行训练，得到训练好的检测模型；
步骤3：利用步骤2得到的训练好的检测模型对有破损的墓葬壁画进行破损检测，并将检测结果转换成二值掩码图像，得到墓葬壁画的修复测试集图像；
步骤4：设计基于视觉特征转换器的破损修复模型，所述基于视觉特征转换器的破损修复模型由基于Transformer的结构纹理修复模型和内容填补模型构成；所述结构纹理修复模型采用了快速傅里叶卷积层进行频域的学习，结合由全卷积网络构成的结构特征编码器；
步骤5：利用步骤1中得到的墓葬壁画修复数据集对基于视觉特征转换器的破损修复模型进行训练，得到墓葬壁画修复模型；
步骤6：利用步骤3得到的墓葬壁画测试集对训练好的基于卷积和转换器的混合网络检测修复模型进行测试，实现对墓葬壁画破损区的自动修复。
2.如权利要求1所述的基于卷积和转换器混合网络的图像修复模型构建方法，其特征在于，所述步骤2中，所述的墓葬壁画破损区检测模型用于实现如下流程：
步骤21，输入图像先经过多尺度特征提取网络得到5种不同尺度的特征向量，将尺度最小的三种特征向量送入特征金字塔中进行采样拼接；经过采样拼接后得到了5种尺寸不一的特征图；该步骤将多尺度特征提取网络和特征金字塔进行横向连接，利用特征金字塔自下而上的连接方式，将低层特征与深层特征进行融合，得到不同尺寸的特征；
步骤22，在预测阶段，预测分支采用改进的基于锚的目标检测器，包括分类层和回归层、掩码系数层；所述分类层用于输出目标类别的置信度得分，所述回归层用于输出预测框结果，所述掩码系数层用于预测生成的K个掩码系数，每一个系数对应于每一个生成的原型；将步骤21得到的特征金字塔网络的特征层结果作为预测分支的输入，通过共享卷积层的方式得到三组数据：对锚点所属类别、预测框的回归坐标和掩码系数。
3.如权利要求1所述的基于卷积和转换器混合网络的图像修复模型构建方法，其特征在于，所述步骤2中，损失函数由3部分组成：
Loss＝Losscls+αLossbox+βLossmask
其中，Losscls、Lossbox、Lossmask分别表示分类损失函数、预测框损失函数及掩码损失函数，α，β为权重系数；分类损失函数为交叉熵损失，预测框损失函数采用smoothL1损失函数，掩码损失函数为预测掩码和真值掩码之间的逐像素二进制交叉熵：
Lossmask＝BCE(M,Mgt)
其中，BCE是指二元交叉熵损失函数，M是预测掩码，Mgt是真值掩码。
4.如权利要求1所述的基于卷积和转换器混合网络的图像修复模型构建方法，其特征在于，所述步骤4中，损失函数由以下四部分构成：
loss＝αLl1+βLadv+γLfm+μLhrf式Ⅲ
其中α，β，γ，μ为各个损失函数的权重,其中Lfm为特征匹配损失，Ladv由判别损失和生成损失构成，Lhrf为视觉损失；其中α＝10，β＝10，γ＝100，μ＝30。
5.一种基于卷积和转换器混合网络的图像修复模型构建装置，其特征在于，包括：
数据获取模块，用于获取墓葬壁画数据集；
墓葬壁画破损检测模型模块，用于对预处理后的墓葬壁画数据集进行训练，得到墓葬壁画破损区检测模型，该模型用于对输入的墓葬壁画图像进行破损区检测；并将检测结果自动输出为二值图，输出的检测结果和相应的二值图用于墓葬壁画破损区修复模型的修复；
墓葬壁画破损修复模型模块，用于对预处理后的未破损的墓葬壁画数据集进行训练，得到墓葬壁画破损区修复模型；该模型用于对输入的破损墓葬壁画图像和其相应的二值图像进行修复操作，得到修复好的墓葬壁画图像。
6.一种基于深度卷积和视觉转换器混合网络的图像修复方法，其特征在于，将待修复的墓葬壁画图像，输入至训练好的墓葬壁画检测模型，得到检测到的破损区图像和其相应的二值图像，再将破损区图像和二值图像输入至训练好的墓葬壁画修复模型，得到修复后的墓葬壁画图像；所述训练好的墓葬壁画检测模型和墓葬壁画修复模型通过权利要求1～4任一项所述的基于卷积和转换器混合网络的图像修复模型构建方法得到。
7.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现权利要求1～4任一项所述的基于卷积和转换器混合网络的图像修复模型构建方法。
8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质用于存储程序指令，该程序指令可被处理器执行以实现权利要求1～4任一项所述的基于卷积和转换器混合网络的图像修复模型构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310256040.1A CN116309155A (zh) | 2023-03-08 | 2023-03-08 | 基于卷积和转换器混合网络的图像修复方法、模型和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310256040.1A CN116309155A (zh) | 2023-03-08 | 2023-03-08 | 基于卷积和转换器混合网络的图像修复方法、模型和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309155A true CN116309155A (zh) | 2023-06-23 |
Family
ID=86821955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310256040.1A Pending CN116309155A (zh) | 2023-03-08 | 2023-03-08 | 基于卷积和转换器混合网络的图像修复方法、模型和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309155A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681980A (zh) * | 2023-07-31 | 2023-09-01 | 北京建筑大学 | 基于深度学习的大缺失率图像修复方法、装置和存储介质 |
| CN117474806A (zh) * | 2023-12-26 | 2024-01-30 | 松立控股集团股份有限公司 | 一种基于全局结构编码的全景图像修复方法 |
-
2023
- 2023-03-08 CN CN202310256040.1A patent/CN116309155A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681980A (zh) * | 2023-07-31 | 2023-09-01 | 北京建筑大学 | 基于深度学习的大缺失率图像修复方法、装置和存储介质 |
| CN116681980B (zh) * | 2023-07-31 | 2023-10-20 | 北京建筑大学 | 基于深度学习的大缺失率图像修复方法、装置和存储介质 |
| CN117474806A (zh) * | 2023-12-26 | 2024-01-30 | 松立控股集团股份有限公司 | 一种基于全局结构编码的全景图像修复方法 |
| CN117474806B (zh) * | 2023-12-26 | 2024-04-12 | 松立控股集团股份有限公司 | 一种基于全局结构编码的全景图像修复方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116309155A (zh) | 基于卷积和转换器混合网络的图像修复方法、模型和装置 | |
| CN110533086B (zh) | 图像数据半自动标注方法 | |
| CN114548278A (zh) | 基于深度学习的在役隧道衬砌结构缺陷识别方法及*** | |
| CN113191374B (zh) | 基于金字塔注意力网络的PolSAR图像山脊线提取方法 | |
| CN108346144A (zh) | 基于计算机视觉的桥梁裂缝自动监测与识别方法 | |
| CN109978872B (zh) | 基于白质纤维束的白质微结构特征筛选***及方法 | |
| CN112967255A (zh) | 一种基于深度学习的盾构管片缺陷类型识别及定位***及其方法 | |
| CN111161224A (zh) | 基于深度学习的铸件内部缺陷分级评估***及方法 | |
| CN108008006A (zh) | 一种焊缝缺陷检测方法、装置、设备及*** | |
| CN113792667A (zh) | 基于三维遥感影像进行村镇建筑性质自动分类方法及装置 | |
| CN107247927A (zh) | 一种基于缨帽变换的遥感图像海岸线信息提取方法及*** | |
| CN111626358B (zh) | 一种基于bim图片识别的隧道围岩分级方法 | |
| CN111414954A (zh) | 一种岩石图像检索方法及其*** | |
| CN114139968A (zh) | 基于人工智能与知识图谱的电动列车装备检修实训考评*** | |
| CN111724358A (zh) | 基于图像和卷积神经网络的混凝土质量检测方法及*** | |
| CN111104850A (zh) | 一种基于残差网络的遥感影像建筑物自动提取方法和*** | |
| CN113506239A (zh) | 一种基于跨阶段局部网络的带钢表面缺陷检测方法 | |
| Bruno et al. | Decay detection in historic buildings through image-based deep learning | |
| CN111951289A (zh) | 一种基于BA-Unet的水下声呐图像数据分割方法 | |
| CN110728269A (zh) | 一种高铁接触网支柱杆号牌识别方法 | |
| CN106960433A (zh) | 一种基于图像熵以及边缘的全参考声纳图像质量评测方法 | |
| CN112966698A (zh) | 基于轻量化卷积网络的淡水鱼图像实时识别方法 | |
| CN117132894A (zh) | 一种基于时序遥感影像的露天煤矿区生态损伤区识别方法 | |
| CN115638731B (zh) | 一种基于超分辨率的振动台试验计算机视觉位移测量方法 | |
| CN116342542A (zh) | 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |