CN116542880B - 图像自动修复方法、***、存储介质及电子设备 - Google Patents
图像自动修复方法、***、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116542880B CN116542880B CN202310814913.6A CN202310814913A CN116542880B CN 116542880 B CN116542880 B CN 116542880B CN 202310814913 A CN202310814913 A CN 202310814913A CN 116542880 B CN116542880 B CN 116542880B
- Authority
- CN
- China
- Prior art keywords
- image
- repaired
- deblurred
- restoration
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000008439 repair process Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims description 19
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 23
- 230000006870 function Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请提供一种图像自动修复方法、***、存储介质及电子设备，所述图像自动修复方法包括：对原始图像进行处理，获取待修复图像；判断所述待修复图像的问题类型；对所述待修复图像进行显著性目标检测，以获取对应的掩码；判断所述待修复图像的掩码中数据值为1的个数是否大于掩码中数据总数的预设比值；若是，则为结构化问题；反之，为非结构化问题；根据所述问题类型自动选择对应的修复模型，并对所述待修复图像进行修复，以获取重建图像。本申请通过一种图像自动修复方法及***，可以根据图像的问题类型自动选择对应的修复模型进行图像修复，避免了需要人工判断图像的问题类型以进行修复，大大提高了图像的修复效率，降低了人工成本。
Description
技术领域
本申请涉及图像处理技术，涉及基于多种深度学习模型的图像修复，尤其是涉及一种图像自动修复方法、***、存储介质及电子设备。
背景技术
图像修复(Image Inpainting)指恢复图像损失的部分并且基于背景信息将它们重建，旨在恢复残缺图像中损坏部分的像素特征，在许多计算机视觉应用领域中发挥关键作用。
图像修复一般分为结构化问题和非结构化问题，结构化问题如折痕、斑点、缺块和人脸模糊等，非结构化问题如模糊、噪声、低分辨率等。
传统的图像处理方法往往只能针对特定的问题进行修复，而且效果也不尽如人意，比如，想要修复折痕，就得选择折痕模型来进行修复，模型无法判断是否应该修复折痕，需要人工干预。因此，需要一种全方位的图像处理方法，能够同时解决多种问题。
发明内容
本申请的目的在于提供一种图像自动修复方法、***、存储介质及电子设备，用于解决现有技术中需要通过人工确定图像修复类型导致图像修复的效率低且人工成本较高的问题。
第一方面，本申请提供一种图像自动修复方法，所述图像自动修复方法包括：对原始图像进行预处理，获取待修复图像；判断所述待修复图像的问题类型；包括：对所述待修复图像进行显著性目标检测，以获取对应的掩码；判断所述待修复图像的掩码中数据值为1的个数是否大于掩码中数据总数的预设比值；若是，则所述待修复图像的问题类型为结构化问题；反之，所述待修复图像的问题类型为非结构化问题；根据所述问题类型自动选择对应的修复模型，并对所述待修复图像进行修复，以获取重建图像。
在第一方面的一种实现方式中，所述对原始图像进行预处理，获取待修复图像包括：对所述原始图像进行去模糊处理，获取去模糊图像；对所述去模糊图像进行人脸检测，获取所述待修复图像。
在第一方面的一种实现方式中，所述对所述原始图像进行去模糊处理，获取去模糊图像包括：获取所述原始图像的方差；判断所述原始图像的方差是否小于第一预设值；若所述原始图像的方差小于所述第一预设值，则将所述原始图像进行去模糊操作，以获取所述去模糊图像；若所述原始图像的方差不小于所述第一预设值，则所述原始图像即为所述去模糊图像。
在第一方面的一种实现方式中，所述对所述去模糊图像进行人脸检测，获取所述待修复图像包括：对所述去模糊图像进行人脸检测；若检测到人脸信息，则对所述去模糊图像进行人脸增强，并将所述去模糊图像的背景与增强后的人脸进行融合，以获取所述待修复图像；若未检测到人脸信息，则所述去模糊图像即为所述待修复图像。
在第一方面的一种实现方式中，所述根据所述问题类型自动选择对应的修复模型，并对所述待修复图像进行修复，以获取重建图像包括：当所述待修复图像的问题类型为结构化类型时，将所述待修复图像和与之对应的掩码共同输入AOT-GAN模型进行图像恢复，以获取重建图像；当所述待修复图像的问题类型为非结构化问题时，将所述待修复图像输入NAFNet模型进行图像恢复，以获取重建图像。
第二方面，本申请提供一种图像自动修复***，所述图像自动修复***包括：预处理模块，用于对原始图像进行预处理，获取待修复图像；判断模块，用于判断所述待修复图像的问题类型；包括：对所述待修复图像进行显著性目标检测，以获取对应的掩码；判断所述待修复图像的掩码中数据值为1的个数是否大于掩码中数据总数的预设比值；若是，则所述待修复图像的问题类型为结构化问题；反之，所述待修复图像的问题类型为非结构化问题；图像修复模块，用于根据所述问题类型自动选择对应的修复模型，并对所述待修复图像进行修复，以获取重建图像。
在第二方面的一种实现方式中，所述预处理模块包括：第一预处理模块和第二预处理模块；所述第一预处理模块用于对所述原始图像进行去模糊处理，获取去模糊图像；所述第二预处理模块用于对所述去模糊图像进行人脸修复，获取所述待修复图像。
第三方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被电子设备执行时实现本申请第一方面任一项所述的图像自动修复方法。
第四方面，本申请提供一种电子设备，包括：处理器和存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行本申请第一方面任一项所述的图像自动修复方法。
如上所述，本申请所述的图像自动修复方法、***、存储介质及电子设备，具有以下有益效果：
本申请通过一种图像自动修复方法及***，可以根据图像的问题类型自动选择对应的修复模型进行图像修复，避免了需要人工判断图像的问题类型以进行修复，大大提高了图像的修复效率，降低了人工成本。
附图说明
图1显示为本申请的电子设备于一实施例中的场景示意图。
图2显示为本申请实施例所述的图像自动修复方法的流程示意图。
图3显示为本申请实施例所述的图像自动修复方法的另一流程示意图。
图4显示为本申请实施例所述的图像自动修复***的结构示意图。
图5显示为本申请实施例所述的电子设备的结构示意图。
元件标号说明
| 11 | 手机 |
| 12 | 平板电脑 |
| 13 | 笔记本电脑 |
| 100 | 图像自动修复*** |
| 10 | 预处理模块 |
| 101 | 第一预处理模块 |
| 102 | 第二预处理模块 |
| 20 | 判断模块 |
| 30 | 图像修复模块 |
| 51 | 处理单元 |
| 52 | 存储器 |
| 521 | 随机存取存储器 |
| 522 | 高速缓存存储器 |
| 523 | 存储*** |
| 524 | 程序/实用工具 |
| 5251 | 程序模块 |
| 53 | 总线 |
| 54 | 输入/输出接口 |
| 551 | 网络适配器 |
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本申请以下实施例提供了图像自动修复方法，其可应用于如图1所示的电子设备。本申请中所述电子设备可以包括具备无线充电功能的手机11、平板电脑12、笔记本电脑13、可穿戴设备、车载设备、增强现实(Augmented Reality，AR)/虚拟现实(Virtual Reality，VR)设备、超级移动个人计算机(Ultra-Mobile Personal Computer，UMPC)、上网本、个人数字助理(Personal Digital Assistant，PDA)等，本申请实施例对电子设备的具体类型不作任何限制。
例如，电子设备可以是具备无线充电功能的 WLAN 中的站点(STAION，ST)，可以是具备无线充电功能的蜂窝电话、无绳电话、会话启动协议(Session InitiationProtocol，SIP)电话、无线本地环路(WirelessLocal Loop，WLL)站、个人数字处理(Personal DigitalAssistant，PDA)设备、具备无线充电功能的手持设备、计算设备或其它处理设备、电脑、膝上型计算机、手持式通信设备、手持式计算设备、和/或用于在无线***上进行通信的其它设备以及下一代通信***，例如，5G 网络中的移动终端、未来演进的公共陆地移动网络(PublicLand Mobile Network，PLMN)中的移动终端或者未来演进的非地面网络（Non-terrestrial Network，NTN）中的移动终端等。
例如，电子设备可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(GlobalSystem of Mobilecommunication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service，SMS)、BT，GNSS，WLAN，NFC，FM，和/或 IR 技术等。 GNSS 可以包括全球卫星定位*** (Global Positioning System，GPS)，全球导航卫星***(GlobalNavigation Satellite System，GLONASS)，北斗卫星导航***(BeiDou navigationSatellite System，BDS)，准天顶卫星***(Quasi-Zenith Satellite System，QZSS)和/或星基增强***(Satellite Based Augmentation Systems，SBAS)。
下面，结合本申请实施例中的附图对本申请实施例进行描述。
如图2和图3所示，本申请的图像自动修复方法包括：
S1、对原始图像进行预处理，获取待修复图像。
具体地，本申请的电子设备从图像采集装置、网络等获取原始图像。其中，图像采集装置与电子设备可采用有线或无线方式通信连接。
于一实施例中，对原始图像进行预处理，获取待修复图像包括以下步骤：
S11、对原始图像进行去模糊处理，获取去模糊图像。
具体地，获取原始图像的方差；判断原始图像的方差是否小于第一预设值；若原始图像的方差小于第一预设值，则将原始图像进行去模糊操作，以获取去模糊图像；若原始图像的方差不小于第一预设值，则原始图像即为去模糊图像。
优选地，采用Laplacian算法获取原始图像的方差：将原始图片转换为灰度图像后，使用OpenCV库中的Laplacian函数对灰度图像进行处理，并得到处理后的结果，利用处理后的结果获取原始图像的方差。优选地，可以采用NumPy库中的var函数来计算方差。
于一实施例中，设置第一预设值为96，则，若原始图像的方差小于96，则判定原始图像为模糊图片，需要经过去模糊处理；若原始图像的方差不小于96，则原始图像清晰，不需要经过去模糊处理，即可作为去模糊图像。优选地，使用SwinIR对原始图像进行去模糊操作。
需要说明的是，第一预设值并非唯一值，可根据实际应用需求进行调整。
S12、对去模糊图像进行人脸检测，获取待修复图像。
具体地，对去模糊图像进行人脸检测。优选地，通过RetinaFace进行人脸检测。
需要说明的是，RetinaFace是一种基于深度学习的人脸检测算法，它可以自动检测图像中的人脸，并在图像中寻找与目标人脸相似的区域。
具体地，若检测到人脸，则对去模糊图像进行人脸增强，并将去模糊图像的背景与增强后的人脸进行融合，以获取待修复图像；若未检测到人脸，则去模糊图像即为待修复图像。优选地，通过GPEN执行人脸增强。
于一实施例中，若检测到人脸，使用OpenCV中的dnn模块或者基于深度学习的face_recognition库检测出去模糊图像中的人脸图像的关键点，并计算出仿射变换矩阵，然后将仿射变换矩阵应用到增强后的人脸图像中，以使增强后的人脸图像与去模糊图像匹配，并获取待修复图像。
S2、判断待修复图像的问题类型。
具体地，于一实施例中，判断待修复图像的问题类型包括以下步骤：
S21、对待修复图像进行显著性目标检测，以获取对应的掩码。
具体地，于一实施例中，使用cv2.imread()函数加载待修复图像，并调整待修复图像的大小以适应模型输入，然后将待输入图像转换为Tensor格式，使用torch.load()函数加载U2Net模型，并将转换后的待修复图像输入到U2Net模型中进行预测。得到预测结果后，将其转换为二值化mask（掩码）。
S22、判断待修复图像的掩码中数据值为1的个数是否大于掩码中数据总数的预设比值；若是，则待修复图像的问题类型为结构化问题；反之，待修复图像的问题类型为非结构化问题。
优选地，于一实施例中，设置预设比值为30%，即，若待修复图像的掩码中数据值为1的个数大于掩码中数据总数的30%，则待修复图像的问题类型为结构化问题，反之，待修复图像的问题类型为非结构化问题。
需要说明的是，预设比值并非唯一值，可根据实际应用需求进行修改和调整。
可选的，于另一实施例中，判断待修复图像的问题类型包括以下步骤：
S21’、基于视觉变换网络判断待修复图像是否包含结构化问题；若是，则待修复图像的问题类型为结构化问题；反之，待修复图像的问题类型为非结构化问题。
具体地，于一实施例中，使用torch.load()函数加载VIT模型，并将经过处理的待修复图像输入VIT模型中进行计算，使用cv2.imshow()函数输出待修复图像的问题结果。
S3、根据问题类型自动选择对应的修复模型，并对待修复图像进行修复，以获取重建图像。
需要说明的是，图像的问题类型分为：结构化问题和非结构化问题；其中结构化问题包括折痕、斑点、缺失和人脸模糊等；非结构化问题包括模糊、噪声和分辨率低等。
具体地，当待修复图像的问题类型为结构化问题时，将待修复图像和与之对应的掩码共同输入AOT-GAN模型进行图像恢复，以获取重建图像。
于一实施例中，将包含掩码的待修复图像转换为图像数据集并进行预处理，将经过预处理的图像数据集输入AOT-GAN模型中以对AOT-GAN模型进行训练，训练时需要将包含掩码的待修复图像以及对应的掩码输入到AOT-GAN模型中；利用训练好的AOT-GAN模型对待修复图像进行修复。
具体地，当待修复图像的问题类型为非结构化问题时，将待修复图像输入NAFNet模型进行图像恢复，以获取重建图像。
需要说明的是，本申请所述的图像自动修复方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本申请的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本申请的保护范围内。
请参阅图4，显示为本申请实施例所述的图像自动修复***的结构示意图。
如图4所示，图像自动修复***100包括：预处理模块10、判断模块20和图像修复模块30。
预处理模块10用于对原始图像进行预处理，获取待修复图像。
具体地，本申请的电子设备从图像采集装置、网络等获取原始图像。其中，图像采集装置与电子设备可采用有线或无线方式通信连接。
进一步地，于一实施例中，预处理模块10包括：第一预处理模块101和第二预处理模块102；第一预处理模块101用对原始图像进行去模糊处理，获取去模糊图像；第二预处理模块102用于对去模糊图像进行人脸检测，获取待修复图像。
于一实施例中，对原始图像进行去模糊处理，获取去模糊图像包括：获取原始图像的方差；判断原始图像的方差是否小于第一预设值；若原始图像的方差小于第一预设值，则将原始图像进行去模糊操作，以获取去模糊图像；若原始图像的方差不小于第一预设值，则原始图像即为去模糊图像。
优选地，采用Laplacian算法获取原始图像的方差：将原始图片转换为灰度图像后，使用OpenCV库中的Laplacian函数对灰度图像进行处理，并得到处理后的结果，利用处理后的结果获取原始图像的方差。优选地，可以采用NumPy库中的var函数来计算方差。
于一实施例中，对去模糊图像进行人脸检测，获取待修复图像包括：对去模糊图像进行人脸检测，若检测到人脸，则对去模糊图像进行人脸增强，并将去模糊图像的背景与增强后的人脸进行融合，以获取待修复图像；若未检测到人脸，则去模糊图像即为待修复图像。优选地，通过RetinaFace进行人脸检测，通过GPEN执行人脸增强。
需要说明的是，RetinaFace是一种基于深度学习的人脸检测算法，它可以自动检测图像中的人脸，并在图像中寻找与目标人脸相似的区域。判断模块20用于判断待修复图像的问题类型。
具体地，于一实施例中，判断待修复图像的问题类型包括：
对待修复图像进行显著性目标检测，以获取对应的掩码；判断待修复图像的掩码中数据值为1的个数是否大于掩码中数据总数的预设比值；若是，则待修复图像的问题类型为结构化问题；反之，待修复图像的问题类型为非结构化问题。
具体地，使用cv2.imread()函数加载待修复图像，并调整待修复图像的大小以适应模型输入，然后将待输入图像转换为Tensor格式，使用torch.load()函数加载U2Net模型，并将转换后的待修复图像输入到U2Net模型中进行预测。得到预测结果后，将其转换为二值化mask（掩码）。
优选地，设置预设比值为30%，即，若待修复图像的掩码中数据值为1的个数大于掩码中数据总数的30%，则待修复图像的问题类型为结构化问题，反之，待修复图像的问题类型为非结构化问题。
需要说明的是，预设比值并非唯一值，可根据实际应用需求进行修改和调整。
可选的，于另一实施例中，判断待修复图像的问题类型包括：
基于视觉变换网络判断待修复图像是否包含结构化问题；若是，则待修复图像的问题类型为结构化问题；反之，待修复图像的问题类型为非结构化问题。
具体地，于一实施例中，使用torch.load()函数加载VIT模型，并将经过处理的待修复图像输入VIT模型中进行计算，使用cv2.imshow()函数输出待修复图像的问题结果。
图像修复模块30用于根据问题类型自动选择对应的修复模型，并对待修复图像进行修复，以获取重建图像。
具体地，当待修复图像的问题类型为结构化问题时，将待修复图像和与之对应的掩码共同输入AOT-GAN模型进行图像恢复，以获取重建图像；当待修复图像的问题类型为非结构化问题时，将待修复图像输入NAFNet模型进行图像恢复，以获取重建图像。
于一实施例中，将包含掩码的待修复图像转换为图像数据集并进行预处理，将经过预处理的图像数据集输入AOT-GAN模型中以对AOT-GAN模型进行训练，训练时需要将包含掩码的待修复图像以及对应的掩码输入到AOT-GAN模型中；利用训练好的AOT-GAN模型对待修复图像进行修复。
需要说明的是，应理解以上各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)，或，一个或多个微处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammableGateArray，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessingUnit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，简称SOC)的形式实现。
本申请实施例还提供了一种计算机可读存储介质。本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性（non-transitory）介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带（magnetictape），软盘（floppy disk），光盘（optical disc）及其任意组合。上述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如数字视频光盘（digital video disc，DVD））、或者半导体介质（例如固态硬盘（solid state disk，SSD））等。
本申请实施例还提供一种电子设备，包括：处理器和存储器。
具体地，存储器用于存储计算机程序；存储器包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
处理器用于执行存储器存储的计算机程序，以使电子设备执行上述的图像自动修复方法。
优选地，处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图5所示，本发明的电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器或者处理单元51，存储器52，连接不同***组件（包括存储器52和处理单元51）的总线53。
总线53表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及***组件互连（PCI）总线。
电子设备典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器52可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器（RAM）521和/或高速缓存存储器522。电子设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***523可以用于读写不可移动的、非易失性磁介质（图5未显示，通常称为“硬盘驱动器”）。尽管图5中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM ，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线53相连。存储器52可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块5251的程序/实用工具524，可以存储在例如存储器52中，这样的程序模块5251包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块5251通常执行本发明所描述的实施例中的功能和/或方法。
电子设备也可以与一个或多个外部设备（例如键盘、指向设备、显示器等）通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口54进行。并且，电子设备还可以通过网络适配器55与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图5所示，网络适配器55通过总线53与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
上述各个附图对应的流程或结构的描述各有侧重，某个流程或结构中没有详述的部分，可以参见其他流程或结构的相关描述。
综上所述，本申请通过一种图像自动修复方法及***，可以根据图像的问题类型自动选择对应的修复模型进行图像修复，避免了需要人工判断图像的问题类型以进行修复，大大提高了图像的修复效率，降低了人工成本。故，本申请有效克服了现有技术中的种种缺点而具有高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (7)
1.一种图像自动修复方法，其特征在于，所述方法包括：
对原始图像进行预处理，获取待修复图像；包括：对所述原始图像进行去模糊操作，获取去模糊图像；对所述去模糊图像进行人脸检测，获取所述待修复图像；包括：对检测到人脸的所述去模糊图像进行人脸增强，并将所述去模糊图像的背景与增强后的人脸进行融合，以获取所述待修复图像；
判断所述待修复图像的问题类型；包括：对所述待修复图像进行显著性目标检测，以获取对应的掩码；判断所述待修复图像的掩码中数据值为1的个数是否大于掩码中数据总数的预设比值；若是，则所述待修复图像的问题类型为结构化问题；反之，所述待修复图像的问题类型为非结构化问题；所述结构化问题包括折痕、斑点、缺失和人脸模糊；所述非结构化问题包括：模糊、噪声、分辨率低；
根据所述问题类型自动选择对应的修复模型，并对所述待修复图像进行修复，以获取重建图像。
2.根据权利要求1所述的图像自动修复方法，其特征在于，所述对所述原始图像进行去模糊处理，获取去模糊图像包括：
获取所述原始图像的方差；
判断所述原始图像的方差是否小于第一预设值；若所述原始图像的方差小于所述第一预设值，则将所述原始图像进行去模糊操作，以获取所述去模糊图像；若所述原始图像的方差不小于所述第一预设值，则所述原始图像即为所述去模糊图像。
3.根据权利要求1所述的图像自动修复方法，其特征在于，所述对所述去模糊图像进行人脸检测，获取所述待修复图像还包括：
对所述去模糊图像进行人脸检测；
若未检测到人脸，则所述去模糊图像即为所述待修复图像。
4.根据权利要求1所述的图像自动修复方法，其特征在于，所述根据所述问题类型自动选择对应的修复模型，并对所述待修复图像进行修复，以获取重建图像包括：
当所述待修复图像的问题类型为结构化问题时，将所述待修复图像和与之对应的掩码共同输入AOT-GAN模型进行图像恢复，以获取重建图像；
当所述待修复图像的问题类型为非结构化问题时，将所述待修复图像输入NAFNet模型进行图像恢复，以获取重建图像。
5.一种图像自动修复***，其特征在于，所述图像自动修复***包括：
预处理模块，用于根据原始图像获取待修复图像；包括：对所述原始图像进行去模糊操作，获取去模糊图像；对所述去模糊图像进行人脸检测，获取所述待修复图像；包括：对检测到人脸的所述去模糊图像进行人脸增强，并将所述去模糊图像的背景与增强后的人脸进行融合，以获取所述待修复图像；
判断模块，用于判断所述待修复图像的问题类型；包括：对所述待修复图像进行显著性目标检测，以获取对应的掩码；判断所述待修复图像的掩码中数据值为1的个数是否大于掩码中数据总数的预设比值；若是，则所述待修复图像的问题类型为结构化问题；反之，所述待修复图像的问题类型为非结构化问题；所述结构化问题包括折痕、斑点、缺失和人脸模糊；所述非结构化问题包括：模糊、噪声、分辨率低；
图像修复模块，用于根据所述问题类型自动选择对应的修复模型，并对所述待修复图像进行修复，以获取重建图像。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被电子设备执行时实现权利要求1至4中任一项所述的图像自动修复方法。
7.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行权利要求1至4任一项所述的图像自动修复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310814913.6A CN116542880B (zh) | 2023-07-05 | 2023-07-05 | 图像自动修复方法、***、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310814913.6A CN116542880B (zh) | 2023-07-05 | 2023-07-05 | 图像自动修复方法、***、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116542880A CN116542880A (zh) | 2023-08-04 |
| CN116542880B true CN116542880B (zh) | 2023-10-20 |
Family
ID=87456395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310814913.6A Active CN116542880B (zh) | 2023-07-05 | 2023-07-05 | 图像自动修复方法、***、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116542880B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507137A (zh) * | 2017-07-14 | 2017-12-22 | 深圳前海城市宠儿网络科技有限公司 | 一种图像修复方法及*** |
| CN109584178A (zh) * | 2018-11-29 | 2019-04-05 | 腾讯科技（深圳）有限公司 | 图像修复方法、装置和存储介质 |
| CN111369572A (zh) * | 2020-02-28 | 2020-07-03 | 清华大学深圳国际研究生院 | 一种基于图像修复技术的弱监督语义分割方法和装置 |
| CN112037109A (zh) * | 2020-07-15 | 2020-12-04 | 北京神鹰城讯科技股份有限公司 | 一种改进的基于显著性目标检测的图像水印添加方法和*** |
| CN112837234A (zh) * | 2021-01-25 | 2021-05-25 | 重庆师范大学 | 一种基于多列门控卷积网络的人脸图像修复方法 |
| CN115760616A (zh) * | 2022-11-16 | 2023-03-07 | 中国农业银行股份有限公司 | 一种人体点云修复方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070177800A1 (en) * | 2006-02-02 | 2007-08-02 | International Business Machines Corporation | Method and apparatus for maintaining a background image model in a background subtraction system using accumulated motion |
-
2023
- 2023-07-05 CN CN202310814913.6A patent/CN116542880B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507137A (zh) * | 2017-07-14 | 2017-12-22 | 深圳前海城市宠儿网络科技有限公司 | 一种图像修复方法及*** |
| CN109584178A (zh) * | 2018-11-29 | 2019-04-05 | 腾讯科技（深圳）有限公司 | 图像修复方法、装置和存储介质 |
| CN111369572A (zh) * | 2020-02-28 | 2020-07-03 | 清华大学深圳国际研究生院 | 一种基于图像修复技术的弱监督语义分割方法和装置 |
| CN112037109A (zh) * | 2020-07-15 | 2020-12-04 | 北京神鹰城讯科技股份有限公司 | 一种改进的基于显著性目标检测的图像水印添加方法和*** |
| CN112837234A (zh) * | 2021-01-25 | 2021-05-25 | 重庆师范大学 | 一种基于多列门控卷积网络的人脸图像修复方法 |
| CN115760616A (zh) * | 2022-11-16 | 2023-03-07 | 中国农业银行股份有限公司 | 一种人体点云修复方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 一种改进的基于K-SVD字典的图像修复算法;黄江林;刘红;陶少杰;;《安徽大学学报(自然科学版)》;第37卷(第03期);第69-74页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116542880A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583097A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| WO2020098422A1 (zh) | 编码图案的处理方法和装置、存储介质、电子装置 | |
| CN111989711B (zh) | 基于自适应前景掩模上采样在彩色图像帧序列中进行对象分割 | |
| CN112949767B (zh) | 样本图像增量、图像检测模型训练及图像检测方法 | |
| CN109658346B (zh) | 图像修复方法、装置、计算机可读存储介质及电子设备 | |
| CN115294025A (zh) | 缺陷检测方法及装置、电子设备和存储介质 | |
| CN110796624B (zh) | 一种图像生成方法、装置及电子设备 | |
| CN112714321B (zh) | 压缩视频处理方法、装置、设备及计算机可读存储介质 | |
| CN115482186A (zh) | 瑕疵检测方法、电子设备及存储介质 | |
| CN113888635B (zh) | 视觉定位方法、相关装置 | |
| CN116542880B (zh) | 图像自动修复方法、***、存储介质及电子设备 | |
| CN108810319B (zh) | 图像处理装置和图像处理方法 | |
| CN113129298A (zh) | 文本图像的清晰度识别方法 | |
| CN111127616B (zh) | 一种渲染校验方法及装置 | |
| CN116596903A (zh) | 缺陷识别方法、装置、电子设备及可读存储介质 | |
| CN116188917A (zh) | 缺陷数据生成模型训练方法、缺陷数据生成方法及装置 | |
| CN116309158A (zh) | 网络模型的训练方法、三维重建方法、装置、设备和介质 | |
| CN118229586A (zh) | 目标破损图像补全方法、***、存储介质及电子设备 | |
| CN116092087B (zh) | Ocr识别方法、***、存储介质及电子设备 | |
| CN116912353B (zh) | 多任务图像处理方法、***、存储介质及电子设备 | |
| CN116630633B (zh) | 语义分割自动标注方法、***、存储介质及电子设备 | |
| CN116701708B (zh) | 多模态增强的视频分类方法、***、存储介质及电子设备 | |
| CN117935027A (zh) | 摄像头异常检测方法、***、存储介质及电子设备 | |
| CN117876948A (zh) | 船只靠泊后人数检测方法、***、存储介质及电子设备 | |
| CN110705336A (zh) | 图像处理方法、***、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 301ab, No.10, Lane 198, zhangheng Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai 201204 Patentee after: Shanghai Mido Technology Co.,Ltd. Address before: Room 301ab, No.10, Lane 198, zhangheng Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai 201204 Patentee before: SHANGHAI MDATA INFORMATION TECHNOLOGY Co.,Ltd. |