CN117392015A - 一种图像修复方法、装置、计算机设备及存储介质 - Google Patents
一种图像修复方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117392015A CN117392015A CN202311335065.7A CN202311335065A CN117392015A CN 117392015 A CN117392015 A CN 117392015A CN 202311335065 A CN202311335065 A CN 202311335065A CN 117392015 A CN117392015 A CN 117392015A
- Authority
- CN
- China
- Prior art keywords
- image
- restoration
- size
- cutting
- circumscribed rectangle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 5
- 238000009966 trimming Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000004422 calculation algorithm Methods 0.000 abstract description 6
- 230000008439 repair process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像修复方法、装置、计算机设备及存储介质，该方法包括：获取待修复图像及其掩膜图像，提取掩膜图像的最小外接矩形；获取计算机的存储信息，设置最大可运行图像尺寸；将最小外接矩形的尺寸与最大可运行图像尺寸进行比较，根据比较结果对最小外接矩形进行调整，得到裁切坐标；分别对待修复图像和掩膜图像进行裁切，得到裁切图像；将裁切图像输入至图像修复模型中，并由图像修复模型输出修复结果图像，然后将修复结果图像填充至所述待修复图像中。本发明根据实际可用的计算机资源进行图像调整，使得图像修复模型在部署运行时不会受到输入尺寸影响，从而在不影响模型算法效果的前提下，稳定且快速地运行算法模型，实现图像修复。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像修复方法、装置、计算机设备及存储介质。
背景技术
图像修复是指对图像进行分析、加工、和处理，使其满足视觉、心理以及其他要求的技术。图像修复是信号处理在图像域上的一个应用。大多数的图像是以数字形式存储，因而图像修复很多情况下指数字图像修复。当前存在多种图像修复模型，每一种图像修复模型的修复效果(例如准确度、修复效率、修复成本等)也不尽相同。并且图像修复模型对运行设备的算力要求很高，例如由于可能受到计算机的存储资源影响，相同的图像修复模型模型运行在不同算力的计算机上所输出的结果可能并不相同。因此如何确保图像修复模型在不同算力的计算机所产生的修复结果一致，避免受到算力设备自身存储资源的影响，是本领域技术人员需要解决的问题。
发明内容
本发明实施例提供了一种图像修复方法、装置、计算机设备及存储介质，旨在达到图像修复模型在不同算力的计算机下输出结果一致的效果，避免图像修复过程受到计算机的存储资源影响。
第一方面，本发明实施例提供了一种图像修复方法，包括：
获取待修复图像及其掩膜图像，并提取所述掩膜图像的最小外接矩形；
获取计算机的存储信息，并根据所述存储信息设置最大可运行图像尺寸；
将所述最小外接矩形的尺寸与所述最大可运行图像尺寸进行比较，得到比较结果，并根据所述比较结果对所述最小外接矩形进行调整，得到裁切坐标；
基于所述裁切坐标分别对所述待修复图像和掩膜图像进行裁切，得到裁切图像；
将所述裁切图像输入至图像修复模型中，并由所述图像修复模型输出修复结果图像，然后将所述修复结果图像填充至所述待修复图像中。
第二方面，本发明实施例提供了一种图像修复装置，包括：
图像获取单元，用于获取待修复图像及其掩膜图像，并提取所述掩膜图像的最小外接矩形；
存储信息获取单元，用于获取计算机的存储信息，并根据所述存储信息设置最大可运行图像尺寸；
矩形调整单元，用于将所述最小外接矩形的尺寸与所述最大可运行图像尺寸进行比较，得到比较结果，并根据所述比较结果对所述最小外接矩形进行调整，得到裁切坐标；
图像裁切单元，用于基于所述裁切坐标分别对所述待修复图像和掩膜图像进行裁切，得到裁切图像；
修复填充单元，用于将所述裁切图像输入至图像修复模型中，并由所述图像修复模型输出修复结果图像，然后将所述修复结果图像填充至所述待修复图像中。
第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的图像修复方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像修复方法。
本发明实施例提供了一种图像修复方法、装置、计算机设备及存储介质，该方法包括：获取待修复图像及其掩膜图像，并提取所述掩膜图像的最小外接矩形；获取计算机的存储信息，并根据所述存储信息设置最大可运行图像尺寸；将所述最小外接矩形的尺寸与所述最大可运行图像尺寸进行比较，得到比较结果，并根据所述比较结果对所述最小外接矩形进行调整，得到裁切坐标；基于所述裁切坐标分别对所述待修复图像和掩膜图像进行裁切，得到裁切图像；将所述裁切图像输入至图像修复模型中，并由所述图像修复模型输出修复结果图像，然后将所述修复结果图像填充至所述待修复图像中。本发明实施例根据实际可用的计算机资源，通过裁切图像以及缩放图像等方式，使得图像修复模型在部署运行过程中不会受到待修复图像的输入尺寸的影响，从而在不影响模型算法效果的前提下，稳定且快速地运行算法模型，实现图像修复，如此可以增强图像修复模型部署落地的通用性，降低对计算机设备算力要求的门槛。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像修复方法的流程示意图；
图2为本发明实施例提供的一种图像修复装置的示意性框图；
图3为本发明实施例提供的一种图像修复方法中的待修复图像示意图；
图4为本发明实施例提供的一种图像修复方法中的掩膜图像示意图；
图5为本发明实施例提供的一种图像修复方法中待修复图像的裁切图像示意图；
图6为本发明实施例提供的一种图像修复方法中掩膜图像的裁切图像示意图；
图7为本发明实施例提供的一种图像修复方法中的修复结果图像示意图；
图8为本发明实施例提供的一种图像修复方法中修复后的图像示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面请参见图1，图1为本发明实施例提供的一种图像修复方法的流程示意图，具体包括：步骤S101～S105。
S101、获取待修复图像及其掩膜图像，并提取所述掩膜图像的最小外接矩形；
S102、获取计算机的存储信息，并根据所述存储信息设置最大可运行图像尺寸；
S103、将所述最小外接矩形的尺寸与所述最大可运行图像尺寸进行比较，得到比较结果，并根据所述比较结果对所述最小外接矩形进行调整，得到裁切坐标；
S104、基于所述裁切坐标分别对所述待修复图像和掩膜图像进行裁切，得到裁切图像；
S105、将所述裁切图像输入至图像修复模型中，并由所述图像修复模型输出修复结果图像，然后将所述修复结果图像填充至所述待修复图像中。
本实施例中，首先分别获取待修复图像以及对应的掩膜图像，如图3和图4所示，然后从掩膜图像中提取最小外接矩形，同时获取计算机的存储信息，以根据该存储信息设置最大可运行图像尺寸。在获取最小外接矩形和最大可运行图像尺寸之后，对二者进行比较，从而对最小外接矩形进行调整，以更好地保障计算机的存储资源不会被影响。在完成调整后，可以得到一裁切坐标，利用该裁切坐标对待修复图像和掩膜图像进行裁切，随后利用图像修复模型对裁切得到的裁切图像进行修复，最后将图像修复模型的输出结果填充至待修复图像中，即可完成此次图像修复操作。在这里，可以理解的是，本实施例所述的计算机即为运行图像修复模型以实现图像修复的载体，在其他实施例中，也可以采用服务器或者其他算力设备代替。
本实施例根据实际可用的计算机资源，通过裁切图像以及缩放图像等方式，使得图像修复模型在部署运行过程中不会受到待修复图像的输入尺寸的影响，从而在不影响模型算法效果的前提下，稳定且快速地运行算法模型，实现图像修复，如此可以增强图像修复模型部署落地的通用性，降低对计算机设备算力要求的门槛。
具体的，所述图像修复模型采用基于深度学习的图像修复技术。当然，在其他实施例中，还可以采用其他图像修复模型，本实施例对采用的图像修复模型并不做限定。例如采用生成对抗网络GAN，在将GAN网络应用于图像修复时，首先随机输入一些噪声，使用GAN模型的生成器与判别器互相博弈，使生成器能有产生接近原图的假图片的能力。但是此时的模型还不足够生成最佳的假图片进行图像修复，因为该假图片的输入的概率分布不一定与待修复图片的概率分布一致，所以对假图片的输入噪声进行迭代更新，直到训练后输入的概率分布与待修复图片一致，即可提取由生成器生成的假图片和破损原图一样大一样位置的破损块，利用破损块与待修复图做简单的通道拼接之后即可完成图像修复工作。
在一实施例中，所述步骤S101包括：
对所述待修复图像进行二值化处理，得到二值化图；
采用findContours方法计算所述二值化图的轮廓，得到轮廓的点集合；
采用boundingRect方法计算所述点集合的初始最小外接矩形，得到所述初始最小外接矩形的任一角坐标以及所述初始最小外接矩形的宽度和高度；
基于所述任一角坐标以及宽度和高度构建得到初始最小外接矩形；
按照预设像素值对所述初始最小外接矩形进行边界扩充，得到所述最小外接矩形。
本实施例首先对待修复图像进行二值化处理，然后依次通过findContours方法和boundingRect方法分别计算得到二值化图的轮廓及其点集合，以及初始最小外接矩形的位置及尺寸信息，然后便可以构建得到初始最小外接矩形。进一步的，为了提到修复效果，对初始最小外接矩形进行边界扩充，从而得到所述的最小外接矩形。例如计算初始最小外接矩形的中心点，并预设需要扩充矩形四边长度，比如预设扩充像素为32，得到一个新的矩形，即所述最小外接矩形。本实施例所述的findContours方法即为采用findContours函数对二值化图进行轮廓检索，所述的boundingRect方法即为采用boundingRect函数对测量对象的横坐标、纵坐标和长度和宽度进行计算。boundingRect函数在图像处理中有着重要作用，因为其可以用于对对象的大小和位置进行测量，从而确定对象的范围和构型，得到对象的最小外接矩形。
在一实施例中，所述步骤S102包括：
判断计算机是否设置有独立显卡；
若计算机设置有独立显卡，则获取所述独立显卡的显存数据；
若计算机未设置有独立显卡，则获取计算机的内存数据；
根据所述显存数据或者内存数据确认计算机最大可运行图像尺寸。
本实施例所述的存储信息具体包括计算机的显存数据和内存数据。因此在通过存储信息设置计算机的最大可运行图像尺寸时，具体可以当计算机设置有独立显卡时，直接获取独立显卡的显存数据，然后根据该显存数据确认计算机的最大可运行图像尺寸。而当计算机没有设置独立显卡时，则可以通过获取内存数据来确认计算机的最大可运行图像尺寸。
在一实施例中，所述步骤S103包括：
当所述最小外接矩形的尺寸在所述最大可运行图像尺寸范围内时，则根据所述最小外接矩形的尺寸和所述最大可运行图像尺寸计算得到扩大系数，并根据所述扩大系数对所述最小外接矩形进行扩充调整；
当所述最小外接矩形的尺寸超出所述最大可运行图像尺寸范围时，则根据所述最小外接矩形的尺寸和所述最大可运行图像尺寸计算得到缩小系数，并根据所述缩小系数对所述最小外接矩形进行缩小调整；
基于扩充调整或者缩小调整后的最小外接矩形，提取得到所述裁切坐标。
本实施例中，在对所述最小外接矩形的尺寸和所述最大可运行图像尺寸进行比较时，如果最小外接矩形的尺寸小于最大可运行图像尺寸，那么便可以将最小外接矩形的尺寸扩充至最大可运行图像尺寸。反之，如果最小外接矩形的尺寸大于最大可运行图像尺寸，那么便可以将最小外接矩形的尺寸缩小至最大可运行图像尺寸。通过上述扩充或者缩小的方式，可以确保后续图像修复模型在进行图像修复时，不会受到输入尺寸的影响，从而保障图像修复效果。
在一实施例中，结合图5和图6所示，所述步骤S104包括：
按照所述裁切坐标对所述待修复图像进行裁切，得到待修复图像的第一裁切图像；以及按照所述裁切坐标对所述掩膜图像进行裁切，得到掩膜的第二裁切图像；
根据计算机存储信息判断所述第一裁切图像和第二裁切图像是否需要进行缩放处理；
当判定所述第一裁切图像和/或第二裁切图像需要进行缩放处理时，结合计算机存储信息、最小外接矩形的尺寸计算缩放比例，并按照所述缩放比例对所述第一裁切图像和/或第二裁切图像进行缩放处理。
本实施例中，根据裁切坐标分别对待修复图像和掩膜图像进行裁切，得到各自对应的第一裁切图像(如图5所示)和第二裁切图像(如图6所示)，然后判断是否对其进行缩放处理，并在判定需要进行缩放处理后，通过计算机存储信息、最小外接矩形的尺寸等信息可计算得到一缩放比例，利用该缩放比例即可实现缩放处理。举例来说，根据显存或内存资源情况，在运行512×512模型时，需要2048Mb显存或内存，如果计算机有显卡，则会计算可用显卡显存大小，比如可用显存大小为4096Mb，裁切后的图像大小为640×640，那么便可以按照下列公式计算得到缩放比例S：
S＝(512*512)/(640*640)*√(4096/2048)＝0.91；其中，√表示根号。
而如果计算机没有显卡，则可以默认将裁切图像缩放至512×512。
在一实施例中，所述步骤S105包括：
获取所述图像修复模型输出的修复结果图像，并将所述修复结果图像的尺寸恢复至所述裁切图像的尺寸；
根据所述裁切坐标对所述待修复图像进行填充。
本实施例在得到修复结果图像之后，将其进行尺寸恢复，以使其尺寸与裁切图像的尺寸，从而可以与待修复图像的待填充区域相匹配，如图7所示。在将修复结果图像填充至待修复图像后，即可完成本次的图像修复操作，修复后的结果如图8所示。
图2为本发明实施例提供的一种图像修复装置200的示意性框图，该装置200包括：
图像获取单元201，用于获取待修复图像及其掩膜图像，并提取所述掩膜图像的最小外接矩形；
存储信息获取单元202，用于获取计算机的存储信息，并根据所述存储信息设置最大可运行图像尺寸；
矩形调整单元203，用于将所述最小外接矩形的尺寸与所述最大可运行图像尺寸进行比较，得到比较结果，并根据所述比较结果对所述最小外接矩形进行调整，得到裁切坐标；
图像裁切单元204，用于基于所述裁切坐标分别对所述待修复图像和掩膜图像进行裁切，得到裁切图像；
修复填充单元205，用于将所述裁切图像输入至图像修复模型中，并由所述图像修复模型输出修复结果图像，然后将所述修复结果图像填充至所述待修复图像中。
在一实施例中，所述图像获取单元201包括：
二值化处理单元，用于对所述待修复图像进行二值化处理，得到二值化图；
轮廓计算单元，用于采用findContours方法计算所述二值化图的轮廓，得到轮廓的点集合；
初始矩形计算单元，用于采用boundingRect方法计算所述点集合的初始最小外接矩形，得到所述初始最小外接矩形的任一角坐标以及所述初始最小外接矩形的宽度和高度；
初始矩形构建单元，用于基于所述任一角坐标以及宽度和高度构建得到初始最小外接矩形；
边界扩充单元，用于按照预设像素值对所述初始最小外接矩形进行边界扩充，得到所述最小外接矩形。
在一实施例中，所述存储信息获取单元202包括：
显卡判断单元，用于判断计算机是否设置有独立显卡；
显存获取单元，用于若计算机设置有独立显卡，则获取所述独立显卡的显存数据；
内存获取单元，用于若计算机未设置有独立显卡，则获取计算机的内存数据；
尺寸确认单元，用于根据所述显存数据或者内存数据确认计算机最大可运行图像尺寸。
在一实施例中，所述矩形调整单元203包括：
矩形扩大单元，用于当所述最小外接矩形的尺寸在所述最大可运行图像尺寸范围内时，则根据所述最小外接矩形的尺寸和所述最大可运行图像尺寸计算得到扩大系数，并根据所述扩大系数对所述最小外接矩形进行扩充调整；
矩形缩小单元，用于当所述最小外接矩形的尺寸超出所述最大可运行图像尺寸范围时，则根据所述最小外接矩形的尺寸和所述最大可运行图像尺寸计算得到缩小系数，并根据所述缩小系数对所述最小外接矩形进行缩小调整；
坐标提取单元，用于基于扩充调整或者缩小调整后的最小外接矩形，提取得到所述裁切坐标。
在一实施例中，所述图像裁切单元204包括：
裁切图像获取单元，用于按照所述裁切坐标对所述待修复图像进行裁切，得到待修复图像的第一裁切图像；以及按照所述裁切坐标对所述掩膜图像进行裁切，得到掩膜的第二裁切图像；
缩放判断单元，用于根据计算机存储信息判断所述第一裁切图像和第二裁切图像是否需要进行缩放处理；
缩放处理单元，用于当判定所述第一裁切图像和/或第二裁切图像需要进行缩放处理时，结合计算机存储信息、最小外接矩形的尺寸计算缩放比例，并按照所述缩放比例对所述第一裁切图像和/或第二裁切图像进行缩放处理。
在一实施例中，所述修复填充单元205包括：
尺寸灰度单元，用于获取所述图像修复模型输出的修复结果图像，并将所述修复结果图像的尺寸恢复至所述裁切图像的尺寸；
图像填充单元，用于根据所述裁切坐标对所述待修复图像进行填充。
在一实施例中，所述图像修复模型采用基于深度学习的图像修复技术。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种图像修复方法，其特征在于，包括：
获取待修复图像及其掩膜图像，并提取所述掩膜图像的最小外接矩形；
获取计算机的存储信息，并根据所述存储信息设置最大可运行图像尺寸；
将所述最小外接矩形的尺寸与所述最大可运行图像尺寸进行比较，得到比较结果，并根据所述比较结果对所述最小外接矩形进行调整，得到裁切坐标；
基于所述裁切坐标分别对所述待修复图像和掩膜图像进行裁切，得到裁切图像；
将所述裁切图像输入至图像修复模型中，并由所述图像修复模型输出修复结果图像，然后将所述修复结果图像填充至所述待修复图像中。
2.根据权利要求1所述的图像修复方法，其特征在于，所述获取待修复图像及其掩膜图像，并提取所述掩膜图像的最小外接矩形，包括：
对所述待修复图像进行二值化处理，得到二值化图；
采用findContours方法计算所述二值化图的轮廓，得到轮廓的点集合；
采用boundingRect方法计算所述点集合的初始最小外接矩形，得到所述初始最小外接矩形的任一角坐标以及所述初始最小外接矩形的宽度和高度；
基于所述任一角坐标以及宽度和高度构建得到初始最小外接矩形；
按照预设像素值对所述初始最小外接矩形进行边界扩充，得到所述最小外接矩形。
3.根据权利要求1所述的图像修复方法，其特征在于，所述获取计算机的存储信息，并根据所述存储信息设置最大可运行图像尺寸，包括：
判断计算机是否设置有独立显卡；
若计算机设置有独立显卡，则获取所述独立显卡的显存数据；
若计算机未设置有独立显卡，则获取计算机的内存数据；
根据所述显存数据或者内存数据确认计算机最大可运行图像尺寸。
4.根据权利要求1所述的图像修复方法，其特征在于，所述将所述最小外接矩形的尺寸与所述最大可运行图像尺寸进行比较，得到比较结果，并根据所述比较结果对所述最小外接矩形进行调整，得到裁切坐标，包括：
当所述最小外接矩形的尺寸在所述最大可运行图像尺寸范围内时，则根据所述最小外接矩形的尺寸和所述最大可运行图像尺寸计算得到扩大系数，并根据所述扩大系数对所述最小外接矩形进行扩充调整；
当所述最小外接矩形的尺寸超出所述最大可运行图像尺寸范围时，则根据所述最小外接矩形的尺寸和所述最大可运行图像尺寸计算得到缩小系数，并根据所述缩小系数对所述最小外接矩形进行缩小调整；
基于扩充调整或者缩小调整后的最小外接矩形，提取得到所述裁切坐标。
5.根据权利要求1所述的图像修复方法，其特征在于，所述基于所述裁切坐标分别对所述待修复图像和掩膜图像进行裁切，得到裁切图像，包括：
按照所述裁切坐标对所述待修复图像进行裁切，得到待修复图像的第一裁切图像；以及按照所述裁切坐标对所述掩膜图像进行裁切，得到掩膜的第二裁切图像；
根据计算机存储信息判断所述第一裁切图像和第二裁切图像是否需要进行缩放处理；
当判定所述第一裁切图像和/或第二裁切图像需要进行缩放处理时，结合计算机存储信息、最小外接矩形的尺寸计算缩放比例，并按照所述缩放比例对所述第一裁切图像和/或第二裁切图像进行缩放处理。
6.根据权利要求1所述的图像修复方法，其特征在于，所述将所述裁切图像输入至图像修复模型中，并由所述图像修复模型输出修复结果图像，然后将所述修复结果图像填充至所述待修复图像中，包括：
获取所述图像修复模型输出的修复结果图像，并将所述修复结果图像的尺寸恢复至所述裁切图像的尺寸；
根据所述裁切坐标对所述待修复图像进行填充。
7.根据权利要求1所述的图像修复方法，其特征在于，所述图像修复模型采用基于深度学习的图像修复技术。
8.一种图像修复装置，其特征在于，包括：
图像获取单元，用于获取待修复图像及其掩膜图像，并提取所述掩膜图像的最小外接矩形；
存储信息获取单元，用于获取计算机的存储信息，并根据所述存储信息设置最大可运行图像尺寸；
矩形调整单元，用于将所述最小外接矩形的尺寸与所述最大可运行图像尺寸进行比较，得到比较结果，并根据所述比较结果对所述最小外接矩形进行调整，得到裁切坐标；
图像裁切单元，用于基于所述裁切坐标分别对所述待修复图像和掩膜图像进行裁切，得到裁切图像；
修复填充单元，用于将所述裁切图像输入至图像修复模型中，并由所述图像修复模型输出修复结果图像，然后将所述修复结果图像填充至所述待修复图像中。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的图像修复方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像修复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311335065.7A CN117392015A (zh) | 2023-10-16 | 2023-10-16 | 一种图像修复方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311335065.7A CN117392015A (zh) | 2023-10-16 | 2023-10-16 | 一种图像修复方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117392015A true CN117392015A (zh) | 2024-01-12 |
Family
ID=89467784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311335065.7A Pending CN117392015A (zh) | 2023-10-16 | 2023-10-16 | 一种图像修复方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117392015A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633144A (zh) * | 2020-12-21 | 2021-04-09 | 平安科技（深圳）有限公司 | 人脸遮挡检测方法、***、设备及存储介质 |
| US20210125313A1 (en) * | 2019-10-25 | 2021-04-29 | Samsung Electronics Co., Ltd. | Image processing method, apparatus, electronic device and computer readable storage medium |
| CN114049280A (zh) * | 2021-11-25 | 2022-02-15 | 广州华多网络科技有限公司 | 图像消除修复方法及其装置、设备、介质、产品 |
| CN114066768A (zh) * | 2021-11-24 | 2022-02-18 | 武汉大势智慧科技有限公司 | 建筑物立面图像修复方法、装置、设备及存储介质 |
| CN116109503A (zh) * | 2022-12-31 | 2023-05-12 | 深圳软牛科技有限公司 | 图像修复方法、***、设备及存储介质 |
| CN116188559A (zh) * | 2021-11-28 | 2023-05-30 | 梅卡曼德（北京）机器人科技有限公司 | 图像数据处理方法、装置、电子设备和存储介质 |
-
2023
- 2023-10-16 CN CN202311335065.7A patent/CN117392015A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210125313A1 (en) * | 2019-10-25 | 2021-04-29 | Samsung Electronics Co., Ltd. | Image processing method, apparatus, electronic device and computer readable storage medium |
| CN112633144A (zh) * | 2020-12-21 | 2021-04-09 | 平安科技（深圳）有限公司 | 人脸遮挡检测方法、***、设备及存储介质 |
| CN114066768A (zh) * | 2021-11-24 | 2022-02-18 | 武汉大势智慧科技有限公司 | 建筑物立面图像修复方法、装置、设备及存储介质 |
| CN114049280A (zh) * | 2021-11-25 | 2022-02-15 | 广州华多网络科技有限公司 | 图像消除修复方法及其装置、设备、介质、产品 |
| CN116188559A (zh) * | 2021-11-28 | 2023-05-30 | 梅卡曼德（北京）机器人科技有限公司 | 图像数据处理方法、装置、电子设备和存储介质 |
| CN116109503A (zh) * | 2022-12-31 | 2023-05-12 | 深圳软牛科技有限公司 | 图像修复方法、***、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| GONG, J 等: "Inpainting with Separable Mask Update Convolution Network", 《SENSORS》, vol. 23, no. 15, 31 August 2023 (2023-08-31) * |
| 汪振: "基于样本块填充的数字图像修复算法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》, vol. 2021, no. 06, 15 June 2021 (2021-06-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107346547B (zh) | 基于单目平台的实时前景提取方法及装置 | |
| CN114041163A (zh) | 修复高分辨率图像的方法、处理***和计算机程序产品 | |
| CN111612004A (zh) | 一种基于语义内容的图像裁剪方法及装置 | |
| CN111192190A (zh) | 消除图像水印的方法、装置及电子设备 | |
| CN111079730A (zh) | 一种在界面图中确定样图所在区域的方法和电子设备 | |
| CN112651953A (zh) | 图片相似度计算方法、装置、计算机设备及存储介质 | |
| CN111415364A (zh) | 一种计算机视觉中图像分割样本的转换方法、***及存储介质 | |
| CN111209908B (zh) | 更新标注框的方法、装置、存储介质和计算机设备 | |
| CN110827301B (zh) | 用于处理图像的方法和装置 | |
| CN116612280A (zh) | 车辆分割方法、装置、计算机设备和计算机可读存储介质 | |
| CN113077477B (zh) | 图像矢量化方法、装置及终端设备 | |
| CN114005019A (zh) | 一种翻拍图像识别方法及其相关设备 | |
| CN117541546A (zh) | 图像裁剪效果的确定方法和装置、存储介质及电子设备 | |
| CN117392015A (zh) | 一种图像修复方法、装置、计算机设备及存储介质 | |
| CN116109503A (zh) | 图像修复方法、***、设备及存储介质 | |
| US8520951B2 (en) | Image processing method, image processing apparatus, and computer readable storage medium | |
| CN116631003A (zh) | 基于p&id图纸的设备识别方法、装置、存储介质及电子设备 | |
| CN112487943B (zh) | 关键帧去重的方法、装置和电子设备 | |
| CN112580655B (zh) | 基于改进craft的文本检测方法及装置 | |
| CN114511702A (zh) | 一种基于多尺度分权注意力的遥感图像分割方法和*** | |
| CN113781491A (zh) | 图像分割模型的训练、图像分割方法及装置 | |
| CN113808028A (zh) | 基于归因算法的对抗样本的检测方法和装置 | |
| CN112634126A (zh) | 人像减龄处理方法、训练方法、装置、设备及存储介质 | |
| CN113762244A (zh) | 文档信息的提取方法及装置 | |
| JP7524968B2 (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |