CN114792285A - 图像处理方法和处理装置、电子设备和可读存储介质 - Google Patents
图像处理方法和处理装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN114792285A CN114792285A CN202210420012.4A CN202210420012A CN114792285A CN 114792285 A CN114792285 A CN 114792285A CN 202210420012 A CN202210420012 A CN 202210420012A CN 114792285 A CN114792285 A CN 114792285A
- Authority
- CN
- China
- Prior art keywords
- image
- area
- training
- target
- target area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 100
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012015 optical character recognition Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本申请公开了一种图像处理方法和处理装置、电子设备和可读存储介质。图像处理方法,包括:在第一图像中定位目标区域,得到目标区域的位置信息;擦除第一图像中预设区域的图像信息,得到擦除后的第二图像,其中,第二图像的尺寸与第一图像相同,预设区域包括目标区域;根据位置信息,在第二图像中截取与目标区域对应的区域图像;根据区域图像和第一图像,生成处理后的目标图像。
Description
技术领域
本申请属于图像处理技术领域,具体涉及一种图像处理方法和处理装置、电子设备和可读存储介质。
背景技术
在相关技术中,用户有时会有对图片中的特定内容进行抹除或隐藏的需求,如抹除图片中的文字。
现有的处理方法,如通过图像修复的方式抹除特定的区域,其只利用了抹除区域的纹理信息,导致抹除效果差,会在图片上留下明显的修复痕迹。而如果使用深度学习的方式处理图片,能够减少修复痕迹,但是容易将图片中其他与特定区域内容相近的区域一并抹除,处理效果不好。
发明内容
本申请实施例的目的是提供一种图像处理方法和处理装置、电子设备和可读存储介质,能够解决现有技术中抹除图像内容处理效果不好的问题。
第一方面,本申请实施例提供了一种图像处理方法,包括:
在第一图像中定位目标区域,得到目标区域的位置信息;
通过图像处理模型,擦除第一图像中预设区域的图像信息,得到擦除后的第二图像,其中,第二图像的尺寸与第一图像相同,预设区域包括目标区域;
根据位置信息,在第二图像中截取与目标区域对应的区域图像;
根据区域图像和第一图像,生成处理后的目标图像。
第二方面,本申请实施例提供了一种图像处理装置,包括:
定位模块,用于在第一图像中定位目标区域,得到目标区域的位置信息;
擦除模块,用于通过图像处理模型,擦除第一图像中预设区域的图像信息,得到擦除后的第二图像,其中,第二图像的尺寸与第一图像相同,预设区域包括目标区域;
截取模块,用于根据位置信息,在第二图像中截取与目标区域对应的区域图像;
处理模块,用于根据区域图像和第一图像,生成处理后的目标图像。
第三方面,本申请实施例提供了一种电子设备,包括处理器和存储器,存储器存储可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,该可读存储介质上存储程序或指令,该程序或指令被处理器执行时实现如第一方面的方法的步骤。
第五方面,本申请实施例提供了一种芯片,该芯片包括处理器和通信接口,该通信接口和该处理器耦合,该处理器用于运行程序或指令,实现如第一方面的方法的步骤。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,首先对需要处理的图像区域进行定位,并记录位置信息。然后,通过对抗模型,对第一图像整体进行图像处理,该图像处理的步骤基于图像识别技术和深度学习技术,模型通过自动识别需要处理的部分,并根据第一图像的全局信息,对需要处理的预设区域进行擦除,保持擦除后的预设区域的图像,与整体图像保持协调一致。
在擦除完成后,根据标记好的目标区域的位置信息,在通过图像处理模型擦除后的第二图像中,截取相同位置的区域图像,并将该区域图像与原始的第一图像进行结合,即只选取第二图像中,用户需要消除的部分,来对原始图像进行处理,因此,最终得到的目标图像,在保留了整体图像的协调一致的情况下,对需要处理的目标区域的内容进行了擦除,同时保证图像中的其他相似区域不会被误擦除,提高了抹除图像中特定内容时的处理效率。
附图说明
图1示出了根据本申请实施例的图像处理方法的流程图之一;
图2示出了根据本申请实施例的图像处理方法的示意图之一;
图3示出了根据本申请实施例的图像处理方法的示意图之二;
图4示出了根据本申请实施例的图像处理方法的示意图之三;
图5示出了根据本申请实施例的图像处理模型的结构示意图;
图6示出了根据本申请实施例的图像处理方法的流程图之二;
图7示出了根据本申请实施例的图像处理装置的结构框图;
图8示出了根据本申请实施例的电子设备的结构框图;
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法和处理装置、电子设备和可读存储介质进行详细地说明。
在本申请的一些实施例中,提供了一种图像处理方法,图1示出了根据本申请实施例的图像处理方法的流程图之一,如图1所示,方法包括:
步骤102,在第一图像中定位目标区域,得到目标区域的位置信息;
步骤104,通过图像处理模型,擦除第一图像中预设区域的图像信息,得到擦除后的第二图像;
在步骤104中,第二图像的尺寸与第一图像相同,预设区域包括目标区域;
步骤106,根据位置信息,在第二图像中截取与目标区域对应的区域图像;
步骤108,根据区域图像和第一图像,生成处理后的目标图像。
在本申请实施例中,当用户希望对图像中的特定内容进行隐藏或抹除时,如用户希望隐藏图像中的文字内容时,首先,可以通过如文字识别算法等,对图像中的文字区域进行定位,并记录该区域对应的位置信息。其中,位置信息可以是坐标信息。
在得到需要擦除的目标区域的位置信息后,将第一图像的原图整体输入到预设的图像处理模型中,具体地,该图像处理模型能够根据用户需要擦除的信息种类,在第一图像中自动识别出包含所要擦除的目标信息,并根据目标图像的全局信息,对第一图像的整体进行处理。
具体地,图2示出了根据本申请实施例的图像处理方法的示意图之一,如图2所示,第一图像200中包括文字信息202,用户需要对文字信息202进行擦除。首先,通过如光学字符识别(Optical Character Recognition,OCR)等手段,在第一图像200中,标注出文字信息202所在的区域,也即目标区域204,同时记录目标区域204的坐标信息,从而记录目标区域204的位置信息。
在得到目标区域的位置信息后,将第一图像输入至预设的图像处理模型。图像处理模型能够自动识别出用户所要擦除的图像信息内容,如文字信息,并基于目标图像的全局信息,包括色彩信息、像素信息等进行擦除。
图3示出了根据本申请实施例的图像处理方法的示意图之二,如图3所示,图像处理模型对第一图像300的整体进行处理,并将其中被识别为包含文字的若干个预设区域均进行抹除处理。如图3所示,图像处理模型对2个预设区域均进行了抹除处理,其中,第一预设区域302中包含了用户需要擦除的文字信息,而第二预设区域304中包含了二维码信息,由于二维码信息和文字信息的特征接近,导致该二维码信息被误识别为文字而被擦除。
进一步地,在图像处理模型输出第二图像之后,根据识别出的目标区域的位置信息,在第二图像中,根据相同的坐标,截取出对应的区域图像,将该区域图像按照目标区域的坐标,叠加至第一图像的原图上,从而覆盖第一图像的目标区域,从而生成目标图像。
图4示出了根据本申请实施例的图像处理方法的示意图之三,如图4所示,目标图像400上,目标区域402中的文字信息被抹除,而二维码404得以保留。
本申请实施例根据标记好的目标区域的位置信息,在通过图像处理模型擦除后的第二图像中,截取相同位置的区域图像,并将该区域图像与原始的第一图像进行结合,即只选取第二图像中,用户需要消除的部分,来对原始图像进行处理,因此,最终得到的目标图像,在保留了整体图像的协调一致的情况下,对需要处理的目标区域的内容进行了擦除,同时保证图像中的其他相似区域不会被误擦除,提高了抹除图像中特定内容时的处理效率。
在本申请的一些实施例中,根据区域图像和第一图像,生成处理后的目标图像,包括:根据位置信息,将区域图像覆盖于目标区域,得到目标图像。
在本申请实施例中,在通过图像处理模型,得到第二图像后,根据目标区域的位置信息,如坐标信息,在第二图像中截取出于目标区域位置相对应的区域图像。
在得到区域图像后,同样根据目标区域的坐标信息,将截取得到的,通过图像处理模型处理后的区域图像,覆盖到原始的第一图像上,从而使目标区域内的图像内容,完全替换为区域图像,从而使替换后的目标图像中,仅有需要擦除的区域被处理后的图像所替代,在保留了整体图像的协调一致的情况下,对需要处理的目标区域的内容进行了擦除,同时保证图像中的其他相似区域不会被误擦除,提高了抹除图像中特定内容时的处理效率。
在本申请的一些实施例中,在擦除第一图像中预设区域的图像信息之前,方法还包括:
获取第一训练图像和第二训练图像,其中,第二训练图像是在第一训练图像中,去除预设图像信息后得到的图像;
通过第一训练图像和第二训练图像,训练预设模型,得到训练后的图像处理模型,图像处理模型包括第一网络和第二网络;
擦除第一图像中预设区域的图像信息,包括:
通过第一网络对第一图像进行擦除处理,得到处理后的第三图像;
对第三图像进行下采样处理,得到第四图像;
通过第二网络对第四图像进行擦除处理,得到处理后的第五图像;
对第五图像进行上采样处理,得到第二图像。
在本申请实施例中,对预设的对抗模型进行训练,从而得到训练好的图像处理模型。具体地,首先采集收集第一图像,并对第一图像进行手动处理,生成第二图像。其中,第一图像是原始图像,第二图像是通过图像编辑或图像修改等软件,对文字内容等预设区域进行擦除后,得到的第二图像。
根据第一图像和第二图像,作为训练集,训练预设的生成对抗网络,用来进行端到端整图文字的擦除。具体做法是搭建网络模型,对于生成网络采用unet的网络结构,先对图像进行下采样获取图像语义信息,再对图像上采样恢复到原始尺寸以获取图像输出,考虑到对于复杂场景经过一次模型的优化并不能得到好的结果,因此在unet(一种稠密预测分割的U型网络)结构后,再接一层轻量化后的unet结果做进一步的处理,得到最终的处理结果。
进一步地,构建判别网络,判别网络包括一个双尺度的网络,其中第一个尺度网络包括几个级联的卷积,其中卷积的步长可以设置为1,并不引入池化层,保证图片的分辨率不下降。
之后在第一个尺度网络后,再加一层相同的尺度网络,但是第二层尺度网络的输入是第一层网络的输出下采样一倍之后得到。双尺度网络的真值(ground truth)分别由擦除后的图片,和擦除后图片下采样一倍的图片得到。
将生成网络输出结果输入到判别网络,通过判别网络判断当前生成的擦除后的图片,和原始标注的擦除图片(也即第二图像)之间的差异,并作为损失(loss)反向传播优化网络参数,最终得到经过优化后的网络结构。
在这个优化后的网络结构中,去除判别网络后得到的模型,即上述图像处理模型。图5示出了根据本申请实施例的图像处理模型的结构示意图,如图5所以,图像处理模型500包括的2层unet网络结构,即第一网络502和第二网络504。
在通过图像处理模型500,对第一图像506中的特定内容进行擦除时,首先,将待处理的第一图像506输入至第一网络502中,通过第一网络502对其中的特定信息进行擦除。
擦除后得到处理后的第三图像508,对第三图像508进行下采样处理,得到分辨率降低的第四图像510,从而获取图像语义定义,将下采样得到的第四图像510作为第二层网络,也即第二网络504的输入。
最终第二网络504输出的第五图像512,经过上采样恢复为原始尺寸后得到最终的第二图像514。
能够理解的是,第一图像中包含的内容,即用户需要擦除的内容。如用户需要擦除图像中的文字信息,则第一图像中包含文字信息。如用户需要擦除人脸,则第一图像中包含人脸信息。
本申请通过对图像识别模型进行训练,从而使图像识别模型能够根据训练集中的图像内容,对第一图像中对应的内容区域进行擦除,并能够使擦除后的图像保持整体图像的协调一致,提高图像处理效率。
在本申请的一些实施例中,目标区域为字符图像区域,在第一图像中定位目标区域,包括:
对第一图像进行光学字符识别,在第一图像中获取字符检测框;
根据字符检测框的坐标信息,在第一图像中定位目标区域。
在本申请实施例中,目标区域具体包括字符图像区域,也就是说,用户需要对第一图像中的字符区域进行擦除。具体地,首先对第一图像进行光学字符(OCR)识别,从而在第一图像中,检测出字符所在位置,同时根据这些字符的位置,形成为字符检测框。
具体地,首先对第一图像进行预处理,在一些实施例中,采用去噪算法,将第一图像上的噪声去除。之后,根据训练好的OCR检测模型,并通过OCR检测算法获取到文本或字符,并定位坐标信息,该OCR检测算法可以获取到水平、垂直、弯曲等各种场景下的字符检测框。
对于水平、垂直的规则字符检测框,可以采用四点坐标框来表示;而对于弯曲的不规则字符检测框,则可以采用八点坐标框表示。若当前图片中没有文字信息或字符信息,则返回空的字符坐标框。
该字符检测框标注有坐标信息,该坐标信息指的是字符检测框在第一图像中的坐标。通过字符检测框的坐标信息,在第一图像中定位目标区域,从而在通过图像处理模型得到第二图像后,根据该坐标信息,将处理后的区域图像覆盖到目标区域上,从而使生成的目标图像中,既保证了整体图像的协调一致,又对需要处理的目标区域的内容进行了有效擦除,同时保证图像中的其他相似区域不会被误擦除,提高了抹除图像中特定内容时的处理效率。
在本申请的一些实施例中,图6示出了根据本申请实施例的图像处理方法的流程图之二,如图6所示,方法包括:
步骤602,对原始图片进行文本定位,记录原始图片中的文字坐标信息;
在步骤602中,首先对图像进行预处理,采用去噪算法将图像上的噪声去除。之后训练ocr检测模型,并通过ocr检测算法获取到文本定位信息,该ocr检测算法可以获取到水平、垂直、弯曲等各种场景下的文本检测框。对于水平、垂直文本框采用四点坐标框来表示,而对于弯曲文本框则采用八点坐标框表示。若当前图片中没有文字信息,则返回空的文本坐标框。
步骤604,采集成对数据,训练生成对抗网络用来进行文字擦除;
在步骤604中,采集成对的<原始图片,文字擦除图片>,并采用生成对抗方式进行模型训练,得到图片处理模型。
具体地,首先采集获取到原始图片,并通过PS获取到对应的文字擦除图片,从而获取到成对的<原始图片,文字擦除图片>。
之后训练一个生成对抗网络用来进行端到端整图文字的擦除;具体做法是搭建网络模型,对于生成网络采用unet的网络结构,先对图像进行下采样获取图像语义信息,再对图像上采样恢复到原始尺寸以获取图像输出,考虑到对于复杂场景经过一次模型的优化并不能得到好的结果,因此在unet结构后面再接一层轻量化后的unet做进一步的处理得到最终的处理结果。构建判别网络,判别网络由一个双尺度的网络组成,其中第一个尺度网络由几个卷积级联组成,卷积的步长设置为1,并不引入池化层,保证图片的分辨率不下降,之后在第一个尺度网络后面再加一层相同的尺度网络,但是第二层尺度网络的输入是第一层网络的输出下采样一倍得到。双尺度网络的ground truth分别由擦除后的图片以及擦除后图片下采样一倍的图片得到。
将生成网络输出结果输入到判别网络判断当前生成的擦除后的图片和原始标注的擦除图片之间的差异,并作为loss反向传播优化网络参数,最终得到经过优化后的网络结构。
步骤606,采用优化后的模型对原始图片进行推理得到擦除后的图片结果;
在步骤606中,采用优化后的生成对抗模型对原始图片进行推理得到擦除后的图片结果,具体做法是将原始图片输入经过训练后的模型,这时需要将判别器去除,只保留生成器即可,经过生成器后得到的输出图即为经过擦除后的图片结果。
步骤608,将获取到的文字坐标信息映射到擦除后的图片上,从中裁剪出文本坐标所在的擦除区域;
在步骤608中,将步获取到的文字坐标信息映射到获取的擦除后的图片结果上,并从中裁剪出文本坐标所在的擦除区域;考虑到有些和文字很相似的区域比如栅栏、纹路、花草等容易被当做文字擦除,因此为了保证这些信息不被误涂,需要将从原始图片记录到的文字坐标信息映射至经获取到的擦除图片上,因为坐标是非矩形框,因此需要设置一个和输入图片一样大的掩码图片,掩码图片原始为纯黑,将坐标框所在区域置为白色,即可得到需要裁剪出的文本坐标所在的擦除区域。
步骤610,将擦除区域贴回到原图,得到最终的文字擦除图片。
在步骤610中,将裁剪出来的擦除区域贴回到原图,即可得到最终的文字擦除图片。
具体做法是在已经得到需要擦除文字区域所对应的掩码图片,这时只需要将掩码图片中的纯白区域对应的擦除区域贴回到原图即可,这样就能得到最后所需要的文字擦除图片,从而避免了和文字很相似区域的误涂。
在本申请的一些实施例中,提供了一种图像处理装置,图7示出了根据本申请实施例的图像处理装置的结构框图,如图7所示,图像处理装置700包括:
定位模块702,用于在第一图像中定位目标区域,得到目标区域的位置信息;
擦除模块704,用于通过图像处理模型,擦除第一图像中预设区域的图像信息,得到擦除后的第二图像,其中,第二图像的尺寸与第一图像相同,预设区域包括目标区域;
截取模块706,用于根据位置信息,在第二图像中截取与目标区域对应的区域图像;
处理模块708,用于根据区域图像和第一图像,生成处理后的目标图像。
本申请实施例根据标记好的目标区域的位置信息,在通过图像处理模型擦除后的第二图像中,截取相同位置的区域图像,并将该区域图像与原始的第一图像进行结合,即只选取第二图像中,用户需要消除的部分,来对原始图像进行处理,因此,最终得到的目标图像,在保留了整体图像的协调一致的情况下,对需要处理的目标区域的内容进行了擦除,同时保证图像中的其他相似区域不会被误擦除,提高了抹除图像中特定内容时的处理效率。
在本申请的一些实施例中,图像处理装置还包括:覆盖模块,用于根据位置信息,将区域图像覆盖于目标区域,得到目标图像。
本申请实施例在得到区域图像后,同样根据目标区域的坐标信息,将截取得到的,通过图像处理模型处理后的区域图像,覆盖到原始的第一图像上,从而使目标区域内的图像内容,完全替换为区域图像,从而使替换后的目标图像中,仅有需要擦除的区域被处理后的图像所替代,在保留了整体图像的协调一致的情况下,对需要处理的目标区域的内容进行了擦除,同时保证图像中的其他相似区域不会被误擦除,提高了抹除图像中特定内容时的处理效率。
在本申请的一些实施例中,处理装置还包括:
获取模块,用于获取第一训练图像和第二训练图像,其中,第二训练图像是在第一训练图像中,去除预设图像信息后得到的图像;
训练模块,用于通过第一训练图像和第二训练图像,训练预设模型,得到训练后的图像处理模型,图像处理模型包括第一网络和第二网络;
擦除模块,还用于通过第一网络对第一图像进行擦除处理,得到处理后的第三图像;
采样模块,用于对第三图像进行下采样处理,得到第四图像;
擦除模块,还用于通过第二网络对第四图像进行擦除处理,得到处理后的第五图像;
采样模块,还用于对第五图像进行上采样处理,得到第二图像。
本申请通过对图像识别模型进行训练,从而使图像识别模型能够根据训练集中的图像内容,对第一图像中对应的内容区域进行擦除,并能够使擦除后的图像保持整体图像的协调一致,提高图像处理效率。
在本申请的一些实施例中,目标区域为字符图像区域,处理装置还包括:
识别模块,用于对第一图像进行光学字符识别,在第一图像中获取字符检测框;
定位模块,还用于根据字符检测框的坐标信息,在第一图像中定位目标区域。
本申请实施例在第一图像中定位目标区域,从而在通过图像处理模型得到第二图像后,根据该坐标信息,将处理后的区域图像覆盖到目标区域上,从而使生成的目标图像中,既保证了整体图像的协调一致,又对需要处理的目标区域的内容进行了有效擦除,同时保证图像中的其他相似区域不会被误擦除,提高了抹除图像中特定内容时的处理效率。
本申请实施例中的图像处理装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***,可以为iOS操作***,还可以为其他可能的操作***,本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现上述方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,本申请实施例还提供一种电子设备,图8示出了根据本申请实施例的电子设备的结构框图,如图8所示,电子设备800包括处理器802,存储器804,存储在存储器804上并可在所述处理器802上运行的程序或指令,该程序或指令被处理器802执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备900包括但不限于:射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909以及处理器910等部件。
本领域技术人员可以理解,电子设备900还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理***与处理器910逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器910用于在第一图像中定位目标区域,得到目标区域的位置信息;
通过图像处理模型,擦除第一图像中预设区域的图像信息,得到擦除后的第二图像,其中,第二图像的尺寸与第一图像相同,预设区域包括目标区域;
根据位置信息,在第二图像中截取与目标区域对应的区域图像;
根据区域图像和第一图像,生成处理后的目标图像。
本申请实施例根据标记好的目标区域的位置信息,在通过图像处理模型擦除后的第二图像中,截取相同位置的区域图像,并将该区域图像与原始的第一图像进行结合,即只选取第二图像中,用户需要消除的部分,来对原始图像进行处理,因此,最终得到的目标图像,在保留了整体图像的协调一致的情况下,对需要处理的目标区域的内容进行了擦除,同时保证图像中的其他相似区域不会被误擦除,提高了抹除图像中特定内容时的处理效率。
可选地,处理器910还用于根据位置信息,将区域图像覆盖于目标区域,得到目标图像。
本申请实施例在得到区域图像后,同样根据目标区域的坐标信息,将截取得到的,通过图像处理模型处理后的区域图像,覆盖到原始的第一图像上,从而使目标区域内的图像内容,完全替换为区域图像,从而使替换后的目标图像中,仅有需要擦除的区域被处理后的图像所替代,在保留了整体图像的协调一致的情况下,对需要处理的目标区域的内容进行了擦除,同时保证图像中的其他相似区域不会被误擦除,提高了抹除图像中特定内容时的处理效率。
可选地,处理器910还用于获取第一训练图像和第二训练图像,其中,第二训练图像是擦除第一训练图像中的预设区域后得到的图像数据;
通过第一训练图像和第二训练图像,训练预设模型,得到训练后的图像处理模型,图像处理模型包括第一网络和第二网络;
擦除第一图像中预设区域的图像信息,包括:
通过第一网络对第一图像进行擦除处理,得到处理后的第三图像;
对第三图像进行下采样处理,得到第四图像;
通过第二网络对第四图像进行擦除处理,得到处理后的第五图像;
对第五图像进行上采样处理,得到第二图像。
本申请通过对图像识别模型进行训练,从而使图像识别模型能够根据训练集中的图像内容,对第一图像中对应的内容区域进行擦除,并能够使擦除后的图像保持整体图像的协调一致,提高图像处理效率。
可选地,目标区域为字符图像区域,处理器910还用于对第一图像进行光学字符识别,在第一图像中获取字符检测框;
根据字符检测框的坐标信息,在第一图像中定位目标区域。
本申请实施例在第一图像中定位目标区域,从而在通过图像处理模型得到第二图像后,根据该坐标信息,将处理后的区域图像覆盖到目标区域上,从而使生成的目标图像中,既保证了整体图像的协调一致,又对需要处理的目标区域的内容进行了有效擦除,同时保证图像中的其他相似区域不会被误擦除,提高了抹除图像中特定内容时的处理效率。
应理解的是,本申请实施例中,输入单元904可以包括图形处理器(GraphicsProcessing Unit,GPU)9041和麦克风9042,图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072中的至少一种。触控面板9071,也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器909可以包括易失性存储器或非易失性存储器,或者,存储器909可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。
处理器910可包括一个或多个处理单元;可选的,处理器910集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作***、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器910中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
在第一图像中定位目标区域,得到所述目标区域的位置信息;
擦除所述第一图像中预设区域的图像信息,得到擦除后的第二图像,其中,所述第二图像的尺寸与所述第一图像的尺寸相同,所述预设区域包括所述目标区域;
根据所述位置信息,在所述第二图像中截取与所述目标区域对应的区域图像;
根据所述区域图像和所述第一图像,生成处理后的目标图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述区域图像和所述第一图像,生成处理后的目标图像,包括:
根据所述位置信息,将所述区域图像覆盖于所述目标区域,得到所述目标图像。
3.根据权利要求1所述的图像处理方法,其特征在于,在所述擦除所述第一图像中预设区域的图像信息之前,所述方法还包括:
获取第一训练图像和第二训练图像,其中,所述第一训练图像中包含预设图像信息,所述第二训练图像是在所述第一训练图像中,去除所述预设图像信息后得到的图像;
通过所述第一训练图像和所述第二训练图像,训练预设模型,得到训练后的图像处理模型,所述图像处理模型包括第一网络和第二网络;
所述擦除所述第一图像中预设区域的图像信息,包括:
通过所述第一网络对所述第一图像进行擦除处理,得到处理后的第三图像;
对所述第三图像进行下采样处理,得到第四图像;
通过所述第二网络对所述第四图像进行擦除处理,得到处理后的第五图像;
对所述第五图像进行上采样处理,得到所述第二图像。
4.根据权利要求1至3中任一项所述的图像处理方法,其特征在于,所述目标区域为字符图像区域,所述在第一图像中定位目标区域,包括:
对所述第一图像进行光学字符识别,在所述第一图像中获取字符检测框;
根据所述字符检测框的坐标信息,在所述第一图像中定位所述目标区域。
5.一种图像处理装置,其特征在于,包括:
定位模块,用于在第一图像中定位目标区域,得到所述目标区域的位置信息;
擦除模块,用于擦除所述第一图像中预设区域的图像信息,得到擦除后的第二图像,其中,所述第二图像的尺寸与所述第一图像的尺寸相同,所述预设区域包括所述目标区域;
截取模块,用于根据所述位置信息,在所述第二图像中截取与所述目标区域对应的区域图像;
处理模块,用于根据所述区域图像和所述第一图像,生成处理后的目标图像。
6.根据权利要求5所述的图像处理装置,其特征在于,还包括:
覆盖模块,用于根据所述位置信息,将所述区域图像覆盖于所述目标区域,得到所述目标图像。
7.根据权利要求5所述的图像处理装置,其特征在于,还包括:
获取模块,用于获取第一训练图像和第二训练图像,其中,所述第二训练图像是擦除所述第一训练图像中的所述预设区域后得到的图像数据;
训练模块,用于通过所述第一训练图像和所述第二训练图像,训练预设模型,得到训练后的所述图像处理模型,所述图像处理模型包括第一网络和第二网络;
所述擦除模块,还用于通过所述第一网络对所述第一图像进行擦除处理,得到处理后的第三图像;
采样模块,用于对所述第三图像进行下采样处理,得到第四图像;
所述擦除模块,还用于通过所述第二网络对所述第四图像进行擦除处理,得到处理后的第五图像;
所述采样模块,还用于对所述第五图像进行上采样处理,得到所述第二图像。
8.根据权利要求5至7中任一项所述的图像处理装置,其特征在于,所述目标区域为字符图像区域,所述处理装置还包括:
识别模块,用于对所述第一图像进行光学字符识别,在所述第一图像中获取字符检测框;
所述定位模块,还用于根据所述字符检测框的坐标信息,在所述第一图像中定位所述目标区域。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至4中任一项所述的图像处理方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至4中任一项所述的图像处理方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210420012.4A CN114792285A (zh) | 2022-04-21 | 2022-04-21 | 图像处理方法和处理装置、电子设备和可读存储介质 |
PCT/CN2023/088947 WO2023202570A1 (zh) | 2022-04-21 | 2023-04-18 | 图像处理方法和处理装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210420012.4A CN114792285A (zh) | 2022-04-21 | 2022-04-21 | 图像处理方法和处理装置、电子设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114792285A true CN114792285A (zh) | 2022-07-26 |
Family
ID=82461312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210420012.4A Pending CN114792285A (zh) | 2022-04-21 | 2022-04-21 | 图像处理方法和处理装置、电子设备和可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114792285A (zh) |
WO (1) | WO2023202570A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115797783A (zh) * | 2023-02-01 | 2023-03-14 | 北京有竹居网络技术有限公司 | 无障碍信息的生成方法、装置、电子设备和存储介质 |
WO2023202570A1 (zh) * | 2022-04-21 | 2023-10-26 | 维沃移动通信有限公司 | 图像处理方法和处理装置、电子设备和可读存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805789B (zh) * | 2018-05-29 | 2022-06-03 | 厦门市美亚柏科信息股份有限公司 | 一种基于对抗神经网络去除水印的方法、装置、设备及可读介质 |
CN109035147B (zh) * | 2018-08-10 | 2023-12-12 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子装置、存储介质和计算机设备 |
CN111260757A (zh) * | 2018-12-03 | 2020-06-09 | 马上消费金融股份有限公司 | 一种图像处理方法、装置及终端设备 |
CN110163194A (zh) * | 2019-05-08 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置及存储介质 |
CN111062854B (zh) * | 2019-12-26 | 2023-08-25 | Oppo广东移动通信有限公司 | 检测水印的方法、装置、终端及存储介质 |
CN113538273B (zh) * | 2021-07-13 | 2023-09-19 | 荣耀终端有限公司 | 图像处理方法及图像处理装置 |
CN114049280A (zh) * | 2021-11-25 | 2022-02-15 | 广州华多网络科技有限公司 | 图像消除修复方法及其装置、设备、介质、产品 |
CN114792285A (zh) * | 2022-04-21 | 2022-07-26 | 维沃移动通信有限公司 | 图像处理方法和处理装置、电子设备和可读存储介质 |
-
2022
- 2022-04-21 CN CN202210420012.4A patent/CN114792285A/zh active Pending
-
2023
- 2023-04-18 WO PCT/CN2023/088947 patent/WO2023202570A1/zh unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023202570A1 (zh) * | 2022-04-21 | 2023-10-26 | 维沃移动通信有限公司 | 图像处理方法和处理装置、电子设备和可读存储介质 |
CN115797783A (zh) * | 2023-02-01 | 2023-03-14 | 北京有竹居网络技术有限公司 | 无障碍信息的生成方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023202570A1 (zh) | 2023-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114792285A (zh) | 图像处理方法和处理装置、电子设备和可读存储介质 | |
US20230048147A1 (en) | Method and apparatus for processing image signal, electronic device, and computer-readable storage medium | |
CN112306347B (zh) | 图像编辑方法、图像编辑装置及电子设备 | |
JP2020127194A (ja) | コンピュータシステムおよびプログラム | |
CN114758054A (zh) | 光斑添加方法、装置、设备及存储介质 | |
CN112950443A (zh) | 基于图像贴纸的自适应隐私保护方法、***、设备及介质 | |
CN116188290A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN115660969A (zh) | 图像处理方法、模型训练方法、装置、设备和存储介质 | |
CN115421631A (zh) | 界面显示方法和装置 | |
CN115410133A (zh) | 视频密集预测方法及其装置 | |
CN114049473A (zh) | 图像处理方法及装置 | |
CN114518821A (zh) | 应用图标管理方法、装置和电子设备 | |
CN114253449A (zh) | 截屏方法、装置、设备及介质 | |
CN114529714A (zh) | 一种无人机检测方法、装置、计算机设备和存储介质 | |
CN112258416A (zh) | 图像处理方法、装置、电子设备 | |
CN112288835A (zh) | 图像文本提取方法、装置及电子设备 | |
CN112686818A (zh) | 人脸图像处理方法、装置及电子设备 | |
CN110688511A (zh) | 细粒度图像检索方法、装置、计算机设备及存储介质 | |
CN117253233B (zh) | 一种字符擦除方法、装置和设备 | |
CN117496525A (zh) | 图像中文字的质检方法、装置、电子设备及可读存储介质 | |
CN113923367B (zh) | 拍摄方法、拍摄装置 | |
CN117593510A (zh) | 图像处理方法和电子设备 | |
CN114500855A (zh) | 显示方法、显示装置、电子设备和可读存储介质 | |
CN116975337A (zh) | 图像搜索方法、装置、电子设备和可读存储介质 | |
CN117528179A (zh) | 视频生成方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |