CN117132479A - 摩尔纹的消除方法、电子设备及可读存储介质 - Google Patents
摩尔纹的消除方法、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN117132479A CN117132479A CN202310488968.2A CN202310488968A CN117132479A CN 117132479 A CN117132479 A CN 117132479A CN 202310488968 A CN202310488968 A CN 202310488968A CN 117132479 A CN117132479 A CN 117132479A
- Authority
- CN
- China
- Prior art keywords
- image
- size
- target
- moire
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000003379 elimination reaction Methods 0.000 claims abstract description 151
- 230000008030 elimination Effects 0.000 claims abstract description 147
- 238000003062 neural network model Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims description 79
- 239000011159 matrix material Substances 0.000 claims description 67
- 238000005520 cutting process Methods 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 41
- 238000012952 Resampling Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 7
- 230000008093 supporting effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 37
- 239000010410 layer Substances 0.000 description 26
- 230000008569 process Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 21
- 238000007726 management method Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 19
- 230000006854 communication Effects 0.000 description 19
- 230000001976 improved effect Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种摩尔纹的消除方法、电子设备及可读存储介质,属于终端技术领域。应用于电子设备中,该方法包括:在第一图像的尺寸大于第一目标尺寸的情况下,确定第一图像的至少一个分片图像,第一图像是带有摩尔纹的图像,目标消除模型为预先训练的用于消除摩尔纹的神经网络模型,且目标消除模型的网络结构为编码‑解码结构;通过目标消除模型消除至少一个分片图像中每个分片图像带有的摩尔纹,得到至少一个消除摩尔纹的分片图像;基于至少一个消除摩尔纹的分片图像,确定消除摩尔纹的目标图像。本申请在保证消除各种各样尺寸的图像中的摩尔纹的情况下,减小目标消除模型对内存的占用,从而提高了电子设备运行的效率。
Description
技术领域
本申请涉及终端技术领域,特别涉及一种摩尔纹的消除方法、电子设备及可读存储介质。
背景技术
随着终端技术的发展,电子设备已应用在用户生活的方方面面,用户在使用电子设备的过程中,可能需要使用电子设备的摄像头拍摄其他设备显示屏所显示的内容,若电子设备的摄像头的采样频率小于所拍摄的显示屏的条纹变化频率,则电子设备通过摄像头采集的图像中会产生摩尔纹。由于摩尔纹会影响图像的显示质量,因此,通常需要消除图像中的摩尔纹。
目前,在需要消除图像中的摩尔纹的情况下,可以将带有摩尔纹的图像输入至预先训练好的用于消除摩尔纹的神经网络模型中,比如,该消除摩尔纹的神经网络模型可以为开放神经网络交换(Open Neural Network Exchange,onnx)模型,通过该onnx模型可以消除图像中的摩尔纹。
但是,为了保证能够消除各种各样尺寸的图像中的摩尔纹,消除摩尔纹的神经网络模型通常为金字塔结构的神经网络模型,而金字塔结构的神经网络模型占用内存较多,降低了电子设备运行的效率。
发明内容
本申请提供了一种摩尔纹的消除方法、电子设备及可读存储介质,可以用于解决相关技术中神经网络模型占用内存较多,导致电子设备运行效率低的问题。所述技术方案如下:
第一方面,提供了一种摩尔纹的消除方法,应用于电子设备中,所述方法包括:
在第一图像的尺寸大于第一目标尺寸的情况下,确定所述第一图像的至少一个分片图像,所述第一图像是带有摩尔纹的图像,所述至少一个分片图像中每个分片图像的尺寸为所述第一目标尺寸,所述第一目标尺寸为目标消除模型要求输入的图像的尺寸,所述目标消除模型为预先训练的用于消除摩尔纹的神经网络模型,且所述目标消除模型的网络结构为编码-解码结构;
通过所述目标消除模型消除所述至少一个分片图像中每个分片图像带有的摩尔纹,得到至少一个消除摩尔纹的分片图像;
基于所述至少一个消除摩尔纹的分片图像,确定消除摩尔纹的目标图像。
如此,在第一图像的尺寸较大且不符合预先训练的目标消除模型的尺寸要求的情况下,可以确定第一图像的至少一个分片图像,由于至少一个分片图像的尺寸均符合目标消除模型的尺寸要求,因此,通过目标消除模型能够消除至少一个分片图像中的摩尔纹。由于能够在第一图像的尺寸较大的情况下,通过确定第一图像的至少一个分片图像,并消除至少一个分片图像中每个分片图像的摩尔纹,来实现对第一图像中的摩尔纹的消除,从而保证能够消除各种各样尺寸的图像中的摩尔纹。又由于目标消除模型的网络结构为编码-解码结构,该种网络结构较为简单,占用内存小,从而提高了电子设备运行的效率。
作为本申请的一个示例,所述在第一图像的尺寸大于第一目标尺寸的情况下,确定所述第一图像的至少一个分片图像,包括:
在所述第一图像的尺寸大于所述第一目标尺寸的情况下,根据所述第一图像的尺寸、所述第一目标尺寸和预设重叠尺寸,确定对所述第一图像进行切片的切片数量;
在所述切片数量大于1的情况下,根据所述第一目标尺寸、所述预设重叠尺寸和所述切片数量,对所述第一图像进行切割操作,得到多个分片图像;
在所述切片数量为1的情况下,对所述第一图像进行重采样,得到第一参考图像,所述第一参考图像的尺寸为所述第一目标尺寸,所述第一参考图像为所述第一图像的分片图像。
如此,通过确定第一图像进行切片的切片数量,能够准确的选择对第一图像的处理方式,提高了对第一图像进行处理的准确性。
作为本申请的一个示例,所述在所述切片数量大于1的情况下,根据所述第一目标尺寸、所述预设重叠尺寸和所述切片数量,对所述第一图像进行切割操作,得到多个分片图像,包括:
在所述切片数量大于1的情况下,根据所述第一目标尺寸、所述预设重叠尺寸和所述切片数量,确定第二目标尺寸,所述第二目标尺寸为不需要进行重采样的尺寸,且所述第二目标尺寸大于所述第一目标尺寸;
在所述第一图像的尺寸不为所述第二目标尺寸的情况下,对所述第一图像进行重采样,得到第二参考图像,所述第二参考图像的尺寸为所述第二目标尺寸;
根据所述第一目标尺寸、所述预设重叠尺寸和所述切片数量,对所述第二参考图像进行切割操作,得到所述多个分片图像。
如此,在第一图像的尺寸不为第二目标尺寸的情况下,通过对第一图像进行重采样,从而能够保证将第一图像完整的进行切割,尽最大可能的避免了丢失第一图像的图像信息。
作为本申请的一个示例,所述在第一图像的尺寸大于第一目标尺寸的情况下,确定所述第一图像的至少一个分片图像,包括:
在所述第一图像的尺寸大于所述第一目标尺寸的情况下,根据所述第一目标尺寸和预设重叠尺寸,对所述第一图像进行切割操作,得到至少一个第三参考图像,所述至少一个第三参考图像的尺寸均不大于所述第一目标尺寸;
在所述至少一个第三参考图像中存在尺寸小于所述第一目标尺寸的第三参考图像的情况下,对尺寸小于所述第一目标尺寸的第三参考图像进行重采样,以使重采样后的第三参考图像的尺寸为所述第一目标尺寸;
将未重采样的第三参考图像和重采样后的第三参考图像均确定为所述第一图像的分片图像,得到所述至少一个分片图像。
如此,通过直接按照第一目标尺寸和预设重叠尺寸对第一图像进行切割,降低了计算复杂度,提高了切割效率。另外,通过对尺寸小于第一目标尺寸的第三参考图像进行重采样,从而保证了第一图像被切割后也能保持完整的图像信息,避免了图像信息的遗失,提高了图像切割的准确性。
作为本申请的一个示例,所述基于所述至少一个消除摩尔纹的分片图像,确定消除摩尔纹的目标图像,包括:
在所述至少一个消除摩尔纹的分片图像的数量为1的情况下,确定消除摩尔纹的分片图像为所述目标图像;
在所述至少一个消除摩尔纹的分片图像的数量为多个的情况下,融合多个消除摩尔纹的分片图像,得到所述目标图像。
如此,在至少一个消除摩尔纹的分片图像的数量不同的情况下,采用不同方式确定目标图像,从而提高了确定目标图像的可靠性。
作为本申请的一个示例,所述在所述至少一个消除摩尔纹的分片图像的数量为多个的情况下,融合多个消除摩尔纹的分片图像,得到所述目标图像,包括:
在所述至少一个消除摩尔纹的分片图像的数量为多个的情况下,确定所述多个分片图像中每个分片图像的切割位置;
根据所述每个分片图像对应的切割位置,确定所述每个分片图像对应的融合矩阵,所述融合矩阵用于使对应的分片图像中重叠部分发生色彩渐变;
分别将所述每个分片图像与对应的融合矩阵相乘,得到多个色彩渐变的分片图像;
根据所述每个分片图像的切割位置,将所述多个色彩渐变的分片图像进行融合,得到所述目标图像。
如此,通过融合矩阵融合至少一个消除摩尔纹的分片图像,从而避免了融合图像中出现明显的边界感,提升了图像显示质量。
作为本申请的一个示例,所述方法还包括:
在所述第一图像的尺寸小于所述第一目标尺寸的情况下,对所述第一图像进行重采样,得到第四参考图像,所述第四参考图像的尺寸为所述第一目标尺寸;
通过所述目标消除模型消除所述第四参考图像的摩尔纹,得到所述目标图像。
如此,在第一图像的尺寸小于第一目标尺寸的情况下,通过对第一图像进行重采样,使得到的第四参考图像的尺寸符合目标消除模型的尺寸要求,从而保证了对各类尺寸图像的摩尔纹的消除,提高了图像摩尔纹消除的可靠性。
作为本申请的一个示例,所述方法还包括:
在所述第一图像的尺寸不为所述第一目标尺寸的情况下,确定所述第一图像的至少一个分片图像之前,对所述第一图像进行滤波处理。
如此,通过对第一图像进行低通滤波处理,从而后续对第一图像进行重采样时,避免了加重对第一图像中频率混叠情况,进而在经过目标消除模型消除第一图像带有的摩尔纹后,能够有较好的去摩尔纹效果。
作为本申请的一个示例,所述通过所述目标消除模型消除所述至少一个分片图像中每个分片图像带有的摩尔纹,得到至少一个消除摩尔纹的分片图像之前,还包括:
获取训练数据,所述训练数据包括多个负样本图像和多个正样本图像,所述多个负样本图像中每个负样本图像中携带摩尔纹,所述多个正样本图像中每个正样本图像中未携带摩尔纹,所述多个负样本图像与所述多个正样本图像一一对应;
基于所述训练数据对初始消除模型进行迭代训练,以得到所述目标消除模型,所述初始消除模型的网络结构为所述编码-解码结构。
如此,由于网络结构为编码-解码结构的目标消除模型结构简单,目标消除模型占用内存较小,能够部署在电子设备中,且保证了电子设备的运行效率。
作为本申请的一个示例,所述获取训练数据,包括:
获取所述多个负样本图像,所述多个负样本图像中的每个负样本图像是通过对对应的显示屏显示内容进行拍摄得到;
对于所述多个负样本图像中的每个负样本图像,获取所述每个负样本图像对应的显示屏显示内容的截屏图像;
对所述每个负样本图像对应的截屏图像进行拓扑变换,得到所述每个负样本图像对应的拓扑变换截屏图像,所述拓扑变换截屏图像的数据特征与对应的负样本图像的数据特征相同;
将所述每个负样本图像的颜色特征迁移至对应的拓扑变换截屏图像中,得到所述每个负样本图像对应的正样本图像。
如此,通过将每个负样本图像与对应正样本图像的颜色进行统一,从而减少了模型训练过程中对于图像亮度学习的压力,可以使模型专注学习摩尔纹的去除,进而避免了后续消除摩尔纹的过程中图像颜色发生变化,降低了对图像信息的损害。
作为本申请的一个示例,所述在第一图像的尺寸大于第一目标尺寸的情况下,确定所述第一图像的至少一个分片图像,包括:
显示所述第一图像;
接收对所述第一图像的第一用户操作;
响应于所述第一用户操作,在所述第一图像的尺寸大于所述第一目标尺寸的情况下,确定所述第一图像的至少一个分片图像。
如此,通过响应于用户触发的第一用户操作,来进行第一图像中摩尔纹的消除操作,提高了与用户之间的交互性。
第二方面,提供了一种电子设备,所述电子设备的结构中包括处理器和存储器,所述存储器用于存储支持电子设备执行上述第一方面所提供的摩尔纹的消除方法的程序,以及存储用于实现上述第一方面所述的摩尔纹的消除方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述电子设备还可以包括通信总线,所述通信总线用于在所述处理器与所述存储器之间建立连接。
第三方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的摩尔纹的消除方法。
第四方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的摩尔纹的消除方法。
上述第二方面、第三方面和第四方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
附图说明
图1是本申请实施例提供的一种显示屏通过离散显示的像素点来显示内容的示意图;
图2是本申请实施例提供的一种摄像头通过离散采集方式采集图像的示意图;
图3是本申请实施例提供的一种带有摩尔纹的图像示意图;
图4是本申请实施例提供的一种金字塔结构的神经网络模型的示意图;
图5是本申请实施例提供的一种应用场景的示意图;
图6是本申请实施例提供的另一种应用场景的示意图;
图7是本申请实施例提供的一种电子设备的软件***的框图;
图8是本申请实施例提供的一种摩尔纹的消除方法流程示意图;
图9是本申请实施例提供的一种预设重叠尺寸的示意图;
图10是本申请实施例提供的一种通过不同二值图像表示不同融合矩阵的示意图;
图11是本申请实施例提供的一种通过不同方式融合分片图像的对比示意图;
图12是本申请实施例提供的一种低通滤波对摩尔纹的影响对比示意图;
图13是本申请实施例提供的另一种摩尔纹的消除方法流程示意图;
图14是本申请实施例提供的一种模型训练方法的流程示意图;
图15是本申请实施例提供的一种不同深度信息的负样本图像的示意图;
图16是本申请实施例提供的一种对每个负样本图像对应的截屏图像的处理流程示意图;
图17是本申请实施例提供的一种去摩尔纹过程中影响图像信息的效果图;
图18是本申请实施例提供的另一种摩尔纹的消除方法流程示意图;
图19是本申请实施例提供的另一种摩尔纹的消除方法流程示意图;
图20是本申请实施例提供的另一种模型训练方法的流程示意图;
图21是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
应当理解的是,本申请提及的“多个”是指两个或两个以上。在本申请的描述中,除非另有说明,“/”表示或的意思,比如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,比如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请的技术方案,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
在一种场景中,用户在使用诸如手机等电子设备的情况下,可能会需要使用电子设备的摄像头对其他显示屏中显示的内容进行拍摄,由于显示屏是通过离散显示的像素点来显示内容的(示例性地,如图1所示),且摄像头也是通过离散采样的方式采集图像,示例性地,参见图2中的(a)图或图2中的(b)图,摄像头对景物进行拍摄后,得到离散形式的图像。这样一来,若电子设备的摄像头的采样频率小于所拍摄的显示屏的条纹变化频率,则电子设备通过摄像头采集的图像中会产生摩尔纹(示例性地,如图3所示),该摩尔纹将会影响图像的显示质量,因此,通常需要消除图像中的摩尔纹。
目前,在需要消除图像中的摩尔纹的情况下,可以将带有摩尔纹的图像输入至预先训练好的用于消除摩尔纹的神经网络模型中,比如,该消除摩尔纹的神经网络模型可以为onnx模型,通过该onnx模型可以消除图像中的摩尔纹。
但是,为了保证能够消除各种各样尺寸的摩尔纹,消除摩尔纹的神经网络模型通常为金字塔结构(示例性地,如图4所示)的神经网络模型,而金字塔结构的神经网络模型占用内存较多,降低了电子设备运行的效率。若将金字塔结构的神经网络模型布置于云端,虽然解决了运行效率低的问题,但是在使用过程中需联网使用,使用不便利,且可能会造成用户隐私的泄露。
为了保证能够消除各种各样尺寸的图像中的摩尔纹,也为了降低神经网络模型占用的内存,以提高电子设备的运行效率,本申请实施例提供了一种摩尔纹的消除方法,该方法中,在第一图像的尺寸较大且不符合预先训练的目标消除模型的尺寸要求的情况下,可以确定第一图像的至少一个分片图像,至少一个分片图像的尺寸均符合目标消除模型的尺寸要求,该目标消除模型的网络结构为编码-解码结构,通过目标消除模型能够消除至少一个分片图像中的摩尔纹。由于能够在第一图像的尺寸较大的情况下,通过确定第一图像的至少一个分片图像,并消除至少一个分片图像中每个分片图像的摩尔纹,来实现对第一图像中的摩尔纹的消除,从而保证能够消除各种各样尺寸的图像中的摩尔纹。又由于目标消除模型的网络结构为编码-解码结构,该种网络结构较为简单,占用内存小,从而提高了电子设备运行的效率。且由于目标消除模型结构简单,无需部署在云端,避免了用户隐私的泄露。
为了便于理解,在对本申请实施例提供的摩尔纹的消除方法进行详细介绍之前,接下来以电子设备是手机为例,对本申请实施例涉及的应用场景进行介绍。
请参考图5,图5是根据一示例性实施例示出的一种应用场景的示意图。在一种可能的场景中,用户在使用手机的过程中,可能需要对其他电子设备的显示屏所显示内容进行拍照,比如,对显示屏所显示的文字进行拍照,该种情况下,参见图5中的(a)图,用户可以通过手机的摄像头采集显示屏中所显示的内容,若手机摄像头的采样频率小于显示屏的条纹变化率,那么参见图5中的(b)图,手机显示屏中所显示的拍摄图像中将带有摩尔纹(本申请实施例的附图中以条纹图案表示摩尔纹)。为了消除拍摄图像中的摩尔纹,用户可以点击当前界面显示的“摩尔纹消除”按钮;手机响应于对“摩尔纹消除”按钮的点击操作,在拍摄图像的尺寸大于第一目标尺寸的情况下,可以对拍摄图像进行重采样和/或切割,以确定拍摄图像的至少一个分片图像;通过预先训练得到的目标消除模型消除至少一个分片图像中每个分片图像中带有的摩尔纹,得到至少一个消除摩尔纹的分片图像;之后,基于至少一个消除摩尔纹的分片图像,显示如图5中的(c)图所示的消除摩尔纹的拍摄图像。
需要说明的是,第一目标尺寸为目标消除模型要求输入的图像的尺寸,且该第一目标尺寸可以根据需求预先进行设置,该第一目标尺寸可以为1024(每行像素点数)*1024(每列像素点数)、2048*1024或2048*2048等,本申请实施例以第一目标尺寸为1024*1024为例进行说明。
在另一种应用场景中,手机在得到消除摩尔纹的拍摄图像后,可以将带有摩尔纹的拍摄图像和消除摩尔纹的拍摄图像均进行存储。
在另一种应用场景中,手机采集到拍摄图像的情况下,还能够自动识别该拍摄图像中是否携带摩尔纹,并在识别到该拍摄图像中携带摩尔纹的情况下,无需用户手动触发,手机可以自动按照上述图5场景中描述的方式通过目标消除模型消除拍摄图像中的摩尔纹,以得到消除摩尔纹的拍摄图像。
请参考图6,图6是根据一示例性实施例示出的一种应用场景的示意图。在一种可能的场景中,用户通过手机获得多个带有摩尔纹的图像后,可以批量消除该多个图像中的摩尔纹。比如,参见图6中的(a)图,手机在显示图片选择界面的情况下,用户可以选择需要消除摩尔纹的图像;响应于用户的选择操作,参见图6中的(b)图,将用户选中的图像所对应选中标识突出显示(本申请实施例的附图中以选中标识为圆形,且圆形涂黑表示选中标识的突出显示)。在用户选择完毕后,可以点击“摩尔纹消除”按钮;手机响应于对“摩尔纹消除”按钮的点击操作,可以通过目标消除模型依次消除选中的图像中带有的摩尔纹。其中,针对选中的每个图像,在选中的图像的尺寸大于第一目标尺寸的情况下,可以对选中的图像进行重采样和/或切割,以确定选中的图像的至少一个分片图像;然后通过目标消除模型消除至少一个分片图像中每个分片图像中带有的摩尔纹,得到至少一个消除摩尔纹的分片图像;之后,基于至少一个消除摩尔纹的分片图像,显示如图6中的(c)图所示的多个消除摩尔纹的图像。
需要说明的是,本申请实施例中仅以上述图5或图6所示的应用场景为例进行说明,并不对本申请实施例构成限定。
接下来对电子设备100的软件***予以说明。
电子设备100的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的安卓(Android)***为例,对电子设备100的软件***进行示例性说明。
图7是本申请实施例提供的一种电子设备100的软件***的框图。参见图7,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android***分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和***层,以及内核层。
应用程序层可以包括一系列应用程序包。如图7所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图7所示,应用程序框架层可以包括窗口管理器,内容提供器,视图***,电话管理器,资源管理器,通知管理器等。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问,这些数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。视图***包括可视控件,比如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序的显示界面,显示界面可以由一个或多个视图组成,比如,包括显示短信通知图标的视图,包括显示文字的视图,以及包括显示图片的视图。电话管理器用于提供电子设备100的通信功能,比如通话状态的管理(包括接通,挂断等)。资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如,通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或滚动条文本形式出现在***顶部状态栏的通知,比如后台运行的应用程序的通知。通知管理器还可以是以对话窗口形式出现在屏幕上的通知,比如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块,比如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(比如:OpenGL ES),2D图形引擎(比如:SGL)等。表面管理器用于对显示子***进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,比如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别原始输入事件所对应的控件。以该触摸操作是单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用程序框架层的接口,启动相机应用,再调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
基于上述实施例提供的执行主体和应用场景,接下来对本申请实施例提供的摩尔纹的消除方法进行介绍。请参考图8,图8是根据一示例性实施例示出的一种摩尔纹的消除方法流程示意图。作为示例而非限定,电子设备中不仅可以包括上述图7所示的模块,还可以包括其他模块,比如,还可以包括摄像头、摩尔纹消除模块和多媒体数据库,图8以该方法应用于电子设备中,且以电子设备中包括的摄像头、图库、摩尔纹消除模块和多媒体数据库交互实现为例进行说明,该方法可以包括如下部分或者全部内容:
步骤801:摄像头接收用户触发的启动操作。
由于用户在使用电子设备的过程中,可能会需要使用电子设备的摄像头采集其他设备的显示屏中显示的内容,如上述图5中的(a)图所示的场景,该种情况下,用户可以触发摄像头的启动操作,从而摄像头可以接收到用户触发的启动操作。
示例性地,用户打开相机应用程序的操作可以为摄像头接收的启动操作。或者,用户在使用社交应用程序的过程中,也可能会需要使用电子设备的摄像头采集其他设备的显示屏中显示的内容,该种情况下,用户可以在社交应用程序的显示界面中触发拍照功能,用户对拍照功能的触发操作即为摄像头能够接收到的启动操作。
步骤802:响应于该启动操作,摄像头启动。
步骤803:摄像头接收采集操作。
在摄像头启动后,用户可以触发采集操作,从而摄像头可以接收到该采集操作。
步骤804:摄像头响应于采集操作采集第一图像,并将第一图像发送至图库。
步骤805:图库接收摄像头发送的第一图像,并显示第一图像。
步骤806:图库接收用户触发的摩尔纹消除操作。
由于摄像头是对其他显示屏所显示内容进行拍摄,所采集的第一图像很可能带有摩尔纹,若第一图像带有摩尔纹,则用户可以触发该摩尔纹消除操作,从而图库能够接收到该摩尔纹消除操作。
步骤807:图库响应于摩尔纹消除操作,将第一图像发送至摩尔纹消除模块。
需要说明的是,摩尔纹消除模块中包括目标消除模型,该目标消除模型为预先训练的用于消除摩尔纹的神经网络模型,因此,为了消除第一图像中带有的摩尔纹,图库可以将第一图像发送至摩尔纹消除模块。
作为一个示例,该目标消除模型的网络结构为编码-解码结构。
值得说明的是,由于目标消除模型结构简单,占用内存小,从而保证了电子设备的运行效率。
需要说明的是,目标消除模型的训练过程可以参考下述图14所示的方法,本申请实施例对此不再进行一一赘述。
步骤808:摩尔纹消除模块接收第一图像。
步骤809:摩尔纹消除模块确定第一图像的尺寸。
由于目标消除模型对输入的图像的尺寸有一定的要求,若第一图像的尺寸不符合该目标消除模型所要求的尺寸,则摩尔纹消除模块需要对第一图像进行一些处理,若第一图像的尺寸符合该目标消除模型所要求的尺寸,则能够直接通过目标消除模型消除第一图像中带有的摩尔纹。因此,为了确定摩尔纹消除模块的操作,摩尔纹消除模块需要确定第一图像的尺寸。
步骤810:在第一图像的尺寸大于第一目标尺寸的情况下,摩尔纹消除模块确定第一图像的至少一个分片图像。
需要说明的是,至少一个分片图像中每个分片图像的尺寸为第一目标尺寸,该第一目标尺寸为目标消除模型要求输入的图像的尺寸,该第一目标尺寸能够根据需求预先进行设置。
作为一个示例,在第一图像的尺寸大于第一目标尺寸的情况下,摩尔纹消除模块能够通过不同的方式确定第一图像的至少一个分片图像,接下来以下述两种方式为例进行解释说明。
在一种可能的实现方式中,摩尔纹消除模块在第一图像的尺寸大于第一目标尺寸的情况下,确定第一图像的至少一个分片图像的操作包括:在第一图像的尺寸大于第一目标尺寸的情况下,根据第一图像的尺寸、第一目标尺寸和预设重叠尺寸,确定对第一图像进行切片的切片数量;在切片数量大于1的情况下,根据第一目标尺寸、预设重叠尺寸和切片数量,对第一图像进行切割操作,得到多个分片图像;在切片数量为1的情况下,对第一图像进行重采样,得到第一参考图像,第一参考图像的尺寸为第一目标尺寸,第一参考图像为第一图像的分片图像。
在第一图像的尺寸大于第一目标尺寸的情况下,第一图像的尺寸可能略微大于第一目标尺寸,该种情况下,第一图像的尺寸不足以支持第一图像被切割,而是需要对第一图像进行重采样;当然,第一图像的尺寸也可能较大,且能够支持第一图像被切割。因此,为了确定对第一图像的处理方式,在第一图像的尺寸大于第一目标尺寸的情况下,摩尔纹消除模块可以根据第一图像的尺寸、第一目标尺寸和预设重叠尺寸,确定对第一图像进行切片的切片数量。
需要说明的是,预设重叠尺寸可以根据需求预先进行设置,且该预设重叠尺寸与第一目标尺寸相关,也即是,在横向(或称为水平方向)发生重叠的情况下,预设重叠尺寸在纵向(或称为垂直方向)上与第一目标尺寸的纵向尺寸相同,该种情况下,预设重叠尺寸可以为1024(与第一目标尺寸的纵向尺寸相同)*128(横向重叠宽度)或1024*256等;在纵向发生重叠的情况下,预设重叠尺寸在横向上与第一目标尺寸的横向尺寸相同,该种情况下,该预设重叠尺寸可以为128(纵向重叠宽度)*1024(与第一目标尺寸的横向尺寸相同)或256*1024等。示例性地,为了便于了解在不同方向发生重叠的情况下,对预设重叠尺寸的设置情况,本申请实施例提供了一种预设重叠尺寸的示意图,请参考图9。
由于第一图像的横向长度和纵向长度不一定相同,如此,摩尔纹消除模块在第一图像的横向进行切割的次数和在纵向上切割的次数不一定相同,也即是,第一图像的横向切割数量和纵向切割数量不一定相同,因此,作为一个示例,摩尔纹消除模块可以根据第一图像的尺寸、第一目标尺寸和预设重叠尺寸,分别确定第一图像的横向切割数量和纵向切割数量;将横向切割数量乘以纵向切割数量,得到对第一图像进行切片的切片数量。
在一些实施例中,摩尔纹消除模块根据第一图像的横向长度、第一目标尺寸中的横向长度和预设重叠尺寸中的横向重叠长度,通过下述第一公式确定第一图像的横向切割数量。
需要说明的是,在上述第一公式(1)中,为横向切割数量,Nrow0为第一图像的横向长度(通过横向像素数量表示),overlap0为预设重叠尺寸中的横向重叠长度(通过横向像素数量表示),patchsize0为第一目标尺寸中的横向长度(通过横向像素数量表示)。
作为一个示例,摩尔纹消除模块同样可以通过上述第一公式确定第一图像的纵向切割数量,摩尔纹消除模块可以根据第一图像的纵向长度、预设重叠尺寸中的纵向重叠长度,以及第一目标尺寸中的纵向长度,通过上述第一公式确定第一图像的纵向切割数量。且在通过第一公式确定第一图像的纵向切割数量的情况下,第一公式中各个参数为纵向相关的参数。
在一些实施例中,在第一尺寸大于第一目标尺寸且第一尺寸大于尺寸阈值的情况下,摩尔纹消除模块可以按照上述第一公式确定第一图像的横向切割数量,也可以按照下述第二公式确定第一图像的横向切割数量,本申请实施例对此不做具体限制。
需要说明的是,在上述第二公式(2)中,为横向切割数量,Nrow0为第一图像的横向长度,overlap0为预设重叠尺寸中的横向重叠长度,patchsize0为第一目标尺寸中的横向长度。
同理,摩尔纹消除模块同样可以通过上述第二公式确定第一图像的纵向切割数量,且在通过第二公式确定第一图像的纵向切割数量的情况下,第二公式中各个参数为纵向相关的参数。
需要说明的是,该尺寸阈值可以根据需求预先进行设置,比如,该尺寸阈值可以为3000个像素点、4000个像素点或5000个像素点等。
作为一个示例,在上述第二公式(2)中,摩尔纹消除模块执行“Nrow0/2”的操作情况可以是指摩尔纹消除模块将第一图像的横向尺寸采样为Nrow0/2。当然,也可以是单纯计算。
在一些实施例中,在切片数量大于1的情况下,根据第一目标尺寸、预设重叠尺寸和切片数量,对第一图像进行切割操作,得到多个分片图像的操作包括:在切片数量大于1的情况下,根据第一目标尺寸、预设重叠尺寸和切片数量,确定第二目标尺寸,第二目标尺寸为不需要进行重采样的尺寸,且第二目标尺寸大于第一目标尺寸;在第一图像的尺寸不为第二目标尺寸的情况下,对第一图像进行重采样,得到第二参考图像,第二参考图像的尺寸为第二目标尺寸;根据第一目标尺寸、预设重叠尺寸和切片数量,对第二参考图像进行切割操作,得到多个分片图像。
由于在切片数量大于1的情况下,第一图像的尺寸可能不能够正好按照第一目标尺寸和预设重叠尺寸被切割为整数个分片图像,该种情况下,需要对第一图像进行重采样,因此,为了确定是否需要对第一图像进行重采样,摩尔纹消除模块可以根据第一目标尺寸、预设重叠尺寸和切片数量,确定第二目标尺寸。
作为一个示例,摩尔纹消除模块可以根据第一目标尺寸的横向长度、预设重叠尺寸的横向重叠长度和横向切片数量,确定第二目标尺寸中的横向长度;根据第一目标尺寸的纵向长度、预设重叠尺寸的纵向重叠长度和纵向切片数量,确定第二目标尺寸中的纵向长度。
作为一个示例,摩尔纹消除模块可以根据第一目标尺寸的横向长度、预设重叠尺寸的横向重叠长度和横向切片数量,通过下述第三公式确定第二目标尺寸中的横向长度。
需要说明的是,在上述第三公式(3)中,Nrow1为第二目标尺寸的横向长度,为横向切片数量,patchsize0为第一目标尺寸的横向长度,overlap0为预设重叠尺寸的横向重叠宽度。
作为一个示例,摩尔纹消除模块同样可以通过上述第三公式确定第二目标尺寸中的纵向长度,且在通过第三公式确定第二目标尺寸中的纵向长度的情况下,第三公式中各个参数为纵向相关的参数。
在一些实施例中,摩尔纹消除模块在第一图像的尺寸不为第二目标尺寸的情况下,对第一图像进行重采样包括:在第一图像的尺寸大于第二目标尺寸的情况下,对第一图像进行下采样;在第一图像的尺寸小于第二目标尺寸的情况下,对第一图像进行上采样。
在另一种可能的实现方式中,摩尔纹消除模块在第一图像的尺寸大于第一目标尺寸的情况下,确定第一图像的至少一个分片图像的操作包括:在第一图像的尺寸大于第一目标尺寸的情况下,根据第一目标尺寸和预设重叠尺寸,对第一图像进行切割操作,得到至少一个第三参考图像,该至少一个第三参考图像的尺寸均不大于第一目标尺寸;在至少一个第三参考图像中存在尺寸小于第一目标尺寸的第三参考图像的情况下,对尺寸小于第一目标尺寸的第三参考图像进行重采样,以使重采样后的第三参考图像的尺寸为第一目标尺寸;将未重采样的第三参考图像和重采样后的第三参考图像均确定为第一图像的分片图像,得到至少一个分片图像。
由于在对第一图像进行分割时,可能正好能够将第一图像按照第一目标尺寸和预设重叠分割为整数个分片图像,也可能在按照第一目标尺寸和预设重叠尺寸对第一图像进行分割后,无法将第一图像正好按照第一目标尺寸被切割为整数个分片图像。该种情况下,至少一个第三参考图像中将存在尺寸小于第一目标尺寸的第三参考图像,因此,在至少一个第三参考图像中存在尺寸小于第一目标尺寸的第三参考图像的情况下,为了避免遗失图像信息,摩尔纹消除模块可以对尺寸小于第一目标尺寸的第三参考图像进行重采样。
需要说明的是,对尺寸小于第一目标尺寸的第三参考图像进行重采样是指对尺寸小于第一目标尺寸的第三参考图像进行上采样。
值得说明的是,通过对尺寸小于第一目标尺寸的第三参考图像进行重采样,从而保证了第一图像被切割后也能保持完整的图像信息,避免了图像信息的遗失,提高了图像切割的准确性。
作为一个示例,在至少一个第三参考图像中不存在尺寸小于第一目标尺寸的第三参考图像的情况下,即至少一个第三参考图像的尺寸均为第一目标尺寸的情况下,将至少一个第三参考图像确定为第一图像的至少一个分片图像。
步骤811:摩尔纹消除模块通过目标消除模型消除至少一个分片图像中每个分片图像带有的摩尔纹,得到至少一个消除摩尔纹的分片图像。
作为一个示例,摩尔纹消除模块能够将至少一个分片图像中每个分片图像依次输入至目标消除模型,以消除每个分片图像带有的摩尔纹。
由于目标消除模型预先经过训练,因此,通过目标消除模型能够准确消除每个分片图像带有的摩尔纹,提高了每个分片图像的显示质量。
步骤812:摩尔纹消除模块基于至少一个消除摩尔纹的分片图像,确定消除摩尔纹的目标图像。
由上述可知,第一图像的至少一个分片图像的数量可能为1个,也可能为多个,因此,至少一个消除摩尔纹的分片图像的数量也可能为1个或多个,根据消除摩尔纹的分片图像的数量的不同,摩尔纹消除模块确定消除摩尔纹的目标图像的方式也不同。
在一些实施例中,在至少一个消除摩尔纹的分片图像的数量为1的情况下,确定消除摩尔纹的分片图像为目标图像;在至少一个消除摩尔纹的分片图像的数量为多个的情况下,融合多个消除摩尔纹的分片图像,得到目标图像。
由于在消除摩尔纹的分片图像的数量为多个的情况下,说明在消除摩尔纹之前对第一图像进行了切割,因此,为了得到完整的目标图像,摩尔纹消除模块需要融合多个消除摩尔纹的分片图像。
作为一个示例,在至少一个消除摩尔纹的分片图像的数量为多个的情况下,摩尔纹消除模块融合多个消除摩尔纹的分片图像,得到目标图像的操作包括:在至少一个消除摩尔纹的分片图像的数量为多个的情况下,确定多个分片图像中每个分片图像的切割位置;根据每个分片图像对应的切割位置,确定每个分片图像对应的融合矩阵,该融合矩阵用于使对应的分片图像中重叠部分发生色彩渐变;分别将每个分片图像与对应的融合矩阵相乘,得到多个色彩渐变的分片图像;根据每个分片图像的切割位置,将多个色彩渐变的分片图像进行融合,得到目标图像。
由于在对第一图像进行切割时,相邻两个分片图像之间存在重叠部分,因此,为了使得多个分片图像在融合后图像显示地更加顺畅,摩尔纹消除模块能够根据每个分片图像对应的切割位置,确定每个分片图像与对应的融合矩阵。
需要说明的是,融合矩阵为预设的描述二值图像颜色渐变的矩阵,也即是,融合矩阵为在0-1或1-0之间发生变化的矩阵,且二值图像中颜色渐变部分用于指示图像中发生重叠的部分。示例性地,图10为本申请实施例提供的通过不同二值图像表示不同融合矩阵的示意图。其中,图10中的(a)图中示出了二值图像A和二值图像B,该二值图像A中右边部分的像素点的像素值由左向右在1-0之间发生渐变,该二值图像B的左边部分的像素点的像素值由左向右在0-1之间发生渐变。图10中的(b)图示了二值图像C和二值图像D,二值图像C中下边部分的像素点的像素值由上到下在1-0之间发生渐变,二值图像D的上边部分的像素点的像素值由上至下在0-1之间发生渐变。
在一些实施例中,摩尔纹消除模块根据每个分片图像对应的切割位置,确定每个分片图像对应的融合矩阵的操作包括:根据每个分片图像对应的切割位置,确定每个分片图像的边框与第一图像的边框发生重叠的重叠数量及重叠位置;根据每个分片图像对应的重叠数量及重叠位置,确定每个分片图像对应的融合矩阵。
需要说明的是,分片图像的边框与第一图像的边框发生重叠是指分片图像的边框与第一图像的边框的部分发生重叠。
作为一个示例,在重叠数量为4,且重叠位置分别为左边框、右边框、上边框和下边框的情况下,确定不存在对应的融合矩阵。
由于在重叠数量为4,且重叠位置分别为左边框、右边框、上边框和下边框的情况下,说明并未对第一图像进行切割,该种情况下,无需进行分片图像的融合,因此,不存在对应的融合矩阵。另外,该种情况下,由于未进行切割,摩尔纹消除模块也可以不进行融合矩阵的确定操作。本申请实施例对此不作具体限制。
作为一个示例,在重叠数量为3,且重叠位置分别为左边框、上边框和下边框的情况下,确定该分片图像对应的融合矩阵为右边部分的像素点的像素值发生颜色渐变的融合矩阵;在重叠数量为3,且重叠位置分别为右边框、上边框和下边框的情况下,确定该分片图像对应的融合矩阵为左边部分的像素点的像素值发生颜色渐变的融合矩阵;在重叠数量为3,且重叠位置分别为左边框、上边框和右边框的情况下,确定该分片图像对应的融合矩阵为下边部分的像素点的像素值发生颜色渐变的融合矩阵;在重叠数量为3,且重叠位置分别为左边框、下边框和右边框的情况下,确定该分片图像对应的融合矩阵为上边部分的像素点的像素值发生颜色渐变的融合矩阵。示例性地,该各个融合矩阵可以参考上述图10中所示的各个二值图像所指示的融合矩阵。
作为一个示例,在重叠数量为2,且重叠位置分别为左边框和上边框的情况下,确定该分片图像对应的融合矩阵为右边部分的像素点的像素值发生颜色渐变的融合矩阵,以及下边部分的像素点的像素值发生颜色渐变的融合矩阵;在重叠数量为2,且重叠位置分别为左边框和下边框的情况下,确定该分片图像对应的融合矩阵为右边部分的像素点的像素值发生颜色渐变的融合矩阵,以及上边部分的像素点的像素值发生颜色渐变的融合矩阵;在重叠数量为2,且重叠位置分别为右边框和上边框的情况下,确定该分片图像对应的融合矩阵为左边部分的像素点的像素值发生颜色渐变的融合矩阵,以及下边部分的像素点的像素值发生颜色渐变的融合矩阵;在重叠数量为2,且重叠位置分别为右边框和下边框的情况下,确定该分片图像对应的融合矩阵为左边部分的像素点的像素值发生颜色渐变的融合矩阵,以及上边部分的像素点的像素值发生颜色渐变的融合矩阵。
作为一个示例,在重叠数量为1,且重叠位置分别为左边框的情况下,确定该分片图像对应的融合矩阵为右边部分的像素点的像素值发生颜色渐变的融合矩阵、上边部分的像素点的像素值发生颜色渐变的融合矩阵和下边部分的像素点的像素值发生颜色渐变的融合矩阵;在重叠数量为1,且重叠位置分别为右边框的情况下,确定该分片图像对应的融合矩阵为左边部分的像素点的像素值发生颜色渐变的融合矩阵、上边部分的像素点的像素值发生颜色渐变的融合矩阵和下边部分的像素点的像素值发生颜色渐变的融合矩阵;在重叠数量为1,且重叠位置分别为上边框的情况下,确定该分片图像对应的融合矩阵为左边部分的像素点的像素值发生颜色渐变的融合矩阵、右边部分的像素点的像素值发生颜色渐变的融合矩阵和下边部分的像素点的像素值发生颜色渐变的融合矩阵;在重叠数量为1,且重叠位置分别为下边框的情况下,确定该分片图像对应的融合矩阵为左边部分的像素点的像素值发生颜色渐变的融合矩阵、右边部分的像素点的像素值发生颜色渐变的融合矩阵和上边部分的像素点的像素值发生颜色渐变的融合矩阵。
作为一个示例,在重叠数量为0的情况下,确定该分片图像对应的融合矩阵为左边部分的像素点的像素值发生颜色渐变的融合矩阵、右边部分的像素点的像素值发生颜色渐变的融合矩阵、上边部分的像素点的像素值发生颜色渐变的融合矩阵和下边部分的像素点的像素值发生颜色渐变的融合矩阵。
作为一个示例,摩尔纹消除模块可以将每个分片图像的边框像素点在预设坐标系的坐标位置与第一图像的边框像素点在预设坐标系中的坐标位置进行比较,以确定每个分片图像对应的重叠边框和重叠数量。示例性地,在分片图像的上边框中任意一个像素点的纵坐标与第一图像的上边框中任意一个像素点的纵坐标相同的情况下,确定分片图像的上边框与第一图像的上边框发生重叠。
需要说明的是,分片图像与第一图像所在坐标系为同一个坐标系,该预设坐标系可以是以第一图像的左上顶点为原点,上边框所在直线为X轴(横坐标),左边框所在直线为Y轴(纵坐标)建立的坐标系,也可以是按照其他方式建立的坐标系,本申请实施例对此不作具体限制。
作为一个示例,摩尔纹消除模块可以根据每个分片图像的边框与第一图像的边框发生重叠的重叠数量及重叠位置,确定对应的融合矩阵,也可以根据其他方式确定,比如,还可以确定分片图像的四个顶点相对于第一图像的位置确定,确定方式同样可以根据四个顶点在预设坐标系中的坐标与第一图像的四个顶点和/或四个边框在预设坐标系的位置确定,本申请实施例对此不再进行一一赘述。
需要说明的是,由于融合矩阵中指示颜色渐变部分为图像中发生重叠的部分,因此,多个色彩渐变的分片图像中每个分片图像中发生色彩渐变的部分为每个分片图像中发生重叠的部分。
在一些实施例中,摩尔纹消除模块根据每个分片图像的切割位置,将多个色彩渐变的分片图像进行融合,得到目标图像的操作包括:根据每个分片图像的切割位置,将多个色彩渐变的分片图像按照切割顺序进行排序,该切割顺序用于指示多个色彩渐变的分片图像在第一图像中的对应位置;将排序后的多个色彩渐变的分片图像中相邻两个色彩渐变的分片图像进行融合,得到目标图像。
作为一个示例,摩尔纹消除模块可以将相邻两个色彩渐变的分片图像中重叠部分进行融合。融合方式可以为将相邻两个色彩渐变的分片图像中重叠部分进行相加。示例性地,摩尔纹消除模块将相邻两个色彩渐变的分片图像中重叠部分进行融合的场景可以参考图10中的(a)图和(b)图所示场景。
在一些实施例中,摩尔纹消除模块还能够通过其他方式融合多个消除摩尔纹的分片图像,比如,摩尔纹消除模块还能够通过泊松融合、多频段融合等方法融合多个消除摩尔纹的分片图像,本申请实施例对此不作具体限制。
在一些实施例中,摩尔纹消除模块在对第一图像进行切割过程中,相邻两个分片图像之间可以不存在重叠部分,也即是,在对第一图像进行切割过程中不设置预设重叠尺寸。在得到多个消除摩尔纹的分片图像后,可以直接将多个消除摩尔纹的分片图像进行拼接,该过程不是融合操作,从而导致拼接后的目标图像中存在明显的边界感,如图11中的(a)图所示,拼接后的目标图像中存在明显的边界感,导致图像显示质量不理想。因此,为了改善图像显示质量,摩尔纹消除模块可以按照上述步骤810的操作切割第一图像,由于能够将相邻两个分片图像之间的重叠部分进行融合,从而保证图像融合后没有明显边界感,提升了图像显示质量,如图11中的(b)图所示。
在一些实施例中,第一图像的尺寸可能大于第一目标尺寸,当然,第一图像的尺寸还可能小于或等于第一目标尺寸,在第一图像的尺寸小于或等于第一目标尺寸的情况下,摩尔纹消除模块可以通过其他方式消除第一图像带有的摩尔纹。
作为一个示例,在第一图像的尺寸小于第一目标尺寸的情况下,可以对第一图像进行重采样,得到第四参考图像,该第四参考图像的尺寸为第一目标尺寸;通过目标消除模型消除第四参考图像的摩尔纹,得到目标图像。在第一图像的尺寸等于第一目标尺寸的情况下,摩尔纹消除模块可以直接通过目标消除模型消除第一图像的摩尔纹,得到目标图像。
值得说明的是,在第一图像的尺寸小于第一目标尺寸的情况下,通过对第一图像进行重采样,使得到的第四参考图像的尺寸符合目标消除模型的尺寸要求,从而保证了对各类尺寸图像的摩尔纹的消除,提高了图像摩尔纹消除的可靠性。
在一些实施例中,在第一图像的尺寸不为第一目标尺寸的情况下,摩尔纹消除模块确定第一图像的至少一个分片图像之前,还可以对第一图像进行滤波处理。
由于第一图像中带有摩尔纹,在第一图像的尺寸不为第一目标尺寸的情况下,需要对第一图像进行切割和/或重采样,而对第一图像进行重采样可能会加重第一图像中的摩尔纹,因此,为了避免因重采样加重第一图像中的摩尔纹,摩尔纹消除模块在确定第一图像的至少一个分片图像之前,还可以对第一图像进行低通滤波处理。
示例性地,为了直观地了解低通滤波对重采样的影响,本申请实施例通过图12的对比示意图来说明低通滤波如何降低摩尔纹的加重。参见图12,在采集显示屏所显示内容得到第一图像后,第一图像的显示频率与显示屏显示内容的频率相比明显发生变化,第一图像中显示频率发生了混叠,从而产生了摩尔纹,在此基础上若是进行重采样,则明显加重了频率混叠,进而加重了重采样后的第一图像中的摩尔纹。若在重采样之前,对第一图像进行低通滤波,则明显能够减少频率的混叠,从而在对滤波后的第一图像进行重采样后,并没有加重频率混叠,进而也没有导致第一图像中的摩尔纹加重,那么在经过目标消除模型消除第一图像带有的摩尔纹后,能够有较好的去摩尔纹效果。
步骤813:摩尔纹消除模块将目标图像发送至多媒体数据库。
步骤814:多媒体数据库接收目标图像。
步骤815:多媒体数据库存储目标图像,并将目标图像发送至图库。
需要说明的是,多媒体数据库可以同时存储目标图像和第一图像,从而避免了图像信息的丢失。
步骤816:图库接收目标图像,并显示目标图像。
在本申请该实施例中,在第一图像的尺寸较大且不符合预先训练的目标消除模型的尺寸要求的情况下,可以确定第一图像的至少一个分片图像,由于至少一个分片图像的尺寸均符合目标消除模型的尺寸要求,因此,通过目标消除模型能够消除至少一个分片图像中的摩尔纹。由于能够在第一图像的尺寸较大的情况下,通过确定第一图像的至少一个分片图像,并消除至少一个分片图像中每个分片图像的摩尔纹,来实现对第一图像中的摩尔纹的消除,从而保证能够消除各种各样尺寸的图像中的摩尔纹。又由于目标消除模型的网络结构为编码-解码结构,该种网络结构较为简单,占用内存小,从而提高了电子设备运行的效率。
由于电子设备中不仅可以包括摄像头、图库、摩尔纹消除模块和多媒体数据库,还可以包括其他模块,比如,电子设备还可以包括文件扫描模块,电子设备还可以通过摄像头、文件扫描模块和摩尔纹消除模块实现摩尔纹的消除。请参考图13,图13是根据另一示例性实施例示出的一种摩尔纹的消除方法流程示意图,作为示例而非限定,这里以该方法应用于电子设备中,且以电子设备中包括的摄像头、文件扫描模块和摩尔纹消除模块交互实现为例进行说明,该方法可以包括如下部分或者全部内容:
步骤1301:文件扫描模块接收用户触发的文件扫描操作。
步骤1302:文件扫描模块响应于文件扫描操作,向摄像头发送启动消息。
步骤1303:摄像头接收启动消息并启动。
步骤1304:摄像头采集第一图像,并将第一图像发送至文件扫描模块。
步骤1305:文件扫描模块接收第一图像,并显示第一图像。
步骤1306:文档扫描模块接收用户触发的摩尔纹消除操作。
步骤1307:文档扫描模块将第一图像发送至摩尔纹消除模块。
步骤1308-步骤1312的操作可以参考上述步骤808-步骤812的操作,本申请实施例对此不再进行一一赘述。
在本申请该实施例中,在第一图像的尺寸较大且不符合预先训练的目标消除模型的尺寸要求的情况下,可以确定第一图像的至少一个分片图像,由于至少一个分片图像的尺寸均符合目标消除模型的尺寸要求,因此,通过目标消除模型能够消除至少一个分片图像中的摩尔纹。由于能够在第一图像的尺寸较大的情况下,通过确定第一图像的至少一个分片图像,并消除至少一个分片图像中每个分片图像的摩尔纹,来实现对第一图像中的摩尔纹的消除,从而保证能够消除各种各样尺寸的图像中的摩尔纹。又由于目标消除模型的网络结构为编码-解码结构,该种网络结构较为简单,占用内存小,从而提高了电子设备运行的效率。
接下来,本申请实施例对电子设备训练得到目标消除模型的方法流程进行解释说明。请参考图14,图14是本申请实施例提供的一种模型训练方法的流程示意图,作为示例而非限定,这里以该方法应用于电子设备中为例进行说明,该方法可以包括如下部分或者全部内容:
步骤1401:电子设备获取多个负样本图像。
需要说明的是,多个负样本图像中的每个负样本图像是通过对对应的显示屏显示内容进行拍摄得到,多个负样本图像中每个负样本图像中携带摩尔纹。
在一些实施例中,该多个负样本图像可以是电子设备通过自身摄像头采集得到,也可以是其他设备的拍摄后发送给电子设备的。
需要说明的是,该多个负样本图像可以是包括不同尺寸的多个负样本图像,也可以是尺寸相同的多个负样本图像,且在拍摄得到该多个负样本图像时,摄像头距离对应的显示屏的距离可以相同,也可以不相同,也即是,多个负样本图像的深度信息可以相同,也可以不相同,本申请实施例对此不作具体限制。当然,拍摄时摄像头距离显示屏所显示内容的距离不同,采集的图像中产生的摩尔纹严重程度也不同,示例性地,参见图15,从人眼看,距离显示屏20厘米处采集的图像中摩尔纹情况较轻,距离显示屏10厘米处采集的图像中摩尔文情况较严重。因此,通常情况下,为了增加训练数据的多样性,该多个负样本图像的深度信息不同。
步骤1402:对于多个负样本图像中的每个负样本图像,电子设备获取每个负样本图像对应的显示屏显示内容的截屏图像。
由于正样本图像要求不带有摩尔纹,且对显示屏所显示内容直接进行截屏所得到的截屏图像不会带有摩尔纹,因此,电子设备可以获取每个负样本图像对应的显示屏显示内容的截屏图像。
在一些实施例中,电子设备可以直接将获得的截屏图像确定为正样本图像,但是为了减小模型训练的压力,电子设备还可以对截屏图像进行一些处理,以得到正样本图像。电子设备对每个负样本图像对应的截屏图像的处理可以参考下述步骤1403-步骤1404。
步骤1403:对每个负样本图像对应的截屏图像进行拓扑变换,得到每个负样本图像对应的拓扑变换截屏图像。
需要说明的是,拓扑变换截屏图像的数据特征与对应的负样本图像的数据特征相同。
由于每个负样本图像对应显示屏内容在被拍摄的过程中,摄像头可能并不是正对显示屏,且负样本图像中除了显示屏内容,还可能会存在其他背景图案,为了保证截屏图像与对应负样本图像之间数据特征的一致性,电子设备可以对每个负样本图像对应的截屏图像进行拓扑变换。
作为一个示例,电子设备可以分别提取每个负样本图像的特征点和对应的截屏图像的特征点,根据每个负样本图像的特征点和对应的截屏图像的特征点,对每个负样本图像对应的截图图像进行拓扑变换,得到每个负样本图像对应的拓扑变换截屏图像。
示例性地,参见图16,电子设备获取的其中一个负样本图像A和对应的截屏图像A可以如图16所示,电子设备对截屏图像A进行拓扑变换后,得到的拓扑变换后的截屏图像A的数据特征与负样本图像A的数据特征一致。
步骤1404:将每个负样本图像的颜色特征迁移至对应的拓扑变换截屏图像中,得到每个负样本图像对应的正样本图像。
需要说明的是,每个负样本图像对应的正样本图像中未携带摩尔纹,多个负样本图像与多个正样本图像一一对应,且多个负样本图像与多个正样本图像构成进行模型训练的训练数据。
通常情况下,电子设备可以直接将拓扑变换截屏图像确定为正样本图像,该种情况下,电子设备可以根据下述步骤1405的操作进行模型训练,得到的消除模型可以去除图像带有的摩尔纹,同时也对图像原有信息造成损害,或使人物图像不美观,比如,参见图17,对于人物图像,通过消除模型消除摩尔纹后,同时可能会导致图像中人物颜色过暗,影响人物美观;对于原本色彩较暗的图像,通过消除模型消除摩尔纹后,同时可能会导致图像更暗,进而导致用户无法看清图像中的信息;对于一些图像,通过消除模型消除摩尔纹后,还可能会导致图像中部分内容过亮或图像信息丢失,同样会导致用户无法看清图像中的信息。因此,为了避免后续在通过训练后的消除模型消除任意一个图像带有的摩尔纹的过程中,导致该任意一个图像颜色发生变换,电子设备可以统一每个负样本图像与对应的拓扑变换截屏图像的颜色。通常情况下,电子设备可以将每个负样本图像的颜色特征迁移至对应的拓扑变换截屏图像中,从而得到每个负样本图像对应的正样本图像。
在一些实施例中,电子设备将每个负样本图像的颜色特征迁移至对应的拓扑变换截屏图像中的操作可以参考相关技术,示例性地,参见图16,电子设备可以根据拓扑变换截屏图像的数据特征的颜色确定拓扑变换截屏图像中的MASK(蒙版)区域,并对MASK区域进行开运算,以保证MASK区域内的像素点的颜色均为黑色。之后基于MASK区域与Reinhard准则完成颜色迁移。
作为一个示例,电子设备可以基于MASK区域与Reinhard准则通过下述第四公式进行颜色迁移。
需要说明的是,在上述第四公式中,I原lab为拓扑变换截屏图像中的MASK区域在LAB(Lab color space)空间的像素值,I参考lab为对应负样本图像中的MASK区域在lab空间的像素值,mean()表示取均值,var()表示取方差。
由于拓扑变换截图区域的数据特征与对应负样本图像的数据特征相同,因此,拓扑变换截屏图像中的MASK区域与对应负样本图像的MASK区域相同。
步骤1405:基于训练数据对初始消除模型进行迭代训练,以得到目标消除模型。
需要说明的是,初始消除模型的网络结构为编码-解码结构,示例性地,该初始消除模型可以为U-net模型。
在一些实施例中,模型可以设置有损失函数,且该损失函数在模型训练阶段使用,每批训练数据输入初始消除模型后,通过前向传播输出预测值,通过损失函数可以计算出预测值和真实值之间的差异值(也称为损失值)。得到损失值之后,初始消除模型通过反向传播去更新各个参数,来降低真实值与预测值之间的损失,使得生成的预测值向真实值方向接近,从而达到训练的目的。该目标消除模型的损失函数可以如下所示。
需要说明的是,在上述损失函数(5)中,IGT为拓扑变换截屏图像的数据,为目标消除模型的输出数据,L为损失函数的损失值,/>为Charbonnier Loss(损失),为Perceptual Loss(感知损失),/>为梯度loss,/>为SSIM loss(图像质量损失函数)。
在一些实施例中,损失函数可以如上述所示,也可以是其他损失函数,比如,该损失函数是由Charbonnier Loss、Perceptual Loss、梯度loss和SSIM loss中的至少一个构成的损失函数,本申请实施例对此不作具体限制。
在一些实施例中,电子设备可以在损失函数的损失值小于预设值的情况下,确定完成迭代训练,以得到目标消除模型,该预设值可以根据需求预先进行设置。
在本申请实施例中,通过将每个负样本图像与对应正样本图像的颜色进行统一,从而减少了模型训练过程中对于图像亮度学习的压力,可以使模型专注学习摩尔纹的去除,进而避免了后续消除摩尔纹的过程中图像颜色发生变化,降低了对图像信息的损害。
接下来,参考图18,图18是本申请实施例提供的一种摩尔纹的消除方法的流程示意图,作为示例而非限定,这里以该方法应用于电子设备中为例进行说明,该方法可以包括如下部分或者全部内容:
步骤1801:显示第一图像。
需要说明的是,该第一图像是带有摩尔纹的图像。该第一图像可以是电子设备通过摄像头对显示屏所显示内容拍摄得到,也可以是其他设备发送给电子设备,本申请实施例对此不做具体限制。示例性地,参见图19,电子设备显示第一图像,该第一图像为带有摩尔纹的图像,也即是,电子设备获取到摩尔纹图像。
步骤1802:接收对第一图像的第一用户操作。
由于第一图像带有的摩尔纹会影响图像的显示质量,为了提高第一图像的显示质量,用户可以进行一些操作来使得电子设备消除第一图像中带有的摩尔纹。示例性地,该场景可以参考上述图5或图6所示的应用场景。
步骤1803:响应于第一用户操作,在第一图像的尺寸大于第一目标尺寸的情况下,确定第一图像的至少一个分片图像。
需要说明的是,该至少一个分片图像中每个分片图像的尺寸为第一目标尺寸。
值得说明的是,通过响应于用户触发的第一用户操作,来进行第一图像中摩尔纹的消除操作,提高了与用户之间的交互性。
在一些实施例中,电子设备可以响应于第一用户操作,在第一图像的尺寸大于第一目标尺寸的情况下,确定第一图像的至少一个分片图像。也可以在其他情况下,在第一图像的尺寸大于第一目标尺寸的情况下,确定第一图像的至少一个分片图像,比如,电子设备可以自动识别第一图像中是否带有摩尔纹,并在识别在第一图像中带有摩尔纹,且第一图像的尺寸大于第一目标尺寸的情况下,确定第一图像的至少一个分片图像。
由于针对不同尺寸的第一图像,电子设备采用不同方式消除第一图像中带有的摩尔纹,因此,电子设备需要确定第一图像的尺寸,并在第一图像的尺寸大于第一目标尺寸的情况下,确定第一图像的至少一个分片图像。
作为一个示例,在第一图像的尺寸大于第一目标尺寸的情况下,电子设备能够通过不同的方式确定第一图像的至少一个分片图像,接下来以下述两种方式为例进行解释说明。
在一种可能的实现方式中,在第一图像的尺寸大于第一目标尺寸的情况下,确定第一图像的至少一个分片图像的操作包括:在第一图像的尺寸大于第一目标尺寸的情况下,根据第一图像的尺寸、第一目标尺寸和预设重叠尺寸,确定对第一图像进行切片的切片数量;在切片数量大于1的情况下,根据第一目标尺寸、预设重叠尺寸和切片数量,对第一图像进行切割操作,得到多个分片图像;在切片数量为1的情况下,对第一图像进行重采样,得到第一参考图像,第一参考图像的尺寸为第一目标尺寸,第一参考图像为第一图像的分片图像。
需要说明的是,在第一图像的尺寸大于第一目标尺寸的情况下,电子设备确定第一图像的至少一个分片图像的具体方式可以参考上述步骤810中摩尔纹消除模块确定第一图像的至少一个分片图像的操作,本申请实施例对此不再进行一一赘述。
值得说明的是,通过确定第一图像进行切片的切片数量,能够准确的选择对第一图像的处理方式,提高了对第一图像进行处理的准确性。
在一些实施例中,在切片数量大于1的情况下,根据第一目标尺寸、预设重叠尺寸和切片数量,对第一图像进行切割操作,得到多个分片图像的操作包括:在切片数量大于1的情况下,根据第一目标尺寸、预设重叠尺寸和切片数量,确定第二目标尺寸,第二目标尺寸为不需要进行重采样的尺寸,且第二目标尺寸大于第一目标尺寸;在第一图像的尺寸不为第二目标尺寸的情况下,对第一图像进行重采样,得到第二参考图像,第二参考图像的尺寸为第二目标尺寸;根据第一目标尺寸、预设重叠尺寸和切片数量,对第二参考图像进行切割操作,得到多个分片图像。
需要说明的是,在切片数量大于1的情况下,电子设备根据第一目标尺寸、预设重叠尺寸和切片数量,对第一图像进行切割操作,得到多个分片图像的具体操作可以上述步骤810中摩尔纹消除模块根据第一目标尺寸、预设重叠尺寸和切片数量,对第一图像进行切割操作,得到多个分片图像的操作,本申请实施例对此不再进行一一赘述。
值得说明的是,在第一图像的尺寸不为第二目标尺寸的情况下,通过对第一图像进行重采样,从而能够保证将第一图像完整的进行切割,尽最大可能的避免了丢失第一图像的图像信息。
在一些实施例中,电子设备在第一图像的尺寸不为第二目标尺寸的情况下,对第一图像进行重采样包括:在第一图像的尺寸大于第二目标尺寸的情况下,对第一图像进行下采样;在第一图像的尺寸小于第二目标尺寸的情况下,对第一图像进行上采样。
在另一种可能的实现方式中,在第一图像的尺寸大于第一目标尺寸的情况下,确定第一图像的至少一个分片图像的操作包括:在第一图像的尺寸大于第一目标尺寸的情况下,根据第一目标尺寸和预设重叠尺寸,对第一图像进行切割操作,得到至少一个第三参考图像,至少一个第三参考图像的尺寸均不大于第一目标尺寸;在至少一个第三参考图像中存在尺寸小于第一目标尺寸的第三参考图像的情况下,对尺寸小于第一目标尺寸的第三参考图像进行重采样,以使重采样后的第三参考图像的尺寸为第一目标尺寸;将未重采样的第三参考图像和重采样后的第三参考图像均确定为第一图像的分片图像,得到至少一个分片图像。
需要说明的是,在第一图像的尺寸大于第一目标尺寸的情况下,电子设备确定第一图像的至少一个分片图像的操作可以参考上述步骤810中摩尔纹消除模块在第一图像的尺寸大于第一目标尺寸的情况下,在另一种可能的实现方式中确定第一图像的至少一个分片图像的操作,本申请实施例对此不再进行一一赘述。
值得说明的是,通过直接按照第一目标尺寸和预设重叠尺寸对第一图像进行切割,降低了计算复杂度,提高了切割效率。另外,通过对尺寸小于第一目标尺寸的第三参考图像进行重采样,从而保证了第一图像被切割后也能保持完整的图像信息,避免了图像信息的遗失,提高了图像切割的准确性。
步骤1804:通过目标消除模型消除至少一个分片图像中每个分片图像带有的摩尔纹,得到至少一个消除摩尔纹的分片图像。
需要说明的是,目标消除模型为预先训练的用于消除摩尔纹的神经网络模型,且目标消除模型的网络结构为编码-解码结构。
在一些实施例中,第一图像的尺寸可能大于第一目标尺寸,当然,第一图像的尺寸还可能小于或等于第一目标尺寸,在第一图像的尺寸小于或等于第一目标尺寸的情况下,电子设备可以通过其他方式消除第一图像带有的摩尔纹。
作为一个示例,在第一图像的尺寸小于第一目标尺寸的情况下,可以对第一图像进行重采样,得到第四参考图像,该第四参考图像的尺寸为第一目标尺寸;通过目标消除模型消除第四参考图像的摩尔纹,得到目标图像。在第一图像的尺寸等于第一目标尺寸的情况下,电子设备可以直接通过目标消除模型消除第一图像的摩尔纹,得到目标图像。
值得说明的是,在第一图像的尺寸小于第一目标尺寸的情况下,通过对第一图像进行重采样,使得到的第四参考图像的尺寸符合目标消除模型的尺寸要求,从而保证了对各类尺寸图像的摩尔纹的消除,提高了图像摩尔纹消除的可靠性。
在一些实施例中,在第一图像的尺寸不为第一目标尺寸的情况下,摩尔纹消除模块确定第一图像的至少一个分片图像之前,还可以对第一图像进行滤波处理。
由于第一图像中带有摩尔纹,在第一图像的尺寸不为第一目标尺寸的情况下,需要对第一图像进行切割和/或重采样,而对第一图像进行重采样可能会加重第一图像中的摩尔纹,因此,为了避免因重采样加重第一图像中的摩尔纹,电子设备在确定第一图像的至少一个分片图像之前,还可以对第一图像进行低通滤波处理。也即是,参见图19,电子设备在获取到摩尔纹图像(也即是第一图像)后,由于可能需要对摩尔纹图像进行重采样,电子设备还可以对摩尔纹图像进行低通滤波处理,然后进行图像切割和/或图像重采样,附图19中以图像切割为例进行说明。
值得说明的是,通过对第一图像进行低通滤波处理,从而后续对第一图像进行重采样时,避免了加重对第一图像中频率混叠情况,进而在经过目标消除模型消除第一图像带有的摩尔纹后,能够有较好的去摩尔纹效果。
在一些实施例中,通过目标消除模型消除至少一个分片图像中每个分片图像带有的摩尔纹,得到至少一个消除摩尔纹的分片图像之前,电子设备还可以获取训练数据,该训练数据包括多个负样本图像和多个正样本图像,多个负样本图像中每个负样本图像携带摩尔纹,该多个正样本图像中每个正样本图像中未携带摩尔纹,多个负样本图像与多个正样本图像一一对应;基于训练数据对初始消除模型进行迭代训练,以得到目标消除模型,初始消除模型的网络结构为编码-解码结构。
示例性地,对初始消除模型进行训练的过程可以参考图20所示的训练过程示意图,在获取到训练数据后,可以将训练数据成对输入至初始消除模型,在训练过程中,在多个正样本图像和损失函数的约束下,可以输出每个负样本图像对应的无摩尔纹图像。
值得说明的是,由于网络结构为编码-解码结构的目标消除模型结构简单,目标消除模型占用内存较小,能够部署在电子设备中,且保证了电子设备的运行效率。
在一些实施例中,目标消除模型可以部署在电子设备中,也可以部署在云端,本申请实施例对此不作具体限制。
在一些实施例中,电子设备获取训练数据的操作包括:获取多个负样本图像,多个负样本图像中的每个负样本图像是通过对对应的显示屏显示内容进行拍摄得到;对于多个负样本图像中的每个负样本图像,获取每个负样本图像对应的显示屏显示内容的截屏图像;对每个负样本图像对应的截屏图像进行拓扑变换,得到每个负样本图像对应的拓扑变换截屏图像,拓扑变换截屏图像的数据特征与对应的负样本图像的数据特征相同;将每个负样本图像的颜色特征迁移至对应的拓扑变换截屏图像中,得到每个负样本图像对应的正样本图像。
需要说明的是,电子设备获取训练数据的具体操作可以参考上述步骤1401-步骤1404的操作,电子设备本申请实施例对此不再进行一一赘述。
值得说明的是,通过将每个负样本图像与对应正样本图像的颜色进行统一,从而减少了模型训练过程中对于图像亮度学习的压力,可以使模型专注学习摩尔纹的去除,进而避免了后续消除摩尔纹的过程中图像颜色发生变化,降低了对图像信息的损害。
步骤1805:基于至少一个消除摩尔纹的分片图像,确定消除摩尔纹的目标图像。
在一些实施例中,电子设备基于至少一个消除摩尔纹的分片图像,确定消除摩尔纹的目标图像的操作包括:在至少一个消除摩尔纹的分片图像的数量为1的情况下,确定消除摩尔纹的分片图像为目标图像;在至少一个消除摩尔纹的分片图像的数量为多个的情况下,融合多个消除摩尔纹的分片图像,得到目标图像。示例性地,参见图19,电子设备进行分片图像的融合操作(至少一个消除摩尔纹的分片图像进行融合)后,可以得到无摩尔纹图像(即目标图像)。
值得说明的是,在至少一个消除摩尔纹的分片图像的数量不同的情况下,采用不同方式确定目标图像,从而提高了确定目标图像的可靠性。
在一些实施例中,在至少一个消除摩尔纹的分片图像的数量为多个的情况下,电子设备融合多个消除摩尔纹的分片图像,得到目标图像的操作包括:在至少一个消除摩尔纹的分片图像的数量为多个的情况下,确定多个分片图像中每个分片图像的切割位置;根据每个分片图像对应的切割位置,确定每个分片图像对应的融合矩阵,该融合矩阵用于使对应的分片图像中重叠部分发生色彩渐变;分别将每个分片图像与对应的融合矩阵相乘,得到多个色彩渐变的分片图像;根据每个分片图像的切割位置,将多个色彩渐变的分片图像进行融合,得到目标图像。
需要说明的是,在至少一个消除摩尔纹的分片图像的数量为多个的情况下,电子设备融合多个消除摩尔纹的分片图像,得到目标图像的具体操作可以参考上述步骤812中摩尔纹消除模块融合多个消除摩尔纹的分片图像,得到目标图像的操作,本申请实施例对此不再进行一一赘述。
值得说明的是,通过融合矩阵融合至少一个消除摩尔纹的分片图像,从而避免了融合图像中出现明显的边界感,提升了图像显示质量。
在本申请实施例中,在第一图像的尺寸较大且不符合预先训练的目标消除模型的尺寸要求的情况下,可以确定第一图像的至少一个分片图像,由于至少一个分片图像的尺寸均符合目标消除模型的尺寸要求,因此,通过目标消除模型能够消除至少一个分片图像中的摩尔纹。由于能够在第一图像的尺寸较大的情况下,通过确定第一图像的至少一个分片图像,并消除至少一个分片图像中每个分片图像的摩尔纹,来实现对第一图像中的摩尔纹的消除,从而保证能够消除各种各样尺寸的图像中的摩尔纹。又由于目标消除模型的网络结构为编码-解码结构,该种网络结构较为简单,占用内存小,从而提高了电子设备运行的效率。
接下来,对本申请实施例涉及的电子设备予以说明。
图21是本申请实施例提供的一种电子设备的结构示意图。参见图21,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universalserial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,比如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从该存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口,如可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C接口。处理器110可以通过不同的I2C接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。比如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S接口。处理器110可以通过I2S接口与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
UART接口是一种通用串行数据总线,用于异步通信。UART接口可以为双向通信总线。UART接口可以将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。比如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。USB接口130还可以用于连接其他电子设备,比如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。比如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。比如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,比如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,比如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,比如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,比如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。比如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,计算机可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,来执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100在使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,比如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D以及应用处理器等实现音频功能,比如音乐播放,录音等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。比如:当有触摸操作强度小于压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,在拍摄场景中,电子设备100可以利用距离传感器180F测距以实现快速对焦。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键,也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,比如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(比如:同轴电缆、光纤、数据用户线(Digital Subscriber Line,DSL))或无线(比如:红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质,或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(比如:软盘、硬盘、磁带)、光介质(比如:数字通用光盘(Digital Versatile Disc,DVD))或半导体介质(比如:固态硬盘(Solid State Disk,SSD))等。
以上所述为本申请提供的可选实施例,并不用以限制本申请,凡在本申请的揭露的技术范围之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (13)
1.一种摩尔纹的消除方法,其特征在于,应用于电子设备中,所述方法包括:
在第一图像的尺寸大于第一目标尺寸的情况下,确定所述第一图像的至少一个分片图像,所述第一图像是带有摩尔纹的图像,所述至少一个分片图像中每个分片图像的尺寸为所述第一目标尺寸,所述第一目标尺寸为目标消除模型要求输入的图像的尺寸,所述目标消除模型为预先训练的用于消除摩尔纹的神经网络模型,且所述目标消除模型的网络结构为编码-解码结构;
通过所述目标消除模型消除所述至少一个分片图像中每个分片图像带有的摩尔纹,得到至少一个消除摩尔纹的分片图像;
基于所述至少一个消除摩尔纹的分片图像,确定消除摩尔纹的目标图像。
2.如权利要求1所述的方法,其特征在于,所述在第一图像的尺寸大于第一目标尺寸的情况下,确定所述第一图像的至少一个分片图像,包括:
在所述第一图像的尺寸大于所述第一目标尺寸的情况下,根据所述第一图像的尺寸、所述第一目标尺寸和预设重叠尺寸,确定对所述第一图像进行切片的切片数量;
在所述切片数量大于1的情况下,根据所述第一目标尺寸、所述预设重叠尺寸和所述切片数量,对所述第一图像进行切割操作,得到多个分片图像;
在所述切片数量为1的情况下,对所述第一图像进行重采样,得到第一参考图像,所述第一参考图像的尺寸为所述第一目标尺寸,所述第一参考图像为所述第一图像的分片图像。
3.如权利要求2所述的方法,其特征在于,所述在所述切片数量大于1的情况下,根据所述第一目标尺寸、所述预设重叠尺寸和所述切片数量,对所述第一图像进行切割操作,得到多个分片图像,包括:
在所述切片数量大于1的情况下,根据所述第一目标尺寸、所述预设重叠尺寸和所述切片数量,确定第二目标尺寸,所述第二目标尺寸为不需要进行重采样的尺寸,且所述第二目标尺寸大于所述第一目标尺寸;
在所述第一图像的尺寸不为所述第二目标尺寸的情况下,对所述第一图像进行重采样,得到第二参考图像,所述第二参考图像的尺寸为所述第二目标尺寸;
根据所述第一目标尺寸、所述预设重叠尺寸和所述切片数量,对所述第二参考图像进行切割操作,得到所述多个分片图像。
4.如权利要求1所述的方法,其特征在于,所述在第一图像的尺寸大于第一目标尺寸的情况下,确定所述第一图像的至少一个分片图像,包括:
在所述第一图像的尺寸大于所述第一目标尺寸的情况下,根据所述第一目标尺寸和预设重叠尺寸,对所述第一图像进行切割操作,得到至少一个第三参考图像,所述至少一个第三参考图像的尺寸均不大于所述第一目标尺寸;
在所述至少一个第三参考图像中存在尺寸小于所述第一目标尺寸的第三参考图像的情况下,对尺寸小于所述第一目标尺寸的第三参考图像进行重采样,以使重采样后的第三参考图像的尺寸为所述第一目标尺寸;
将未重采样的第三参考图像和重采样后的第三参考图像均确定为所述第一图像的分片图像,得到所述至少一个分片图像。
5.如权利要求1-4中任一项所述的方法,其特征在于,所述基于所述至少一个消除摩尔纹的分片图像,确定消除摩尔纹的目标图像,包括:
在所述至少一个消除摩尔纹的分片图像的数量为1的情况下,确定消除摩尔纹的分片图像为所述目标图像;
在所述至少一个消除摩尔纹的分片图像的数量为多个的情况下,融合多个消除摩尔纹的分片图像,得到所述目标图像。
6.如权利要求5所述的方法,其特征在于,所述在所述至少一个消除摩尔纹的分片图像的数量为多个的情况下,融合多个消除摩尔纹的分片图像,得到所述目标图像,包括:
在所述至少一个消除摩尔纹的分片图像的数量为多个的情况下,确定所述多个分片图像中每个分片图像的切割位置;
根据所述每个分片图像对应的切割位置,确定所述每个分片图像对应的融合矩阵,所述融合矩阵用于使对应的分片图像中重叠部分发生色彩渐变;
分别将所述每个分片图像与对应的融合矩阵相乘,得到多个色彩渐变的分片图像;
根据所述每个分片图像的切割位置,将所述多个色彩渐变的分片图像进行融合,得到所述目标图像。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
在所述第一图像的尺寸小于所述第一目标尺寸的情况下,对所述第一图像进行重采样,得到第四参考图像,所述第四参考图像的尺寸为所述第一目标尺寸;
通过所述目标消除模型消除所述第四参考图像的摩尔纹,得到所述目标图像。
8.如权利要求1-7中任一项所述的方法,其特征在于,所述方法还包括:
在所述第一图像的尺寸不为所述第一目标尺寸的情况下,确定所述第一图像的至少一个分片图像之前,对所述第一图像进行滤波处理。
9.如权利要求1所述的方法,其特征在于,所述通过所述目标消除模型消除所述至少一个分片图像中每个分片图像带有的摩尔纹,得到至少一个消除摩尔纹的分片图像之前,还包括:
获取训练数据,所述训练数据包括多个负样本图像和多个正样本图像,所述多个负样本图像中每个负样本图像中携带摩尔纹,所述多个正样本图像中每个正样本图像中未携带摩尔纹,所述多个负样本图像与所述多个正样本图像一一对应;
基于所述训练数据对初始消除模型进行迭代训练,以得到所述目标消除模型,所述初始消除模型的网络结构为所述编码-解码结构。
10.如权利要求9所述的方法,其特征在于,所述获取训练数据,包括:
获取所述多个负样本图像,所述多个负样本图像中的每个负样本图像是通过对对应的显示屏显示内容进行拍摄得到;
对于所述多个负样本图像中的每个负样本图像,获取所述每个负样本图像对应的显示屏显示内容的截屏图像;
对所述每个负样本图像对应的截屏图像进行拓扑变换,得到所述每个负样本图像对应的拓扑变换截屏图像,所述拓扑变换截屏图像的数据特征与对应的负样本图像的数据特征相同;
将所述每个负样本图像的颜色特征迁移至对应的拓扑变换截屏图像中,得到所述每个负样本图像对应的正样本图像。
11.如权利要求1-10中任一项所述的方法,其特征在于,所述在第一图像的尺寸大于第一目标尺寸的情况下,确定所述第一图像的至少一个分片图像,包括:
显示所述第一图像;
接收对所述第一图像的第一用户操作;
响应于所述第一用户操作,在所述第一图像的尺寸大于所述第一目标尺寸的情况下,确定所述第一图像的至少一个分片图像。
12.一种电子设备,其特征在于,所述电子设备的结构中包括处理器和存储器;
所述存储器用于存储支持所述电子设备执行如权利要求1-11任意一项所述的方法的程序。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1-11任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310488968.2A CN117132479A (zh) | 2023-04-28 | 2023-04-28 | 摩尔纹的消除方法、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310488968.2A CN117132479A (zh) | 2023-04-28 | 2023-04-28 | 摩尔纹的消除方法、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117132479A true CN117132479A (zh) | 2023-11-28 |
Family
ID=88857096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310488968.2A Pending CN117132479A (zh) | 2023-04-28 | 2023-04-28 | 摩尔纹的消除方法、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117132479A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017005644A (ja) * | 2015-06-16 | 2017-01-05 | ハンファテクウィン株式会社Hanwha Techwin Co.,Ltd. | 画像処理装置、画像処理方法及び撮像装置 |
CN110717450A (zh) * | 2019-10-09 | 2020-01-21 | 深圳大学 | 自动识别原始文档的翻拍图像的训练方法和检测方法 |
CN111523459A (zh) * | 2020-04-22 | 2020-08-11 | 中科三清科技有限公司 | 遥感影像裸地识别方法、装置、电子设备及存储介质 |
CN112598602A (zh) * | 2021-01-06 | 2021-04-02 | 福建帝视信息科技有限公司 | 一种基于掩码的深度学习视频去摩尔纹方法 |
CN113706392A (zh) * | 2020-05-20 | 2021-11-26 | Tcl科技集团股份有限公司 | 摩尔纹处理方法、计算机可读存储介质及终端设备 |
WO2023279863A1 (zh) * | 2021-07-07 | 2023-01-12 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
-
2023
- 2023-04-28 CN CN202310488968.2A patent/CN117132479A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017005644A (ja) * | 2015-06-16 | 2017-01-05 | ハンファテクウィン株式会社Hanwha Techwin Co.,Ltd. | 画像処理装置、画像処理方法及び撮像装置 |
CN110717450A (zh) * | 2019-10-09 | 2020-01-21 | 深圳大学 | 自动识别原始文档的翻拍图像的训练方法和检测方法 |
CN111523459A (zh) * | 2020-04-22 | 2020-08-11 | 中科三清科技有限公司 | 遥感影像裸地识别方法、装置、电子设备及存储介质 |
CN113706392A (zh) * | 2020-05-20 | 2021-11-26 | Tcl科技集团股份有限公司 | 摩尔纹处理方法、计算机可读存储介质及终端设备 |
CN112598602A (zh) * | 2021-01-06 | 2021-04-02 | 福建帝视信息科技有限公司 | 一种基于掩码的深度学习视频去摩尔纹方法 |
WO2023279863A1 (zh) * | 2021-07-07 | 2023-01-12 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112130742B (zh) | 一种移动终端的全屏显示方法及设备 | |
CN114205522B (zh) | 一种长焦拍摄的方法及电子设备 | |
CN115866121B (zh) | 应用界面交互方法、电子设备和计算机可读存储介质 | |
CN113747085B (zh) | 拍摄视频的方法和装置 | |
CN111669459B (zh) | 键盘显示方法、电子设备和计算机可读存储介质 | |
US11949978B2 (en) | Image content removal method and related apparatus | |
CN113364971A (zh) | 图像处理方法和装置 | |
CN111882642B (zh) | 三维模型的纹理填充方法及装置 | |
CN113452969B (zh) | 图像处理方法和装置 | |
US20230224574A1 (en) | Photographing method and apparatus | |
CN113538227B (zh) | 一种基于语义分割的图像处理方法及相关设备 | |
CN115115679A (zh) | 一种图像配准方法及相关设备 | |
CN111880647B (zh) | 一种三维界面的控制方法和终端 | |
CN113723397B (zh) | 一种截屏方法及电子设备 | |
CN114004732A (zh) | 图像编辑提示方法、装置、电子设备和可读存储介质 | |
US20230014272A1 (en) | Image processing method and apparatus | |
CN115880347B (zh) | 图像处理方法、电子设备、存储介质及程序产品 | |
CN113497888B (zh) | 照片预览方法、电子设备和存储介质 | |
CN117132479A (zh) | 摩尔纹的消除方法、电子设备及可读存储介质 | |
CN114283195A (zh) | 生成动态图像的方法、电子设备及可读存储介质 | |
CN115880350A (zh) | 图像处理方法、设备、***及计算机可读存储介质 | |
EP4296840A1 (en) | Method and apparatus for scrolling to capture screenshot | |
CN117036206B (zh) | 一种确定图像锯齿化程度的方法及相关电子设备 | |
CN113986406B (zh) | 生成涂鸦图案的方法、装置、电子设备及存储介质 | |
CN114245011B (zh) | 图像处理方法、用户界面及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |