CN111369450A - 去除摩尔纹的方法与装置 - Google Patents

去除摩尔纹的方法与装置 Download PDF

Info

Publication number
CN111369450A
CN111369450A CN202010108660.7A CN202010108660A CN111369450A CN 111369450 A CN111369450 A CN 111369450A CN 202010108660 A CN202010108660 A CN 202010108660A CN 111369450 A CN111369450 A CN 111369450A
Authority
CN
China
Prior art keywords
wavelet
image
network
moire
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010108660.7A
Other languages
English (en)
Other versions
CN111369450B (zh
Inventor
刘林
岳俊
刘健庄
袁善欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010108660.7A priority Critical patent/CN111369450B/zh
Publication of CN111369450A publication Critical patent/CN111369450A/zh
Priority to PCT/CN2021/076840 priority patent/WO2021164725A1/zh
Priority to EP21757807.9A priority patent/EP4109393A4/en
Application granted granted Critical
Publication of CN111369450B publication Critical patent/CN111369450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种去除摩尔纹的方法与装置。涉及人工智能领域，具体涉及计算机视觉领域。该方法包括：对待处理图像进行小波变换，获得第一小波图像；对该第一小波图像进行去除摩尔纹处理，获得第二小波图像；对该第二小波图像进行小波反变换，获得该待处理图像的修复图像。本申请通过小波变换将待处理图像上的摩尔纹分解到不同频率的小波图像上，然后分别对每个小波图像进行去除摩尔纹处理，可以去除不同频率的摩尔纹，从而相对于现有技术可以更有效去除摩尔纹，还可以减少图像原有细节的损失。

Description

去除摩尔纹的方法与装置
技术领域
本申请涉及图像处理领域，具体涉及一种去除摩尔纹的方法与装置。
背景技术
在用数码相机拍摄衣物、大厦、屋顶或屏幕等具有密集纹理的物体时，往往会产生摩尔纹。
当前，业界已有一些去除摩尔纹的方法，这些方法大多采用，对图像进行下采样得到的不同分辨率的特征图，分别对不同分辨率的特征图去除摩尔纹，这种技术会损失图像原有的细节。
因此，有效去除摩尔纹的同时减少图像原有细节的损失，是当前该研究方向的主要瓶颈。
发明内容
本申请提供一种去除摩尔纹的方法与装置，可以有效去除摩尔纹，并且减少图像原有细节的损失。
第一方面，提供了一种去除摩尔纹的方法，该方法包括：对待处理图像进行小波变换，获得第一小波图像；对该第一小波图像进行去除摩尔纹处理，获得第二小波图像；对该第二小波图像进行小波反变换，获得该待处理图像的修复图像。
应理解，小波变换可以将输入图像分解为频率含量不同的一系列小波图像。本申请对待处理图像进行小波变换，可以得到频率含量不同的多个小波图像。在本申请中，要对待处理图像进行小波变换后的多个小波图像均要进行去除摩尔纹处理。考虑到对这多个小波图像中每个小波图像的去除摩尔纹处理的操作是类似的，为了描述简洁，本文中以一个小波图像为例进行描述。也就是说，第一方面中涉及的第一小波图像表示待处理图像进行小波变换后的多个小波图像中的任一个小波图像。
小波变换可以将输入图像分解为频率含量不同的一系列小波图像。也就是说，待处理图像经过小波变换后得到的多个小波图像中不同小波图像表达了不同的频率信息。因此，小波变换的操作可以将待处理图像上的摩尔纹分解到不同频率的小波图像上，然后通过分别对每个小波图像进行去除摩尔纹处理，可以去除不同频率的摩尔纹，从而相对于现有技术，可以有效去除摩尔纹。
此外，通过小波变换将待处理图像上的摩尔纹分解到不同频率的小波图像上，然后分别对每个小波图像进行去除摩尔纹处理，这样可以使得没有摩尔纹干扰的一些小波图像的细节得以保留，从而可以实现保留图像细节的目的，因此，相对于现有技术，可以减少图像原有细节的损失。
因此，本申请通过在小波域进行去除摩尔纹，可以有效去除摩尔纹，并且减少图像原有细节的损失。
可以采用多种方式对待处理图像进行小波变换。
可选地，采用哈尔(Haar)小波作为小波变换的类型。
可选地，对该待处理图像进行的小波变换的类型还可以为除了Haar小波变换之外的其他类型。
结合第一方面，在第一方面的一种可能的实现方式中，对该第一小波图像进行去除摩尔纹处理，获得第二小波图像，包括：将该第一小波图像输入密集连接卷积网络，利用该密集连接卷积网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像。
可选地，该密集连接卷积网络中包括密集连接卷积模块与注意力模块，该注意力模块用于查找摩尔纹的方向，该密集连接卷积网络的输出为该密集连接卷积模块的输出与该注意力模块的输出的乘积的函数。
本申请通过在小波域上采用密集连接卷积网络去除图像的摩尔纹，可以有效去除摩尔纹。
结合第一方面，在第一方面的一种可能的实现方式中，该将该第一小波图像输入密集连接卷积网络，利用该密集连接卷积网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像，包括：将该第一小波图像输入双分支子网络，利用该双分支子网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像，其中，该双分支子网络包括该密集连接卷积网络与空洞卷积网络，该双分支子网络的输入为该密集连接卷积网络的输入以及该空洞卷积网络的输入，该双分支子网络的输出为该密集连接卷积网络的输出与该空洞卷积网络的输出的加权之和。
密集连接卷积网络可以进行局部信息的获取，空洞卷积网络可以进行更大范围的信息获取。因此，结合采用密集连接卷积网络与空洞卷积网络去除小波图像的摩尔纹，密集连接卷积网络与空洞卷积网络可以优势互补，可以扩大网络的感受野(receptive field)。感受野表示，卷积神经网络中每层的特征图上的像素点在原始图像中映射的区域大小。应理解，通过扩大网络的感受野，可以更大范围、更大程度地去除摩尔纹，例如可以去除低频摩尔纹。
结合第一方面，在第一方面的一种可能的实现方式中，将该第一小波图像输入双分支网络，利用该双分支网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像，包括：将该第一小波图像输入双分支网络，利用该双分支网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像，其中，该双分支网络包括多个该双分支子网络，其中相邻两个该双分支子网络中的前一个的输出为后一个的输入。
因此，本申请通过结合采用密集连接卷积网络与空洞卷积网络去除小波图像的摩尔纹，密集连接卷积网络与空洞卷积网络可以优势互补，可以扩大网络的感受野(receptive field)，从而可以更大程度地去除摩尔纹。
第二方面提供一种数据处理的装置，该装置包括如下单元。
小波变换单元，用于对待处理图像进行小波变换，获得第一小波图像。摩尔纹去除单元，用于对该第一小波图像进行去除摩尔纹处理，获得第二小波图像。小波反变换单元，用于对该第二小波图像进行小波反变换，获得该待处理图像的修复图像。
结合第二方面，在第二方面的一种可能的实现方式中，该摩尔纹去除单元用于，将该第一小波图像输入密集连接卷积网络，利用该密集连接卷积网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像。
结合第二方面，在第二方面的一种可能的实现方式中，该摩尔纹去除单元用于，将该第一小波图像输入双分支子网络，利用该双分支子网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像。
其中，该双分支子网络包括该密集连接卷积网络与空洞卷积网络，该双分支子网络的输入为该密集连接卷积网络的输入以及该空洞卷积网络的输入，该双分支子网络的输出为该密集连接卷积网络的输出与该空洞卷积网络的输出的加权之和。
结合第二方面，在第二方面的一种可能的实现方式中，该摩尔纹去除单元用于，将该第一小波图像输入双分支网络，利用该双分支网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像。
其中，该双分支网络包括多个该双分支子网络，其中相邻两个该双分支子网络中的前一个的输出为后一个的输入。
结合第二方面，在第二方面的一种可能的实现方式中，该密集连接卷积网络中包括密集连接卷积模块与注意力模块，该注意力模块用于查找摩尔纹的方向，该密集连接卷积网络的输出为该密集连接卷积模块的输出与该注意力模块的输出的乘积的函数。
结合第二方面，在第二方面的一种可能的实现方式中，该小波变换单元对该待处理图像进行的小波变换的类型为哈尔Haar小波变换。
第三方面，提供一种数据处理的装置，该装置包括：存储器，用于存储程序；处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行上述第一方面中的方法。
第四方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行上述第一方面中的方法。
第五方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面中的方法。
第六方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面中的方法。
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行上述第一方面中的方法。
第七方面，提供一种电子设备，该电子设备包括上述第四方面或第五方面的数据处理的装置。
基于上述描述，本申请通过在小波域进行去除摩尔纹，可以有效去除摩尔纹，并且减少图像原有细节的损失。此外，通过结合采用密集连接卷积网络与空洞卷积网络去除小波图像的摩尔纹，可以进一步地有效地去除摩尔纹。
附图说明
图1为摩尔纹的示意图。
图2为本申请实施例提供的去除摩尔纹的方法的示意性流程图。
图3与图4为小波变换的示意图。
图5为本申请实施例中的密集连接卷积网络的结构示意图。
图6为本申请实施例中的双分支子网络的结构示意图。
图7为本申请实施例中的空洞卷积网络的结构示意图。
图8为本申请实施例中的双分支网络的结构示意图。
图9为本申请实施例提供的去除摩尔纹的装置的示意性框图。
图10为本申请实施例提供的去除摩尔纹的***的示意性框图。
图11为本申请实施例提供的去除摩尔纹的装置另一示意性框图。
图12是本申请实施例提供的一种芯片硬件结构示意图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
在用数码相机拍摄衣物、建筑物或屏幕等具有密集纹理的物体时，往往会产生摩尔纹，如图1所示，图1左边是拍摄衣服时产生的摩尔纹，图1右边拍摄建筑物时产生的摩尔纹。
当前，业界已有一些针对摩尔纹的去除的方法，这些方法都在RGB域上去除摩尔纹，没有很好的区别摩尔纹和图像的有用纹理；而且这些方法大多采用对图像进行下采样得到的不同分辨率的特征图，分别对不同分辨率的特征图去除摩尔纹，这种技术会在一定程度上损失图像原有的细节，例如高频细节。
因此，干净去除摩尔纹同时保护图像原有纹理是当前该研究方向的主要瓶颈。
针对上述问题，本申请提供一种去除摩尔纹的方法，通过在小波域上去除摩尔纹，可以有效去除摩尔纹，并且减少图像原有细节的损失。
本申请可以应用于任何涉及需要去除图像中的摩尔纹的场景。例如，屏幕OCR文字识别、目标识别等需要拍摄屏幕的场景。又例如，在摄影图像处理时需要对拍摄密集纹理物体的摩尔纹去除的场景(具体为去除摩尔纹表现的线条混叠和彩色伪影)。输入图像经过本申请提供的去除摩尔纹的方法处理，可以得到无摩尔纹的图像，继续这个图像可以进行后续操作，例如，图像目标识别等操作。
作为示例而非限定，本申请可以应用于如下应用场景一与应用场景二。
应用场景一：屏幕OCR文字识别和物体识别。
在手机平板等移动设备的摄像头对屏幕类的文字进行OCR识别，或对屏幕中图像物体类别进行识别的时候，摩尔纹会对文字识别的准确率或物体识别的准确率产生较大的干扰。为了更加准确识别文字和物体类别，我们先要对获取到的图像进行预处理，将摩尔纹消除。然后才进行后续识别的操作。
应用场景二：摄影图像处理。
在日常拍摄场景中，楼房，衣物等场景是经常出现的。也有很大的概率会产生摩尔纹，如图1所示，摩尔纹消除算法的任务就是协助图像处理人员，自动的消除在日常拍摄过程当中产生的摩尔纹。
图2为本申请实施例提供的去除摩尔纹的方法的示意性流程图。该方法包括如下步骤S210、S220与S230。
S210，对待处理图像进行小波变换，获得第一小波图像。
待处理图像表示需要去除摩尔纹的图像，如图1左边与右边所示的图像。
例如，待处理图像为RGB图像。
第一小波图像表示待处理图像进行小波变换得到的图像。
应理解，小波变换可以将输入图像分解为频率含量不同的一系列小波图像。
在步骤S210中，对待处理图像进行小波变换，可以得到频率含量不同的多个小波图像。在本申请实施例中，要对待处理图像进行小波变换后的多个小波图像均要进行去除摩尔纹处理。考虑到对这多个小波图像中每个小波图像的去除摩尔纹处理的操作是类似的，为了描述简洁，本文中以一个小波图像为例进行描述。也就是说，本申请实施例中的第一小波图像表示待处理图像进行小波变换后的多个小波图像中的任一个小波图像。
S220，对该第一小波图像进行去除摩尔纹处理，获得第二小波图像。
第二小波图像表示去除摩尔纹之后的第一小波图像。
应理解，第一小波图像中的“第一”以及第二小波图像中的“第二”，仅为描述方便进行的区分，并不用来限制本申请实施例的范围。
在步骤S220中，可以采用神经网络模型来去除第一小波图像的摩尔纹，该神经网络模型是以去除小波图像的摩尔纹为目标训练得到的。
S230，对该第二小波图像进行小波反变换，获得该待处理图像的修复图像。
步骤S230中的小波反变换为步骤S210中的小波变换的反变换。
可知，步骤S220是在小波域执行的。即在本申请实施例中，去除摩尔纹的操作是在小波域执行的。
如前文描述，小波变换可以将输入图像分解为频率含量不同的一系列小波图像。也就是说，待处理图像经过小波变换后得到的多个小波图像中不同小波图像表达了不同的频率信息。因此，小波变换的操作可以将待处理图像上的摩尔纹分解到不同频率的小波图像上，然后通过分别对每个小波图像进行去除摩尔纹处理，可以去除不同频率的摩尔纹，从而相对于现有技术，可以有效去除摩尔纹。
此外，通过小波变换将待处理图像上的摩尔纹分解到不同频率的小波图像上，然后分别对每个小波图像进行去除摩尔纹处理，这样可以使得没有摩尔纹干扰的一些小波图像的细节得以保留，从而可以实现保留图像细节的目的，因此，相对于现有技术，可以减少图像原有细节的损失。
因此，本申请实施例通过在小波域进行去除摩尔纹，可以有效去除摩尔纹，并且减少图像原有细节的损失。
在步骤S210中，涉及小波变换(wavelet transform)，在步骤S230中，涉及小波反变换。本申请对小波变换(以及对应的小波反变换)的类型不作限定。例如，在步骤S210中，可以采用现有可行的任一种小波变换方法，对待处理图像进行小波变换。
例如，在小波变换的过程中，需要获取小波变换的类型与所需要的变换参数。在小波反变换的过程中，需要获取小波反变换的类型和所需要的变换参数。例如，在步骤S210中，可以从小波变换仓库中，获取小波变换的类型与所需要的变换参数。在步骤S230中，可以从小波反变换仓库中，获取小波反变换的类型与所需要的变换参数。
可选地，小波变换的类型为哈尔(Haar)小波变换。
例如，在步骤S210中，对待处理图像进行Haar小波变换，在步骤S230中，对第二小波图像进行Haar小波反变换。
Haar小波变换是一种二维(2D)快速小波变换(fast wavelet transfer，FWT)。作为示例而非限定，下面将描述对待处理图像进行Haar小波变换的方法。在下面示例中，待处理图像为如图3所示的大小为w×h的输入图像，w表示宽度，h表示高度。
Haar小波变换的算法反复应用低通和高通分解滤波器以及下采样来计算小波系数，其
Figure BDA0002389221870000061
在每一层的Haar小波变换过程中，使用沿着图像的行应用高通滤波器和低通滤波器将一幅图像转换为两幅图像，然后沿着图像的列应用相同的滤波器到这两幅图像上，总共获得四幅小波图像，如图3所示。
例如，输入图像是包括RGB三个通道的图像，则一次小波变换可以获得3*4＝12个图像。例如，小波变换的层数可以为2，则输入图像为3通道RGB图像，在经过2层小波变换后，每个通道可分解为16个不同级别的小波图像。图4为单个通道输入图像经过两层小波变换后的图像(即小波图像)。因此，一个3通道RGB输入图像可以获得N＝3×16＝48个小波图像。这样，原始图像的空间大小(h×h×3)减小了四分之一，输出小波图像的大小为((h/4)×(h/4)×48)。应理解，本申请实施例中的第一小波图像对应于本示例中的16个小波图像中的任一个，或者48个小波图像中的任一个。
应理解，Haar小波变换的方法简单有效，本实施例通过采用Haar小波变换对处理图像进行小波变换，可以提高去除摩尔纹的效率。
在步骤S220中，可以采用神经网络模型来去除第一小波图像的摩尔纹，该神经网络模型是以去除小波图像的摩尔纹为目标训练得到的。换句话说，该神经网络模型被训练为在小波域上去除图像上的摩尔纹。
针对确定的训练目的，具体如何训练一个神经网络模型，不是本申请的研究所在，可以采用现有任何可行的神经网络训练方法实现，本申请对此不作限定。
例如，用于去除第一小波图像的摩尔纹的神经网络模型为深度卷积神经网络。
可选地，在步骤S220中，采用密集连接卷积网络(densely connectedconvolutional networks)去除第一小波图像的摩尔纹。
例如，在步骤S220中，将该第一小波图像输入密集连接卷积网络，利用该密集连接卷积网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像。
密集连接卷积网络由稠密连接模块(dense block)构成，稠密连接模块也可称为密集连接卷积块。关于密集连接卷积网络的设计方法可以采用现有的方法，本申请对此不作限定。
可选地，该密集连接卷积网络中包括密集连接卷积模块与注意力模块，该注意力模块用于查找摩尔纹的方向，该密集连接卷积网络的输出为该密集连接卷积模块的输出与该注意力模块的输出的乘积的函数。
密集连接卷积网络的结构如图5所示。如图5所示，密集连接卷积网络具有两个密集连接卷积块(dense block)。例如，每个dense block可以具有5个卷积层。在同一个denseblock中，当前层的输入包含所有先前层的输出。如图5所示，密集连接卷积网络还具有注意力(direction perception module，DPM)模块，DPM模块是一个注意力模块，用于查找莫尔条纹的方向。将DPM的输出和每个dense block的输出相乘，然后乘以系数β，最后将结果添加到输入中。例如，β的取值为0.2。
应理解，采用密集连接卷积网络去除摩尔纹，可以有效地捕获近距离摩尔纹的信息。
可选地，在步骤S220中，结合密集连接卷积网络(densely connectedconvolutional networks)与空洞卷积(dilated convolution)网络，去除第一小波图像的摩尔纹。
作为示例而非限定，本文中将由一个密集连接卷积网络与一个空洞卷积网络组成的网络称为双分支子网络。
例如，在步骤S220中，将该第一小波图像输入双分支子网络，利用该双分支子网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像。其中，该双分支子网络包括该密集连接卷积网络与空洞卷积网络，该双分支子网络的输入为该密集连接卷积网络的输入以及该空洞卷积网络的输入，该双分支子网络的输出为该密集连接卷积网络的输出与该空洞卷积网络的输出的加权之和。
双分支子网络的结构如图6所示。一个双分支子网络由一个密集连接卷积分支和一个空洞卷积分支组成。在一个双分支子网络中，特征图(feature map)分别通过密集连接卷积分支与空洞卷积分支，并乘以一个调整系数β后相加。例如，β的取值为0.2。
密集连接卷积分支由密集连接卷积网络实现。例如，密集连接卷积分支的结构如图5所示。
空洞卷积分支由空洞卷积网络实现。例如，空洞卷积分支的结构如图7所示。如图7所示，在一个空洞卷积分支中，具有两个卷积层，其中一个是膨胀率为k、卷积核大小为3×3的空洞卷积层，另一个是传统的卷积核大小3×3的卷积层，其中k为空洞卷积分支的序号。
作为一个示例，双分支子网络接收的输入图像为小波图像IW。设双分支子网络中密集连接卷积分支表示的函数为fdence，空洞卷积分支表示的函数为fdila，则可以通过如下公式(1)得到双分支子网络的输出F：
F＝β·fdence(IW)+fdila(IW)
其中，β表示平衡因子，用来平衡密集连接卷积分支与空洞卷积分支的输出特征图的权重。例如，β的取值为0.2。
例如，可以将IW用卷积核大小为1×1的卷积层处理后得到的f1×1conv(IW)，与F相加，得到最终双分支子网络的输出OW＝f1×1conv(IW)+F。双分支子网络的输出即为输入图像对应的小波图像。
在采用公式(1)获得待处理图像的第一小波图像的实施例中，在步骤S230中，将第二小波图像，通过与公式(1)对应的相关小波参数反变换为RGB图像。
应理解，密集连接卷积网络可以进行局部信息的获取，空洞卷积网络可以进行更大范围的信息获取。因此，结合采用密集连接卷积网络与空洞卷积网络去除小波图像的摩尔纹，密集连接卷积网络与空洞卷积网络可以优势互补，可以扩大网络的感受野(receptive field)。感受野表示，卷积神经网络中每层的特征图上的像素点在原始图像中映射的区域大小。应理解，通过扩大网络的感受野，可以更大范围、更大程度地去除摩尔纹，例如可以去除低频摩尔纹。
因此，本申请实施例通过结合采用密集连接卷积网络与空洞卷积网络去除小波图像的摩尔纹，可以有效地去除摩尔纹。
可选地，在步骤S220中，采用双分支网络去除第一小波图像的摩尔纹。双分支网络包括多个双分支子网络，其中相邻两个该双分支子网络中的前一个的输出为后一个的输入，该双分支子网络包括该密集连接卷积网络与空洞卷积网络，该双分支子网络的输入为该密集连接卷积网络的输入以及该空洞卷积网络的输入，该双分支子网络的输出为该密集连接卷积网络的输出与该空洞卷积网络的输出的加权之和。
双分支网络的结构如图8所示。双分支网络可以包含1个或多个双分支子网络，每个双分支子网络如图6所示。双分支网络包含的双分支子网络的个数，在应用中，可以根据应用需求确定，本申请对此不作限定。
双分支网络可以多个双分支子网络的实施例中，相邻两个该双分支子网络中的前一个的输出为后一个的输入。换句话说，每个双分支子网络的输出作为其后一个双分子子网络的输入。
继续参见图7，在一个空洞卷积分支中，具有两个卷积层，其中一个是膨胀率为kd+2＝kd+kd+1、卷积核大小为3×3的空洞卷积层，另一个是传统的卷积核大小3×3的卷积层，其中k为这个空洞卷积分支在双分支网络中的序号(其中k1＝1，k2＝2)。
例如，在步骤S220中，将该第一小波图像输入双分支网络，利用该双分支网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像。
作为一个示例，双分支网络接收的输入图像为小波图像Iw。设双分支子网络中密集连接卷积分支表示的函数为fdence,i，空洞卷积分支表示的函数为fdila,i，其中i为双分支子网络在双分支网络中的序号。第i个分支子网络的输出可以通过如下公式(2)得到：
Fi＝β·fdence,i(Fi-1)+fdila,i(Fi-1)
其中，F0＝IW，当i等于1，即第1个分支子网络的输出为F1＝β·fdence,1(IW)+fdila,1(IW)。
其中，β表示平衡因子，用来平衡密集连接卷积分支与空洞卷积分支的输出特征图的权重。例如，β的取值为0.2。
记双分支网络包含N个双分支子网络，则双分支网络的输出为FN。可以将IW用卷积核大小为1×1的卷积层处理后得到的f1×1conv(IW)与FN相加，得到最终双分支网络模块的输出OW＝f1×1conv(IW)+FN。双分支子网络的输出即为输入图像对应的小波图像。例如，N的取值为7。
在采用公式(2)获得待处理图像的第一小波图像的实施例中，在步骤S230中，将第二小波图像，通过与公式(2)对应的相关小波参数反变换为RGB图像。
在对待处理图像进行小波变换的过程中，特征图的大小和通道数不改变。例如，小波变换输入的图像为64个通道的特征图，则小波变换输出的图像也为64个通道的特征图。在图8的实施例中，在各个双分支子网络之间传递的特征图也是64个通道的特征图。
因此，本申请实施例通过结合采用密集连接卷积网络与空洞卷积网络去除小波图像的摩尔纹，密集连接卷积网络与空洞卷积网络可以优势互补，可以扩大网络的感受野(receptive field)，从而可以更大程度地去除摩尔纹。
基于上述描述，本申请实施例通过在小波域进行去除摩尔纹，可以有效去除摩尔纹，并且减少图像原有细节的损失。此外，通过结合采用密集连接卷积网络与空洞卷积网络去除小波图像的摩尔纹，可以进一步地有效地去除摩尔纹。
表1为本申请提供的去除摩尔纹的方法与现有的去除摩尔纹的方法在屏幕摩尔纹公开数据集(TIP2018)上的表现。其中，评价指标选取峰值信噪比(peak signal to noiseratio，PSNR)和结构相似性(structural similarity，SSIM)。从表1中可以看出，相比于现有的去除摩尔纹的方法，本申请提供的方案在两个评价指标上都可以取得较好的性能。
表1
PSNR SSIM
Pix2pix 25.74 0.8253
U-Net 26.49 0.8640
CFNet 26.09 0.8625
MuitiscaleNet 26.99 0.8710
本申请 28.08 0.9035
本文中描述的各个实施例可以为独立的方案，也可以根据内在逻辑进行组合，这些方案都落入本申请的保护范围中。
上文描述了本申请提供的方法实施例，下文将描述本申请提供的装置实施例。应理解，装置实施例的描述与方法实施例的描述相互对应，因此，未详细描述的内容可以参见上文方法实施例，为了简洁，这里不再赘述。
本申请实施例提供的去除摩尔纹的方法可以应用于相关设备的计算节点上，例如，通过对该计算节点进行软件或硬件的改造，能够有效的去除摩尔纹的干扰。
如图9所示，本申请实施例还提供一种数据处理的装置900。该装置900包括小波变换单元910、摩尔纹去除单元920、小波反变换单元930。
小波变换单元1010，用于对待处理图像进行小波变换，获得第一小波图像。
例如，小波变换单元1010用于执行上述实施例中的步骤S210。
可选地，该小波变换单元910对该待处理图像进行的小波变换的类型为Haar小波变换。
摩尔纹去除单元1020，用于对该第一小波图像进行去除摩尔纹处理，获得第二小波图像。
例如，摩尔纹去除单元1020用于执行上述实施例中的步骤S220。
小波反变换单元1030，用于对该第二小波图像进行小波反变换，获得该待处理图像的修复图像。
例如，小波反变换单元1030用于执行上述实施例中的步骤S230。
可选地，该摩尔纹去除单元1020用于，将该第一小波图像输入密集连接卷积网络，利用该密集连接卷积网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像。
可选地，该密集连接卷积网络中包括密集连接卷积模块与注意力模块，该注意力模块用于查找摩尔纹的方向，该密集连接卷积网络的输出为该密集连接卷积模块的输出与该注意力模块的输出的乘积的函数。如图5所示。
可选地，该摩尔纹去除单元1020用于，将该第一小波图像输入双分支子网络，利用该双分支子网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像。
其中，该双分支子网络包括该密集连接卷积网络与空洞卷积网络，该双分支子网络的输入为该密集连接卷积网络的输入以及该空洞卷积网络的输入，该双分支子网络的输出为该密集连接卷积网络的输出与该空洞卷积网络的输出的加权之和。
可选地，该密集连接卷积网络中包括密集连接卷积模块与注意力模块，该注意力模块用于查找摩尔纹的方向，该密集连接卷积网络的输出为该密集连接卷积模块的输出与该注意力模块的输出的乘积的函数。如图5所示。
可选地，该摩尔纹去除单元1020用于，将该第一小波图像输入双分支网络，利用该双分支网络对该第一小波图像进行去除摩尔纹处理，获得该第二小波图像。
其中，该双分支网络包括多个该双分支子网络，其中相邻两个该双分支子网络中的前一个的输出为后一个的输入。
该装置900可以集成在终端设备、网络设备或芯片上。
该装置900可以部署在相关设备的计算节点上，通过软件或硬件改造，能够有效的去除摩尔纹的干扰。例如，该装置900可以为计算节点上的去除摩尔纹的模块。
如图10所示，本申请实施例提供一种去除摩尔纹的***1000，该***1000包括小波正变换模块1010、去除摩尔纹模块1020与小波反变换模块1030。
小波正变换模块1010用于，对输入图像进行小波正变换，得到不同频率的小波图像。
例如，小波正变换模块1010用于执行上述实施例中的步骤S210。
去除摩尔纹模块1020用于，对去除摩尔纹模块1020得到的小波图像进行去除摩尔纹处理，得到去除摩尔纹后的小波图像。
例如，去除摩尔纹模块1020用于执行上述实施例中的步骤S220。
作为一个示例，去除摩尔纹模块1020的结构如图5所示。
作为另一个示例，去除摩尔纹模块1020的结构如图6所示。
作为有一个示例，去除摩尔纹模块1020的结构如图8所示。
相关描述详见上文，为了简洁，这里不再赘述。
小波反变换模块1030用于，对去除摩尔纹模块1020处理得到的小波图像进行小波反变换，得到去除摩尔纹后的输出图像。
例如，小波反变换模块1030用于执行上述实施例中的步骤S230。
可选地，如图10所示，该***1000还可以包括小波变换仓库1040、预训练特征仓库1040、小波反变换仓库1060。
小波变换仓库1040用于，存储小波变换的类型和所需要的变换参数。也就是说，小波变换仓库1040用于提供小波正变换模块1010对图像进行小波变换所需的参数。
可选地，小波变换仓库1040可以位于小波正变换模块1010内。
小波反变换仓库1060用于，存储小波反变换的类型和所需要的变换参数。也就是说，小波反变换仓库1060用于提供小波反变换模块1030对图像进行小波变换所需的参数。
可选地，小波反变换仓库1060可以位于小波反变换模块1030内。
预训练特征仓库1040用于，存储训练去除图像的摩尔纹的样本。也就是说，预训练特征仓库1040用于训练去除摩尔纹模块1020，使其具备输出去除了摩尔纹的图像的功能。
如图10所示，输入图像经过本申请提供的去除摩尔纹的***1000的处理，得到去除摩尔纹后的输出图像，该输出图像可以在候后续进行更多的处理或者进行图像目标识别等操作。
该***1000可以集成在终端设备、网络设备或芯片上。
该***1000可以部署在相关设备的计算节点上，通过软件或硬件改造，能够有效的去除摩尔纹的干扰。例如，该***1000可以为计算节点上的去除摩尔纹的模块。
如图11所示，本申请实施例还提供一种数据处理的装置1100。该装置1100包括处理器1110，处理器1110与存储器1120耦合，存储器1120用于存储计算机程序或指令，处理器1110用于执行存储器1120存储的计算机程序或指令，使得上文方法实施例中的方法被执行。
可选地，如图11所示，该装置1100还可以包括存储器1120。
可选地，如图11所示，该装置1100还可以包括数据接口1130，数据接口1130用于与外界进行数据的传输。
本申请实施例还提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行上述实施例的方法。
本申请实施例还提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述实施例的方法。
本申请实施例还提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述实施例的方法。
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行上述实施例中的方法。
本申请实施例还提供一种电子设备，该电子设备包括上述实施例中的装置900或***1000。
本申请实施例还提供一种芯片，该芯片包括神经网络处理器。下面介绍本申请实施例提供的一种芯片硬件结构。
图12为本申请实施例提供的一种芯片硬件结构，该芯片上包括神经网络处理器1200。该芯片可以被设置在如图9所示的装置900中，用以完成装置900的小波变换、去摩尔纹处理与小波反变换等计算工作。该芯片也可以被设置在如图10所示的***1000中，用以完成小波正变换模块1010、去除摩尔纹模块1020、小波反变换模块1030的训练工作并输出处理后的输出图像。
如图2所示的方法中的各个步骤均可在如图12所示的芯片中得以实现。
如图3所示的小波变换算法可在如图12所示的芯片中得以实现。
如图5所示的密集连接卷积网络可在如图12所示的芯片中得以实现。
如图6所示的双分支子网络可在如图12所示的芯片中得以实现。
如图7所示的空洞卷积分支可在如图12所示的芯片中得以实现。
如图8所示的双分支网络可在如图12所示的芯片中得以实现。
神经网络处理器1200作为协处理器挂载到主处理器(Host CPU)上，由主CPU分配任务。神经网络处理器1200的核心部分为运算电路1203，控制器1204控制运算电路1203提取存储器(权重存储器1202或输入存储器1201)中的数据并进行运算。
在一些实现中，运算电路1203内部包括多个处理单元(process engine，PE)。在一些实现中，运算电路1203是二维脉动阵列。运算电路1203还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1203是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路1203从权重存储器1202中取矩阵B相应的数据，并缓存在运算电路1203中每一个PE上。运算电路1203从输入存储器1201中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1208中。
向量计算单元1207可以对运算电路1203的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元1207可以用于神经网络中非卷积/非FC层的网络计算，如池化(pooling)，批归一化(batch normalization)，局部响应归一化(local response normalization)等。
在一些实现种，向量计算单元能1207将经处理的输出的向量存储到统一存储器(也可称为统一缓存器)1206。例如，向量计算单元1207可以将非线性函数应用到运算电路1203的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1207生成归一化的值、合并值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1203的激活输入，例如用于在神经网络中的后续层中的使用。
如图2所示的方法可以由1203或1207执行。
统一存储器1206用于存放输入数据以及输出数据。
权重数据直接通过存储单元访问控制器1205(direct memory accesscontroller，DMAC)将外部存储器中的输入数据搬运到输入存储器1201和/或统一存储器1206、将外部存储器中的权重数据存入权重存储器1202，以及将统一存储器1206中的数据存入外部存储器。
总线接口单元(bus interface unit，BIU)1210，用于通过总线实现主CPU、DMAC和取指存储器1209之间进行交互。
与控制器1204连接的取指存储器(instruction fetch buffer)1209，用于存储控制器1204使用的指令；
控制器1204，用于调用指存储器1209中缓存的指令，实现控制该运算加速器的工作过程。
在本申请实施例中，这里的数据可以是待处理的图像数据。
一般地，统一存储器1206，输入存储器1201，权重存储器1202以及取指存储器1209均为片上(On-Chip)存储器，外部存储器为该NPU外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(double data rate synchronous dynamic random accessmemory，DDR SDRAM)、高带宽存储器(high bandwidth memory，HBM)或其他可读可写的存储器。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
还应理解，本文中涉及的第一、第二、第三、第四以及各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘(USB flash disk，UFD)(UFD也可以简称为U盘或者优盘)、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(randomaccess memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种去除摩尔纹的方法，其特征在于，包括：
对待处理图像进行小波变换，获得第一小波图像；
对所述第一小波图像进行去除摩尔纹处理，获得第二小波图像；
对所述第二小波图像进行小波反变换，获得所述待处理图像的修复图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一小波图像进行去除摩尔纹处理，获得第二小波图像，包括：
将所述第一小波图像输入密集连接卷积网络，利用所述密集连接卷积网络对所述第一小波图像进行去除摩尔纹处理，获得所述第二小波图像。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一小波图像输入密集连接卷积网络，利用所述密集连接卷积网络对所述第一小波图像进行去除摩尔纹处理，获得所述第二小波图像，包括：
将所述第一小波图像输入双分支子网络，利用所述双分支子网络对所述第一小波图像进行去除摩尔纹处理，获得所述第二小波图像，
其中，所述双分支子网络包括所述密集连接卷积网络与空洞卷积网络，所述双分支子网络的输入为所述密集连接卷积网络的输入以及所述空洞卷积网络的输入，所述双分支子网络的输出为所述密集连接卷积网络的输出与所述空洞卷积网络的输出的加权之和。
4.根据权利要求3所述的方法，其特征在于，将所述第一小波图像输入双分支网络，利用所述双分支网络对所述第一小波图像进行去除摩尔纹处理，获得所述第二小波图像，包括：
将所述第一小波图像输入双分支网络，利用所述双分支网络对所述第一小波图像进行去除摩尔纹处理，获得所述第二小波图像，
其中，所述双分支网络包括多个所述双分支子网络，其中相邻两个所述双分支子网络中的前一个的输出为后一个的输入。
5.根据权利要求2至4中任一项所述的方法，其特征在于，所述密集连接卷积网络中包括密集连接卷积模块与注意力模块，所述注意力模块用于查找摩尔纹的方向，所述密集连接卷积网络的输出为所述密集连接卷积模块的输出与所述注意力模块的输出的乘积的函数。
6.根据权利要求1至5中任一项所述的方法，其特征在于，对所述待处理图像进行的小波变换的类型为哈尔Haar小波变换。
7.一种数据处理的装置，其特征在于，包括：
小波变换单元，用于对待处理图像进行小波变换，获得第一小波图像；
摩尔纹去除单元，用于对所述第一小波图像进行去除摩尔纹处理，获得第二小波图像；
小波反变换单元，用于对所述第二小波图像进行小波反变换，获得所述待处理图像的修复图像。
8.根据权利要求7所述的装置，其特征在于，所述摩尔纹去除单元用于，将所述第一小波图像输入密集连接卷积网络，利用所述密集连接卷积网络对所述第一小波图像进行去除摩尔纹处理，获得所述第二小波图像。
9.根据权利要求8所述的装置，其特征在于，所述摩尔纹去除单元用于，将所述第一小波图像输入双分支子网络，利用所述双分支子网络对所述第一小波图像进行去除摩尔纹处理，获得所述第二小波图像，
其中，所述双分支子网络包括所述密集连接卷积网络与空洞卷积网络，所述双分支子网络的输入为所述密集连接卷积网络的输入以及所述空洞卷积网络的输入，所述双分支子网络的输出为所述密集连接卷积网络的输出与所述空洞卷积网络的输出的加权之和。
10.根据权利要求9所述的装置，其特征在于，所述摩尔纹去除单元用于，将所述第一小波图像输入双分支网络，利用所述双分支网络对所述第一小波图像进行去除摩尔纹处理，获得所述第二小波图像，
其中，所述双分支网络包括多个所述双分支子网络，其中相邻两个所述双分支子网络中的前一个的输出为后一个的输入。
11.根据权利要求8至10中任一项所述的装置，其特征在于，所述密集连接卷积网络中包括密集连接卷积模块与注意力模块，所述注意力模块用于查找摩尔纹的方向，所述密集连接卷积网络的输出为所述密集连接卷积模块的输出与所述注意力模块的输出的乘积的函数。
12.根据权利要求7至11中任一项所述的装置，其特征在于，所述小波变换单元对所述待处理图像进行的小波变换的类型为哈尔Haar小波变换。
13.一种数据处理的装置，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器中存储的程序，当所述存储器中存储的程序被执行时，所述处理器用于执行权利要求1至6中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码被执行时，所述所示设备执行如权利要求1至6中任一项所述的方法。
15.一种芯片，其特征在于，包括至少一个处理器和数据接口；
所述至少一个所述处理器用于，通过所述数据接口调用并运行存储在存储器上的计算机程序，以使所述芯片执行如权利要求1至6中任一项所述的方法。
CN202010108660.7A 2020-02-21 2020-02-21 去除摩尔纹的方法与装置 Active CN111369450B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010108660.7A CN111369450B (zh) 2020-02-21 2020-02-21 去除摩尔纹的方法与装置
PCT/CN2021/076840 WO2021164725A1 (zh) 2020-02-21 2021-02-19 去除摩尔纹的方法与装置
EP21757807.9A EP4109393A4 (en) 2020-02-21 2021-02-19 MOIRE REMOVAL METHOD AND DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010108660.7A CN111369450B (zh) 2020-02-21 2020-02-21 去除摩尔纹的方法与装置

Publications (2)

Publication Number Publication Date
CN111369450A true CN111369450A (zh) 2020-07-03
CN111369450B CN111369450B (zh) 2024-02-02

Family

ID=71208182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010108660.7A Active CN111369450B (zh) 2020-02-21 2020-02-21 去除摩尔纹的方法与装置

Country Status (3)

Country Link
EP (1) EP4109393A4 (zh)
CN (1) CN111369450B (zh)
WO (1) WO2021164725A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184591A (zh) * 2020-09-30 2021-01-05 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习图像摩尔纹消除的图像复原方法
CN112598602A (zh) * 2021-01-06 2021-04-02 福建帝视信息科技有限公司 一种基于掩码的深度学习视频去摩尔纹方法
CN112801889A (zh) * 2021-01-06 2021-05-14 携程旅游网络技术（上海）有限公司 图像去噪方法、***、设备及存储介质
WO2021164725A1 (zh) * 2020-02-21 2021-08-26 华为技术有限公司 去除摩尔纹的方法与装置
CN113365082A (zh) * 2021-07-12 2021-09-07 北京爱芯科技有限公司 哈尔小波变换硬件装置
CN113723515A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 基于图像识别的摩尔纹识别方法、装置、设备及介质
CN113628138B (zh) * 2021-08-06 2023-10-20 北京爱芯科技有限公司 硬件复用图像降噪装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002300465A (ja) * 2001-04-02 2002-10-11 Fuji Photo Film Co Ltd 画像処理方法及び撮影装置並びに撮影システム
JP2005184086A (ja) * 2003-12-16 2005-07-07 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び情報記録媒体
CN105303530A (zh) * 2015-09-30 2016-02-03 天津大学 基于低秩稀疏矩阵分解的织物图像摩尔纹消除方法
CN105338340A (zh) * 2014-08-11 2016-02-17 劲领（上海）自动化科技有限公司 非接触式图像性能客观测试方法
CN107424123A (zh) * 2017-03-29 2017-12-01 北京粉笔未来科技有限公司 一种摩尔纹去除方法及装置
CN108846818A (zh) * 2018-06-25 2018-11-20 Oppo（重庆）智能科技有限公司 去除摩尔纹的方法、装置、终端及计算机可读存储介质
CN109145920A (zh) * 2018-08-21 2019-01-04 电子科技大学 一种基于深度神经网络的图像语义分割方法
CN109767376A (zh) * 2018-12-13 2019-05-17 平安科技（深圳）有限公司 图像认证方法、装置、计算机设备及存储介质
CN109886856A (zh) * 2019-02-21 2019-06-14 中国科学技术大学 对屏幕拍摄过程鲁棒的数字水印方法
CN110287969A (zh) * 2019-06-14 2019-09-27 大连理工大学 基于图残差注意力网络的摩尔文本图像二值化***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1120743B1 (en) * 2000-01-20 2006-07-26 Fuji Photo Film Co., Ltd. Method and unit for suppressing a periodic pattern
KR102171232B1 (ko) * 2014-07-15 2020-10-28 아이아이엑스 인코포레이티드 화상 처리 방법 및 이 화상 처리 방법을 실행하는 화상 처리 장치
DE102014110516A1 (de) * 2014-07-25 2016-01-28 Connaught Electronics Ltd. Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem, Fahrassistenzsystem und Kraftfahrzeug
CN108154487B (zh) * 2017-12-25 2021-02-09 天津大学 基于多通道分解的屏摄图像摩尔纹消除方法
CN108389164B (zh) * 2018-01-31 2021-05-11 深圳市商巨视觉技术有限公司 基于频域分析的去除图像摩尔纹的方法
CN109816599B (zh) * 2018-12-07 2020-12-29 西安电子科技大学 一种基于小波分解卷积神经网络的图像条带噪声抑制方法
CN111369450B (zh) * 2020-02-21 2024-02-02 华为技术有限公司 去除摩尔纹的方法与装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002300465A (ja) * 2001-04-02 2002-10-11 Fuji Photo Film Co Ltd 画像処理方法及び撮影装置並びに撮影システム
JP2005184086A (ja) * 2003-12-16 2005-07-07 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び情報記録媒体
CN105338340A (zh) * 2014-08-11 2016-02-17 劲领（上海）自动化科技有限公司 非接触式图像性能客观测试方法
CN105303530A (zh) * 2015-09-30 2016-02-03 天津大学 基于低秩稀疏矩阵分解的织物图像摩尔纹消除方法
CN107424123A (zh) * 2017-03-29 2017-12-01 北京粉笔未来科技有限公司 一种摩尔纹去除方法及装置
CN108846818A (zh) * 2018-06-25 2018-11-20 Oppo（重庆）智能科技有限公司 去除摩尔纹的方法、装置、终端及计算机可读存储介质
CN109145920A (zh) * 2018-08-21 2019-01-04 电子科技大学 一种基于深度神经网络的图像语义分割方法
CN109767376A (zh) * 2018-12-13 2019-05-17 平安科技（深圳）有限公司 图像认证方法、装置、计算机设备及存储介质
CN109886856A (zh) * 2019-02-21 2019-06-14 中国科学技术大学 对屏幕拍摄过程鲁棒的数字水印方法
CN110287969A (zh) * 2019-06-14 2019-09-27 大连理工大学 基于图残差注意力网络的摩尔文本图像二值化***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHANXIN YUAN等: "AIM 2019 Challenge on Image Demoireing: Methods and Results", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021164725A1 (zh) * 2020-02-21 2021-08-26 华为技术有限公司 去除摩尔纹的方法与装置
CN112184591A (zh) * 2020-09-30 2021-01-05 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习图像摩尔纹消除的图像复原方法
CN112598602A (zh) * 2021-01-06 2021-04-02 福建帝视信息科技有限公司 一种基于掩码的深度学习视频去摩尔纹方法
CN112801889A (zh) * 2021-01-06 2021-05-14 携程旅游网络技术（上海）有限公司 图像去噪方法、***、设备及存储介质
CN113365082A (zh) * 2021-07-12 2021-09-07 北京爱芯科技有限公司 哈尔小波变换硬件装置
CN113628138B (zh) * 2021-08-06 2023-10-20 北京爱芯科技有限公司 硬件复用图像降噪装置
CN113723515A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 基于图像识别的摩尔纹识别方法、装置、设备及介质
CN113723515B (zh) * 2021-08-31 2023-08-18 平安科技（深圳）有限公司 基于图像识别的摩尔纹识别方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2021164725A1 (zh) 2021-08-26
CN111369450B (zh) 2024-02-02
EP4109393A4 (en) 2023-08-16
EP4109393A1 (en) 2022-12-28

Similar Documents

Publication Publication Date Title
CN111369450B (zh) 去除摩尔纹的方法与装置
CN109064428B (zh) 一种图像去噪处理方法、终端设备及计算机可读存储介质
CN110263909B (zh) 图像识别方法及装置
CN108510451B (zh) 一种基于双层卷积神经网络的重建车牌的方法
CN113326930B (zh) 数据处理方法、神经网络的训练方法及相关装置、设备
CN111914997A (zh) 训练神经网络的方法、图像处理方法及装置
CN111340077A (zh) 基于注意力机制的视差图获取方法和装置
CN111260580A (zh) 一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储介质
EP3723006A1 (en) Signal processing method and device
CN111784605A (zh) 一种基于区域指导的图像降噪方法、计算机装置及计算机可读存储介质
CN110809126A (zh) 一种基于自适应可变形卷积的视频帧插值方法及***
CN113994364A (zh) 单或多模态风格转移***及方法与用其的随机风格化***
CN110717864B (zh) 一种图像增强方法、装置、终端设备及计算机可读介质
CN111882565A (zh) 一种图像二值化方法、装置、设备及存储介质
KR20100101463A (ko) 노이즈 저감 장치 및 방법
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置
CN114581318A (zh) 一种低照明度图像增强方法及***
CN113298740A (zh) 一种图像增强方法、装置、终端设备及存储介质
CN111383188A (zh) 一种图像处理方法、***及终端设备
CN112634166A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN110880160B (zh) 图片帧超分方法、装置、终端设备及计算机可读存储介质
CN111383299B (zh) 图像的处理方法、装置及计算机可读存储介质
CN116320792A (zh) 多帧图像中增强分辨率和降低噪声的方法
CN112085652A (zh) 一种图像处理的方法、装置、计算机存储介质及终端
CN114972119A (zh) 一种图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant