CN115511748A - 图像高清化处理方法和装置、电子设备 - Google Patents

图像高清化处理方法和装置、电子设备 Download PDF

Info

Publication number
CN115511748A
CN115511748A CN202211210146.XA CN202211210146A CN115511748A CN 115511748 A CN115511748 A CN 115511748A CN 202211210146 A CN202211210146 A CN 202211210146A CN 115511748 A CN115511748 A CN 115511748A
Authority
CN
China
Prior art keywords
image
processing
original image
definition
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211210146.XA
Other languages
English (en)
Inventor
郭鑫
刘子强
翟昶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hangxing Yongzhi Technology Co ltd
Original Assignee
Beijing Hangxing Yongzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hangxing Yongzhi Technology Co ltd filed Critical Beijing Hangxing Yongzhi Technology Co ltd
Priority to CN202211210146.XA priority Critical patent/CN115511748A/zh
Publication of CN115511748A publication Critical patent/CN115511748A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，尤其涉及一种图像高清化处理方法和装置、电子设备。其中，图像高清化处理方法包括：获取待处理的原始图像后，将待处理的原始图像输入到预先训练好的图像处理模型中，图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。本发明的方法和现有的人工手动处理方法相比，对原始图像的处理效率更高，且处理成本更低。

Description

图像高清化处理方法和装置、电子设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像高清化处理方法和装置、电子设备。
背景技术
随着计算机信息技术的不断发展，我国的互联网信息技术也走过了四个阶段。从信息建立与传输阶段，到信息应用与网民崛起，再到社交与移动崛起，目前来到了应用与概念并行，智能化兴起阶段。大数据、人工智能、物联网等技术开始扮演越来越重要的角色，与实体经济的不断融合催生出目前的产业发展方向。
随时人工智能技术的发展，对图像处理技术也是一个重要的促进，例如对档案的处理也逐步从数字化向智能化迈进，以克服扫描档案中存在的诸多复杂的情况。例如，档案在扫描的过程中会遇到各式各样的档案，存在纸张发黄，污损的情况，扫描得到的原始图片中包含噪声、污迹、杂线、纸张背面透过的干扰内容等无用信息。另外，文档有用信息也存在不同程度的字符、线框等有用细节信息缺失现象。这些存在的问题给生成电子化的高清档案造成了很大的阻碍。在现有的基于人工处理的档案数字化的过程中，需要花费大量的人力成本进行手工高清化处理，并且图像处理的效率较低。
发明内容
本发明提供一种图像高清化处理方法和装置、电子设备，用以解决现有技术中通过人工手动对图像处理时人工成本高、效率低的技术问题。
一方面，本发明提供一种图像高清化处理方法，包括：
获取待处理的原始图像；
将所述待处理的原始图像输入到预先训练好的图像处理模型中，所述图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
根据本发明提供的一种图像高清化处理方法，所述图像处理模型包括浅层特征抽取网络和双层密集残差模块组；
所述浅层特征抽取网络用于对输入的原始图像进行浅层特征提取，获取所述原始图像从浅层到深层的语义信息，同时增加所述原始图像的特征通道数，以得到所述原始图像的第一融合特征图；
所述双层密集残差模块组用于对所述融合特征图进行融合特征提取，获取所述原始图像深层的多尺度多通道的融合语义信息，以得到包括所述融合语义信息的第二融合特征图。
根据本发明提供的一种图像高清化处理方法，所述图像处理模型还包括上采样网络；
所述上采样网络用于对所述第二融合特征图进行分辨率放大处理，得到所述目标图像。
根据本发明提供的一种图像高清化处理方法，所述对所述第二融合特征图分辨率放大处理，得到所述目标图像包括：
采用最近值插值法对所述第二融合特征图进行差值处理，并采用卷积层和LeakyReLU激活函数对差值处理后的第二融合特征图进行处理，以放大所述第二融合特征图的分辨率；
根据本发明提供的一种图像高清化处理方法，所述双层密集残差模块组包括多个依次级联的双层密集残差模块；每个双层密集残差模块包括多个密集残差模块和一个残差边；所述每个密集残差模块包括多个卷积层和多个LeakyReLU层。
根据本发明提供的一种图像高清化处理方法，所述图像处理模型通过以下方法训练获取：
获取多张原始图像；
对所述多张原始图像分别进行模糊化、缩放、添加噪音和图像分辨率压缩处理，得到低分辨率图像；所述低分辨率作为用于训练所述图像处理模型的输入数据；
对所述多张原始图像进行去噪、修复和分辨率放大处理得到标注后的高分辨率图像，所述高分辨率图像作为用于训练所述图像处理模型的输出数据；
采用所述输入数据和输出数据对所述图像处理模型进行训练，直到所述图像处理模型的性能满足预设要求，以得到所述训练好的图像处理模型。
根据本发明提供的一种图像高清化处理方法，所述对输入的待处理图像进行去噪和修复处理包括以下处理方式中的一种或多种：
去除所述原始图像中的噪声；
去除所述原始图像中的污迹；
去除所述原始图像中的杂线；
去除所述原始图像中纸张背面透过的干扰内容；
恢复和/或补全所述原始图像中缺失字符；
恢复和/或补全所述原始图像中缺失的线框；
加深所述原始图像中字符的笔画；
加粗所述原始图像中字符的颜色；
修改所述原始图像的背景颜色。
另一方面，本发明还提供一种图像高清化处理装置，包括：
图像获取模块，用于获取待处理的原始图像；
图像处理模块，用于将所述待处理的原始图像输入到预先训练好的图像处理模型中，所述图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述图像高清化处理方法。
一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述图像高清化处理方法。
依据本发明提供的图像高清化处理方法，获取待处理的原始图像后，将待处理的原始图像输入到预先训练好的图像处理模型中，图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。本发明的方法和现有的人工手动处理方法相比，对原始图像的处理效率更高，且处理成本更低。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的图像高清化处理方法流程图；
图2是本发明提供的图像处理模型总体结构示意图；
图3是本发明提供的图像处理模型训练方法流程图；
图4是本发明提供的图像处理模型的具体结构示意图；
图5是本发明提供的双层密集残差模块的具体结构示意图；
图6是本发明提供的图像高清化处理装置结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种图像高清化处理方法，尤其针对档案的扫描图像进行处高清化处理，以获得高清化的电子图像，方便电子存档。具体的，本发明基于网络模型对获取的原始图像进行处理，预先通过大量的图像对设计的网络模型进行训练，直到网络模型的收敛性和处理效果均满足要求，然后采用训练好的图像处理模型对采集的原始图像进行高清化处理，例如对原始图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
实施例一：
本实施例提供一种图像高清化处理方法，如图1，本实施例的处理方法包括：
步骤101：获取待处理的原始图像。
本实施例中以旧档案为例，例如通过扫描机对旧档案进行扫描以获取的档案的原始图像。例如，本实施例中对档案进行扫描获取档案的电子图像作为待处理的原始图像。
步骤102：将待处理的原始图像输入到预先训练好的图像处理模型中，图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
在一种实施例中，在将待处理的原始图像输入到预先训练好的图像处理模型中之前还包括：对待处理的原始图像进行预处理，例如，本实施例的原始图像为用户使用规定配置的扫描仪扫描得到的档案图片。扫描的过程中，档案在扫描仪中放置的位置并不完全固定，扫描的到的图像可能是倾斜的。因此本实施例的预处理方法具体包括：对档案图片的位置进行纠偏和对原始图像进行裁切提取档案的关键区域图。例如，通过对档案图片进行一定角度的旋转，可以使得档案的主体区域处于水平线上；然后从旋转后的档案图片中裁切提取档案的关键区域，即去掉原始图像中的非关键信息，以保留关键信息，可以提高图像的处理效率。这样可以降低超分辨率生成对抗网络模型学习的复杂度并且提升模型推理的效果。
其中，本实施例中对输入的待处理图像进行去噪和修复处理具体包括以下处理方式中的一种或多种：
去除所述原始图像中的噪声；
去除所述原始图像中的污迹；
去除所述原始图像中的杂线；
去除所述原始图像中纸张背面透过的干扰内容；
恢复和/或补全所述原始图像中缺失字符；
恢复和/或补全所述原始图像中缺失的线框；
加深原始图像中字符的笔画；
加粗原始图像中字符的颜色；
修改原始图像的背景颜色。
例如，在一种实施例中，首先去除原始图像中的噪声、污迹、杂线、纸张背面透过的干扰内容等无用信息，恢复或补全缺失字符、线框等缺失有用细节信息，然后对原有字符的笔画进行加深、加粗为黑色或深蓝色，图片背景色统一为RGB颜色为(254，246，197)。
优选的，本实施例的中训练好的图像处理模型应该同时包括以上各个处理功能，在实际处理过程中，图像处理模型根据输入的原始图像的缺陷进行对应的处理，以提高原始图像的清晰度和分辨率。
如图2，本实施例的图像处理模型包括浅层特征抽取网络201、双层密集残差模块组202和上采样网络203。
其中，浅层特征抽取网络201用于对输入的原始图像进行浅层特征提取，获取原始图像从浅层到深层的语义信息，同时增加原始图像的特征通道数，以得到原始图像的第一融合特征图。由于档案图像的种类具有多样性，使用固定的特征提取方式难以涵盖所有的文档类型。因此，本实施例将预处理后的档案原始图像输入选用的浅层特征抽取网络201以及双层密集残差模块组202中进行处理，获得不同深度以及相应尺度的经过融合的第一融合特征图，作为档案图像的编码特征。在特征提取的过程中，不断通过卷积模块、残差瓶颈模块等模块的多种排列组合方式进行特征提取，通过不断融合前层特征图的方式获取图像从浅层到深层的语义信息。
其中，本实施例的图像处理模型的结构如图4所示。原始图像进入由1个卷积层和RELU(线性整流)函数的浅层特征抽取网络，提取图像的浅层特征，将原始图像由3通道调整为64通道数的第一融合特征图。双层密集残差模块组202用于对融合特征图进行融合特征提取，获取原始图像深层的多尺度多通道的融合语义信息，从而得到包括融合语义信息的第二融合特征图。具体的，本实施例的双层密集残差模块组202包含20个RRDB(Residual inResidual Dense Block)双层密集残差模块的网络结构。其中，双层密集残差模块的网络结构如图5所示，每个双层密集残差模块包含然3个RDB(Residual Dense Block)密集残差块和一个残差边，每个密集残差块都包含5个卷积层和4个LeakyReLU层，每一个卷积层和LeakyReLU层的输出都依次输入给后面的卷积层LeakyReLU层。通过密集连通卷积层提取丰富的局部特征，将先前(即上一层)的RDB的输出直接连接到当前RDB的所有层的输入，然后利用RDB的局部特征融合自适应地从先前和当前的局部特征中学习更有效的特征，使训练更加稳定。该双层密集残差模块组模型容量大，删除了常用于其他网络的BN层，可使梯度有效回传易于训练，易于学习到图像的细节纹理特征。上述过程解决了档案图像形式多样性带来的特征多样难以有效提取的问题。
上采样网络203用于对第二融合特征图进行分辨率放大处理，得到高清化的目标图像。具体的，本实施例中采用最近值插值法对第二融合特征图进行差值处理，并采用卷积层和LeakyReLU激活函数对差值处理的第二融合特征图进行处理，以放大第二融合特征图的分辨率。例如对输出深层的多尺度多通道的融合语义信息输出结果采用最近值插值法将图像的分辨率放大2倍，并使用1个卷积层和LeakyReLU激活函数对插值后的特征图进行处理，得到宽高放大2倍后的特征图。将上述处理方法进行2次，即可获得高宽均为输入的原始图像四倍的高清化的目标图像。
依据本实施例的图像处理模型，可以提升对图像中不同尺度大小的纹理细节的感知能力，可以更加精确地去除原始图片中的噪声、污迹、杂线、纸张背面透过的干扰内容等无用信息，恢复或补全缺失字符、线框等缺失有用细节信息。
其中，如图3，本实施例的图像处理模型通过以下方法训练获取：
步骤301：获取多张原始图像。
步骤302：对多张原始图像分别进行模糊化、缩放、添加噪音和图像分辨率压缩处理，得到低分辨率图像；低分辨率作为用于训练图像处理模型的输入数据。本实施例中低和高都是相对的概念，均是相对于原始图像而言，没有具体的限定作用。例如，本实施例的低分辨率图片的宽和高为对应的原始图像的1/4大小，对原始图像采用模糊化、缩放、加噪声、图像压缩4种算法依次进行处理，得到用于训练图像处理模型的输入数据。
具体的，本实施例使用各项同性(isotropic)和各向异性(anisotropic)的高斯模糊核，来实现对原始图像的模糊化处理；对于图像尺寸的缩小操作，常用的方法有：双三次插值、双线性插值、区域插值。在执行图像缩小操作时，本实施例从提到的3种插值方式中随机选择一种；对于加入噪声操作，本方法同时加入高斯噪声和服从泊松分布的噪声。同时，根据待超分图像的通道数，加入噪声的操作可以分为对彩色图像添加噪声和对灰度图像添加噪声。图像压缩采用JPEG压缩，本实施例通过从[0,100]范围中随机选择压缩质量，对图像进行JPEG压缩，其中0表示压缩后的质量最差，100表示压缩后的质量最好。
步骤303：对多张原始图像进行去噪、修复和分辨率放大处理得到标注后的高分辨率图像，高分辨率图像为用于作为训练图像处理模型的输出数据。本实施例通过人工对多张原始图像进行手动标注，以得到用于作为训练图像处理模型的输出数据。例如，对原始图像进行去除原始图片中的噪声、污迹、杂线、纸张背面透过的干扰内容等无用信息，恢复或补全缺失字符、线框等缺失有用细节信息。对原有字符的笔画进行加深、加粗为黑色或深蓝色，图片背景色的RGB颜色统一为(254，246，197)。
步骤304：采用输入数据和输出数据对图像处理模型进行训练，直到图像处理模型的性能满足预设要求，以得到训练好的图像处理模型。
具体的，本实施例的网络模型包括判别器(即判别模块)和生成器(即图像处理模块)两部分，判别器采用U-Net结构网络模型，判别器用于在模型训练时，对训练的结果在对图像的整体以及像素两个角度进行真假判断，这能够在保证生成图像在宏观上真实的情况下同时注重生成图像细节，以保证模型的训练精度。生成器用于将低分辨率图片(即原始图像)进行处理得到与其对应的高分辨率且大尺寸的高清化图片。
本实施例中，原始GAN(Generative Adversarial Network)生成对抗网络鉴别器分类网络判别器分类网络作为U-Net网络的编码器部分，采用超分辨率生成对抗网络模型的生成器作为U-Net网络的解码器部分。生成器和解码器通过瓶颈结构和跳跃连接进行连接，可以从编码器的不同层级的特征图复制并拼接至解码器的不同层级的特征。U-Net编码器部分将输入图片整体作真实和虚假判别，U-Net解码器部分将输入图片的每一个像素作真实和虚假判别，对输入图片分割出真假区域。
将低分辨率图片通过超分辨率生成对抗网络模型的生成器生成与对应的高分辨率且尺寸相同的图片，将生成器生成的高分辨率图片与标签高分辨率图片(即人工标注的训练数据)输入超分辨率生成对抗网络模型的判别器进行真假判别联合训练，并在训练过程中通过梯度反向传播不断优化判别器以及生成器中的参数，从而得到具备更佳参数的生成器。
本实施例使用扫描仪扫描纸质档案，对档案图片进行纠偏、裁切提取档案的关键区域原始图像，以档案的关键区域子图作为模型的输入，图像处理模型的生成器对其进行超高清化处理。图像处理模型的生成器和判别器，需要使用训练文档图片数据进行联合训练，最终使用生成器部分对新的文档关键区域的原始图片进行超高清化处理。经过测试，采用本实施例的图像处理模型对档案图像进行超高清化处理，可大大节省文档高清化过程中的人力和时间成本。
实施例二：
下面对本发明提供的高清化处理装置进行描述，下文描述的高清化处理装置与上文描述的高清化处理方法可相互对应参照。
本实施例提供一种图像高清化处理装置，其包括：图像获取模块401和图像处理模块402。
其中，图像获取模块401用于获取待处理的原始图像。图像处理模块402用于将待处理的原始图像输入到预先训练好的图像处理模型中，图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
本实施例的上述各个功能模块的实现方法以及技术效果和上述实施例一中的高清化处理方法类似，本实施例中不再赘述。
实施例三：
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行图像高清化处理方法，该方法包括：获取待处理的原始图像，将待处理的原始图像输入到预先训练好的图像处理模型中，图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像高清化处理方法，该方法包括：获取待处理的原始图像，将待处理的原始图像输入到预先训练好的图像处理模型中，图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像高清化处理方法，该方法包括：获取待处理的原始图像，将待处理的原始图像输入到预先训练好的图像处理模型中，图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像高清化处理方法，其特征在于，包括：
获取待处理的原始图像；
将所述待处理的原始图像输入到预先训练好的图像处理模型中，所述图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
2.根据权利要求1所述的图像高清化处理方法，其特征在于，所述图像处理模型包括浅层特征抽取网络和双层密集残差模块组；
所述浅层特征抽取网络用于对输入的原始图像进行浅层特征提取，获取所述原始图像从浅层到深层的语义信息，同时增加所述原始图像的特征通道数，以得到所述原始图像的第一融合特征图；
所述双层密集残差模块组用于对所述融合特征图进行融合特征提取，获取所述原始图像深层的多尺度多通道的融合语义信息，以得到包括所述融合语义信息的第二融合特征图。
3.根据权利要求2所述的图像高清化处理方法，其特征在于，所述图像处理模型还包括上采样网络；
所述上采样网络用于对所述第二融合特征图进行分辨率放大处理，得到所述目标图像。
4.根据权利要求3所述的图像高清化处理方法，其特征在于，所述对所述第二融合特征图进行分辨率放大处理，得到所述目标图像包括：
采用最近值插值法对所述第二融合特征图进行差值处理，并采用卷积层和LeakyReLU激活函数对差值处理后的第二融合特征图进行处理，以放大所述第二融合特征图的分辨率。
5.根据权利要求2所述的图像高清化处理方法，其特征在于，所述双层密集残差模块组包括多个依次级联的双层密集残差模块；每个双层密集残差模块包括多个密集残差模块和一个残差边；所述每个密集残差模块包括多个卷积层和多个LeakyReLU层。
6.根据权利要求1所述的图像高清化处理方法，其特征在于，所述图像处理模型通过以下方法训练获取：
获取多张原始图像；
对所述多张原始图像分别进行模糊化、缩放、添加噪音和图像分辨率压缩处理，得到低分辨率图像；所述低分辨率作为用于训练所述图像处理模型的输入数据；
对所述多张原始图像进行去噪、修复和分辨率放大处理得到标注后的高分辨率图像，所述高分辨率图像作为用于训练所述图像处理模型的输出数据；
采用所述输入数据和输出数据对所述图像处理模型进行训练，直到所述图像处理模型的性能满足预设要求，以得到所述训练好的图像处理模型。
7.根据权利要求1所述的图像高清化处理方法，其特征在于，所述对输入的待处理图像进行去噪和修复处理包括以下处理方式中的一种或多种：
去除所述原始图像中的噪声；
去除所述原始图像中的污迹；
去除所述原始图像中的杂线；
去除所述原始图像中纸张背面透过的干扰内容；
恢复和/或补全所述原始图像中缺失字符；
恢复和/或补全所述原始图像中缺失的线框；
加深所述原始图像中字符的笔画；
加粗所述原始图像中字符的颜色；
修改所述原始图像的背景颜色。
8.一种图像高清化处理装置，其特征在于，包括：
图像获取模块，用于获取待处理的原始图像；
图像处理模块，用于将所述待处理的原始图像输入到预先训练好的图像处理模型中，所述图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述图像高清化处理方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像高清化处理方法。
CN202211210146.XA 2022-09-30 2022-09-30 图像高清化处理方法和装置、电子设备 Pending CN115511748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211210146.XA CN115511748A (zh) 2022-09-30 2022-09-30 图像高清化处理方法和装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211210146.XA CN115511748A (zh) 2022-09-30 2022-09-30 图像高清化处理方法和装置、电子设备

Publications (1)

Publication Number Publication Date
CN115511748A true CN115511748A (zh) 2022-12-23

Family

ID=84508161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211210146.XA Pending CN115511748A (zh) 2022-09-30 2022-09-30 图像高清化处理方法和装置、电子设备

Country Status (1)

Country Link
CN (1) CN115511748A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及***
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法
CN112818764A (zh) * 2021-01-15 2021-05-18 西安交通大学 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN112907448A (zh) * 2021-02-09 2021-06-04 长视科技股份有限公司 一种任意比率图像超分辨率方法、***、设备及存储介质
US20210272237A1 (en) * 2020-02-29 2021-09-02 University Of Florida Research Foundation, Inc. Multimodal ct image super-resolution via transfer generative adversarial network
CN113362223A (zh) * 2021-05-25 2021-09-07 重庆邮电大学 基于注意力机制和双通道网络的图像超分辨率重建方法
CN113763244A (zh) * 2021-08-18 2021-12-07 济宁安泰矿山设备制造有限公司 一种用于智能泵腔体故障诊断的内窥镜图像超分辨率重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及***
US20210272237A1 (en) * 2020-02-29 2021-09-02 University Of Florida Research Foundation, Inc. Multimodal ct image super-resolution via transfer generative adversarial network
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法
CN112818764A (zh) * 2021-01-15 2021-05-18 西安交通大学 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN112907448A (zh) * 2021-02-09 2021-06-04 长视科技股份有限公司 一种任意比率图像超分辨率方法、***、设备及存储介质
CN113362223A (zh) * 2021-05-25 2021-09-07 重庆邮电大学 基于注意力机制和双通道网络的图像超分辨率重建方法
CN113763244A (zh) * 2021-08-18 2021-12-07 济宁安泰矿山设备制造有限公司 一种用于智能泵腔体故障诊断的内窥镜图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李素梅;陈圣;: "基于密集连接的生成对抗网络实现单图像超分辨率方法研究" *
毕晓君;潘梦迪;: "基于生成对抗网络的机载遥感图像超分辨率重建" *

Similar Documents

Publication Publication Date Title
Islam et al. Simultaneous enhancement and super-resolution of underwater imagery for improved visual perception
CN112348783B (zh) 基于图像的人物识别方法、装置及计算机可读存储介质
CN109146788B (zh) 基于深度学习的超分辨率图像重建方法和装置
CN111754438B (zh) 基于多分支门控融合的水下图像复原模型及其复原方法
US7149355B2 (en) Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program
JP2023539691A (ja) 人物画像修復方法、装置、電子機器、記憶媒体及びプログラム製品
US11651477B2 (en) Generating an image mask for a digital image by utilizing a multi-branch masking pipeline with neural networks
CN113221925B (zh) 一种基于多尺度图像的目标检测方法及装置
KR102236788B1 (ko) 이미지 복원 방법 및 장치
CN113610087B (zh) 一种基于先验超分辨率的图像小目标检测方法及存储介质
US10810709B1 (en) Systems and methods for improving the quality of text documents using artificial intelligence
JP5939154B2 (ja) 画像処理装置およびコンピュータプログラム
CN110418139B (zh) 一种视频超分辨修复方法、装置、设备及存储介质
Chen et al. Single depth image super-resolution using convolutional neural networks
JP2010286959A (ja) 顔画像高解像度化方法、顔画像高解像度化装置、及びそのプログラム
US8743419B2 (en) Image processing apparatus and method converting low-resolution image to high-resolution using signal value patterns
CN117541546A (zh) 图像裁剪效果的确定方法和装置、存储介质及电子设备
JP4441300B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体
CN115965844B (zh) 基于视觉显著性先验知识的多聚焦图像融合方法
Li et al. RGSR: A two-step lossy JPG image super-resolution based on noise reduction
CN115511748A (zh) 图像高清化处理方法和装置、电子设备
CN112200751B (zh) 一种图像增强方法
CN114898096A (zh) 一种人物图像的分割和标注方法及***
KR101006810B1 (ko) 예제 기반 초해상도 기법을 이용한 고품질 영상 획득 방법
Omarov et al. Exploring image processing and image restoration techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221223

RJ01 Rejection of invention patent application after publication