CN111932462A - 图像降质模型的训练方法、装置和电子设备、存储介质 - Google Patents

图像降质模型的训练方法、装置和电子设备、存储介质 Download PDF

Info

Publication number
CN111932462A
CN111932462A CN202010830770.4A CN202010830770A CN111932462A CN 111932462 A CN111932462 A CN 111932462A CN 202010830770 A CN202010830770 A CN 202010830770A CN 111932462 A CN111932462 A CN 111932462A
Authority
CN
China
Prior art keywords
image
resolution
resolution image
degradation model
degradation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010830770.4A
Other languages
English (en)
Other versions
CN111932462B (zh
Inventor
李兴龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN202010830770.4A priority Critical patent/CN111932462B/zh
Publication of CN111932462A publication Critical patent/CN111932462A/zh
Application granted granted Critical
Publication of CN111932462B publication Critical patent/CN111932462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像降质模型的训练方法和装置、电子设备、计算机可读存储介质，所述图像降质模型的训练方法包括：获取第一分辨率图像，对所述第一分辨率图像进行冲印处理，得到冲印图像；对所述冲印图像进行拍摄，得到第二分辨率图像；所述第二分辨率图像对应的第二分辨率小于所述第一分辨率图像对应的第一分辨率；通过待训练的图像降质模型对所述第一分辨率图像进行分辨率降低处理，得到降质图像；基于所述降质图像和所述第二分辨率图像之间的差异调整所述图像降质模型的参数，当满足训练停止条件时得到已训练的图像降质模型。通过本方案能够准确将高分辨率图像转换为低分辨率图像，以扩充训练图像。

Description

图像降质模型的训练方法、装置和电子设备、存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像降质模型的训练方法、装置、电子设备和计算机可读存储介质。
背景技术
超分辨率(Super Resolution，简称SR)是一种提升图像分辨率的方法，能够在不改***件设备的同时，将低分辨率图像或视频变成清晰的高分辨率结果。进行超分辨率重建时往往需要采集训练数据集，通过训练数据集对超分辨率重建的相关算法进行训练，以提高超分辨率重建的性能。
而传统的超分辨率重建的训练数据集的采集方式，一般是通过双三次下采样原始的高分辨率图像，以得到相应的低分辨率图像，从而获得训练数据集。然而，实际上图像会经历很多复杂的降质过程，例如运动模糊、散焦模糊、噪声等，仅仅通过双三次下采样来获得训练数据集，是不准确的。
发明内容
本申请实施例提供了一种图像降质模型的训练方法、装置、电子设备、计算机可读存储介质，可以准确生成高分辨率图像对应的低分辨率图像。
一种图像降质模型的训练方法，包括：
获取第一分辨率图像，对所述第一分辨率图像进行冲印处理，得到冲印图像；
对所述冲印图像进行拍摄，得到第二分辨率图像；所述第二分辨率图像对应的第二分辨率小于所述第一分辨率图像对应的第一分辨率；
通过待训练的图像降质模型对所述第一分辨率图像进行分辨率降低处理，得到降质图像；
基于所述降质图像和所述第二分辨率图像之间的差异调整所述图像降质模型的参数，当满足训练停止条件时得到已训练的图像降质模型。
一种图像降质模型的训练装置，包括：
获取模块，用于获取第一分辨率图像，对所述第一分辨率图像进行冲印处理，得到冲印图像；
拍摄模块，用于对所述冲印图像进行拍摄，得到第二分辨率图像；所述第二分辨率图像对应的第二分辨率小于所述第一分辨率图像对应的第一分辨率；
训练模块，用于通过待训练的图像降质模型对所述第一分辨率图像进行分辨率降低处理，得到降质图像；
调整模块，用于基于所述降质图像和所述第二分辨率图像之间的差异调整所述图像降质模型的参数，当满足训练停止条件时得到已训练的图像降质模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取第一分辨率图像，对所述第一分辨率图像进行冲印处理，得到冲印图像；
对所述冲印图像进行拍摄，得到第二分辨率图像；所述第二分辨率图像对应的第二分辨率小于所述第一分辨率图像对应的第一分辨率；
通过待训练的图像降质模型对所述第一分辨率图像进行分辨率降低处理，得到降质图像；
基于所述降质图像和所述第二分辨率图像之间的差异调整所述图像降质模型的参数，当满足训练停止条件时得到已训练的图像降质模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取第一分辨率图像，对所述第一分辨率图像进行冲印处理，得到冲印图像；
对所述冲印图像进行拍摄，得到第二分辨率图像；所述第二分辨率图像对应的第二分辨率小于所述第一分辨率图像对应的第一分辨率；
通过待训练的图像降质模型对所述第一分辨率图像进行分辨率降低处理，得到降质图像；
基于所述降质图像和所述第二分辨率图像之间的差异调整所述图像降质模型的参数，当满足训练停止条件时得到已训练的图像降质模型。
上述图像降质模型的训练方法、装置、电子设备和计算机可读存储介质，通过对第一分辨率图像进行冲印处理，并对冲印图像进行拍摄，以模拟图像的降质过程，从而得到降低分辨率之后的第二分辨率图像。将第一分辨率图像和第二分辨率图像用于训练图像降质模型，并将第二分辨率图像作为标签，即将高分辨率图像和对应的低分辨率图像作为训练图像对，并将低分辨率图像作为标签，得到的训练图像对更准确，更符合实际情况中所获取的训练图像集。根据图像降质模型对第一分辨率图像进行分辨率降低处理，得到模型输出的降质图像，即得到低分辨率图像。根据图像降质模型输出的低分辨率图像和作为参照的低分辨率图像之间的差异调整模型参数，直至满足训练停止条件时得到训练好的图像降质模型。训练好的图像降质模型能够准确快速地将输入的高分辨率图像转换为对应的低分辨率图像，从而能够快速生成大量高低分辨率的训练图像对，扩充训练图像数据集。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像降质模型的训练方法的应用环境图；
图2为一个实施例中图像降质模型的训练方法的原理示意图；
图3为一个实施例中图像降质模型的训练方法的流程图；
图4为一个实施例中基于第二分辨率图像对第一分辨率图像进行配准处理的流程图；
图5为一个实施例中基于降质图像和第二分辨率图像之间的差异调整图像降质模型的参数的流程图；
图6为一个实施例中通过待训练的图像降质模型对第一分辨率图像进行分辨率降低处理的流程图；
图7为一个实施例中对第一分辨率图像进行冲印处理的流程图；
图8为一个实施例中通过训练好的图像降质模型对待处理图像进行分辨率降低处理的流程图；
图9为一个实施例中图像降质模型的训练方法装置的结构框图；
图10为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一分辨率图像称为第二分辨率图像，且类似地，可将第二分辨率图像称为第一分辨率图像。第一分辨率图像和第二分辨率图像两者都是图像，但其不是同一分辨率的图像。
图1为一个实施例中图像降质模型的训练方法的应用环境示意图。如图1所示，该应用环境包括电子设备110和服务器120。电子设备110可从服务器120获得第一分辨率图像，对第一分辨率图像进行冲印处理，得到冲印图像。接着，电子设备110对冲印图像进行拍摄，得到第二分辨率图像；该第二分辨率图像对应的第二分辨率小于第一分辨率图像对应的第一分辨率。接着，电子设备110通过待训练的图像降质模型对第一分辨率图像进行分辨率降低处理，得到降质图像。电子设备110基于降质图像和第二分辨率图像之间的差异调整图像降质模型的参数，当满足训练停止条件时得到已训练的图像降质模型。该已训练的图像降质模型可安装运行于电子设备110，或运行于服务器120上。其中，电子设备110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
图2为一个实施例中图像降质模型的训练方法的原理示意图。如图2所示，电子设备可从公开的高清图像数据集中获取预设数量的第一分辨率的原始图像，该第一分辨率的原始图像即作为高分辨率图像；该预设数量的第一分辨率的原始图像的图像尺寸可不相同。电子设备将预设数量的第一分辨率的原始图像进行拼接处理，得到第一分辨率的拼接图像。接着，电子设备对拼接图像进行无损裁剪，得到相同图像尺寸的各张第一分辨率图像。接着，电子设备将各张第一分辨率图像划分给多个区域，例如为第一分辨率图像增加九宫格，以为后续进行配准。接着，电子设备通过冲印设备对各第一分辨率图像进行冲印处理，得到各冲印图像。电子设备可对各冲印图像进行拍摄，得到各张第二分辨率图像。该第二分辨率图像对应的第二分辨率小于第一分辨率图像对应的第一分辨率。进一步地，电子设备对各冲印图像拍摄时使用的拍摄倍率可不相同。接着，电子设备可将各第一分辨率图像和对应的第二分辨率图像用于训练图像降质模型。训练好的图像降质模型能够准确快速地将输入的高分辨率图像转换为对应的低分辨率图像，从而能够快速生成大量高低分辨率的训练图像对。
图3为一个实施例中图像降质模型的训练方法的流程图。本实施例中的图像降质模型的训练方法，以运行于图1中的电子设备上为例进行描述。如图3所示，该图像降质模型的训练方法包括：
步骤302，获取第一分辨率图像，对第一分辨率图像进行冲印处理，得到冲印图像。
其中，冲印是数字输入、图像处理、图像输出的全部过程。它采用彩扩的方法，将数码图像在彩色相纸上曝光，输出彩色相片，是一种高速度、低成本、高质量制作数码相片的方法。数字输入是传统底片、反转片、成品相片通过数码冲印机的扫描***，扫描成数字图像输入到冲印机连接的电脑中。数码冲印不只是冲印数码相机拍摄的图像，还可以冲印传统胶片，以及其他各种存储介质中的数字图像。
第一分辨率图像可以是RGB(Red，Green，Blue)图像、RAW图像、灰度图像、深度图像、YUV图像中的Y分量所对应的图像等其中的任意一种。其中，RAW图像是图像感应器将捕捉到的光源信号转化为数字信号的原始数据。YUV图像中的“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。图像分辨率是指图像单位英寸内的像素点数。
具体地，电子设备可从本地或其他设备或网络上获取第一分辨率图像，或者电子设备通过摄像头拍摄一场景得到第一分辨率图像。该第一分辨率图像为电子图像。接着，电子设备将所获取的第一分辨图像发送至冲印设备，通过超高像素精度的冲印设备，将第一分辨率图像无损冲印成照片或明信片，冲印得到的图像即为冲印图像。
在本实施中，该冲印设备的打印分辨率(DPI)要高于500且具有较高的颜色保真度，以保证冲印出来的图像分辨率尽可能接近于第一分辨率的电子图像。
在本实施例中，该获取第一分辨率的图像，包括：获取预设数量的第一分辨率的原始图像，将预设数量的第一分辨率的原始图像进行拼接处理，得到拼接图像；对拼接图像进行划分，得到各相同图像尺寸的第一分辨率图像。
具体地，电子设备可从公开的高清图像数据集中获取预设数量的第一分辨率的原始图像，该第一分辨率的原始图像即作为高分辨率图像(High Resolution，简称HR)。该预设数量的第一分辨率的原始图像的图像尺寸可不相同。电子设备将预设数量的第一分辨率的原始图像进行拼接处理，得到第一分辨率的拼接图像。接着，对拼接图像进行无损裁剪，得到相同图像尺寸的各张第一分辨率图像。例如，将不同图像尺寸的6张原始图像进行拼接处理，得到一张边缘完整的拼接图像。接着，将该拼接图像进行九等分，得到相同图像尺寸的9张第一分辨率图像。
步骤304，对冲印图像进行拍摄，得到第二分辨率图像；该第二分辨率图像对应的第二分辨率小于第一分辨率图像对应的第一分辨率。
具体地，电子设备通过摄像头对冲印图像进行拍摄，将拍摄得到的图像作为第二分辨率图像。该第二分辨率图像即作为低分辨率图像(Low Resolution，简称LR)。该第二分辨率图像的第二分辨率小于该第一分辨率图像的第一分辨率。接着，电子设备将该第一分辨率图像和对应的第二分辨率图像作为训练图像对。
在本实施例中，电子设备通过冲印设备对多张第一分辨率图像进行冲印处理，得到多张冲印图像。接着，电子设备通过摄像头对多张冲印图像进行拍摄，得到每张冲印图像对应的第二分辨率图像，从而得到每张第一分辨率图像对应的第二分辨率图像。
可选地，电子设备可通过不同的拍摄倍率对多张不同的冲印图像进行拍摄，得到各张第二分辨率图像，一张冲印图像对应一张第二分辨率图像。电子设备可通过不同的拍摄倍率对分别对每张冲印图像进行拍摄，得到每张冲印图像对应的多张第二分辨率图像。该多张为至少两张。
步骤306，通过待训练的图像降质模型对第一分辨率图像进行分辨率降低处理，得到降质图像。
其中，降低分辨率处理是指对图像增加噪声、增加模糊或压缩图像，以降低图像的分辨率。降低分辨率处理的类型包括但不限于增加高斯噪声、椒盐噪声、泊松噪声、高斯模糊、运动模糊，进行图像压缩处理，以及相互之间的组合处理等。
具体地，将该第一分辨率图像和第二分辨率图像作为训练图像对，以对图像降质模型进行训练。电子设备将第二分辨率图像作为标签，将第一分辨率图像和第二分辨率图像输入待训练的图像降质模型。待训练的图像降质模型对第一分辨率图像进行分辨率降低处理，该分辨率降低处理可以是对该第一分辨率图像增加噪声、增加模糊、或对第一分辨率图像进行压缩处理等，以输出降低分辨率后的降质图像。
步骤308，基于降质图像和第二分辨率图像之间的差异调整图像降质模型的参数，当满足训练停止条件时得到已训练的图像降质模型。
具体地，该降质图像作为图像降质模型输出的低分辨率图像，该第二分辨率图像也为低分辨率图像。电子设备将降质图像和作为标签的第二分辨率图像进行比较，确定两者之间的差异，并根据降质图像与第二分辨率图像之间的差异，调整图像降质模型的参数。接着，通过降质图像和第二分辨率图像对调整后的图像降质模型继续训练，直到满足训练停止条件时停止，得到训练好的图像降质模型。
在本实施例中，训练停止条件为降质图像和对应的第二分辨率图像之间的差异小于预设差异。或者训练停止条件为图像降质模型输出的损失误差小于损失阈值。或者训练停止条件可为训练次数达到预设次数。
当降质图像和对应的第二分辨率图像之间的差异小于预设差异，或者图像降质模型输出的损失误差小于损失阈值时，停止训练，得到训练好的图像降质模型。
本实施例中，通过对第一分辨率图像进行冲印处理，并对冲印图像进行拍摄，以模拟图像的降质过程，从而得到降低分辨率之后的第二分辨率图像。将第一分辨率图像和第二分辨率图像用于训练图像降质模型，并将第二分辨率图像作为标签，即将高分辨率图像和对应的低分辨率图像作为训练图像对，并将低分辨率图像作为标签，得到的训练图像对更准确，更符合实际情况中所获取的训练图像集。根据图像降质模型对第一分辨率图像进行分辨率降低处理，得到模型输出的降质图像，即得到低分辨率图像。根据图像降质模型输出的低分辨率图像和作为参照的低分辨率图像之间的差异调整模型参数，直至满足训练停止条件时得到训练好的图像降质模型。训练好的图像降质模型能够准确快速地将输入的高分辨率图像转换为对应的低分辨率图像，从而能够快速生成大量高低分辨率的训练图像对，扩充训练图像数据集。
在一个实施例中，对冲印图像进行拍摄，得到第二分辨率图像，包括：
确定第一分辨率图像对应的第一拍摄倍率；将电子设备的拍摄倍率调整为第二拍摄倍率，通过第二拍摄倍率对冲印图像进行拍摄，得到第二分辨率图像；该第二拍摄倍率大于第一拍摄倍率。
具体地，电子设备获取第一分辨率图像对应的第一拍摄倍率，并确定电子设备当前的拍摄倍率。当电子设备当前的拍摄倍率小于或等于第一拍摄倍率时，将当前的拍摄倍率放大至第二拍摄倍率，该第二拍摄倍率大于该第一拍摄倍率。当电子设备当前的拍摄倍率大于第一拍摄倍率时，将当前的拍摄倍率作为第二拍摄倍率。接着，电子设备通过摄像头的第二拍摄倍率对冲印图像进行拍摄，将拍摄得到的图像作为第二分辨率图像。该第二分辨率图像即作为低分辨率图像。
在本实施例中，电子设备可使用不同的第二拍摄倍率对不同的第一分辨率图像进行拍摄，以得到不同拍摄倍率的第二分辨率图像。
例如，电子设备可通过3个不同的拍摄倍率对3张冲印图像进行拍摄，每个拍摄倍率用于拍摄一张冲印图像，得到3张第二分辨率图像，一张冲印图像对应一张第二分辨率图像。或者，电子设备可通过3个不同的拍摄倍率分别对3张冲印图像进行拍摄，每个拍摄倍率均拍摄这3张冲印图像，得到9张第二分辨率图像，1张冲印图像对应3张第二分辨率图像，这三张第二分辨率图像为不同拍摄倍率下得到的第二分辨率图像。
本实施例中，通过放大拍摄倍率对冲印图像进行拍摄，拍摄得到的图像分辨率小于第一分辨率，能够通过不同的拍摄倍率直接拍摄高分辨率图像，准确得到低分辨率图像。模拟真实的图像降质过程中以获得低分辨率图像，低分辨率图像的获得更符合实际情况，使得高低分辨率图像数据集的采集更准确。
在一个实施例中，将电子设备的拍摄倍率调整为第二拍摄倍率，通过第二拍摄倍率对冲印图像进行拍摄，得到第二分辨率图像，包括：
确定第一分辨率图像的图像尺寸；将电子设备的拍摄倍率调整为第二拍摄倍率，并调整电子设备和冲印图像之间的距离，以对冲印图像进行拍摄，得到第二分辨率图像；该第二分辨率图像的图像尺寸和第一分辨率图像的图像尺寸相同。
具体地，电子设备可确定第一分辨率图像的图像尺寸，将电子设备的拍摄倍率调整为第二拍摄倍率后，确定电子设备摄像头中所采集的图像场景。当所采集的图像场景不完全包含冲印图像中的图像场景时，表示电子设备的摄像头和冲印图像之间的距离较大，则缩短电子设备的摄像头和冲印图像之间的距离，以保证摄像头采集的图像场景和冲印图像中的图像场景完全一致。驱动设备带动电子设备向冲印图像移动，缩短电子设备和冲印图像之间的距离后，通过第二拍摄倍率拍摄冲印图像，得到第二分辨率图像。可以理解的是，摄像头采集的图像场景和冲印图像中的图像场景完全一致，则摄像头拍摄得到的第二分辨率图像的图像尺寸和该冲印图像对应的第一分辨率图像的图像尺寸相同。
在本实施例中，为了避免拍摄过程中手机自动曝光等设置对拍摄图像的影响，可调整摄像头的ISO感光度、曝光时间、白平衡等参数，以消除过度曝光等影响。
本实施例中，通过调整拍摄倍率并调整电子设备和冲印图像之间的距离，以保证电子设备采集的图像场景和冲印图像中的图像场景完全一致，从而使得拍摄得到的第二分辨率图像和第一分辨率图像(即低分辨率图像和对应的高分辨率图像)的图像内容和图像大小完全一致，以保证用于训练图像降质模型的高低分辨率图像除了分辨率不同之外的其它参数相同，从而提高图像降质模型的精度。
在一个实施例中，在对冲印图像进行拍摄，得到第二分辨率图像之后，还包括：基于第二分辨率图像对第一分辨率图像进行配准处理，得到第一分辨率的配准图像；
该通过待训练的图像降质模型对第一分辨率图像进行分辨率降低处理，得到降质图像，包括：通过待训练的图像降质模型对第一分辨率的配准图像进行分辨率降低处理，得到降质图像。
具体地，电子设备确定第一分辨率图像和第二分辨率图像之间的映射关系。该映射关系可将第一分辨率图像映射至第二分辨率图像的图像空间，或者将第二分辨率图像映射至第一分辨率图像的图像空间，使得第一分辨率图像、第二分辨率图像处于同一视角同一图像空间，以准确实现对第一分辨率图像的配准，得到第一分辨率的配准图像。
接着，电子设备将该第一分辨率的配准图像和第二分辨率图像作为训练图像对，以对图像降质模型进行训练。进一步地，电子设备将第二分辨率图像作为标签，将第一分辨率的配准图像和第二分辨率图像输入待训练的图像降质模型。待训练的图像降质模型对第一分辨率的配准图像进行分辨率降低处理，输出降低分辨率后的图像，即降质图像。
在本实施例中，将第一分辨率图像向第二分辨率图像进行配准处理，使得第一分辨率图像和第二分辨率图像处于相同的图像空间，以保证作为训练图像的第一分辨率的配准图像和第二分辨率图像(即高低分辨率图像)除分辨率以外的其它参数尽量保持一致，从而提高图像降质模型训练的准确性。
在一个实施例中，对第一分辨率图像的配准处理可包括图像内容的对应、颜色空间的对齐等。图像内容的对齐，可以采用图像特征点检测与匹配并计算单应矩阵的方式，也可以使用图像块匹配的方式。针对第一分辨率图像和第二分辨率图像之间的亮度、颜色空间的不匹配问题，可以在拍摄过程中引入一些标准色卡的照片，通过标准色卡第一分辨率图像与第二分辨率图像间的差异，建模分析颜色空间、亮度的对齐模型，以及进行直方图匹配等操作，实现亮度、颜色空间的对齐。
在一个实施例中，如图4所示，基于第二分辨率图像对第一分辨率图像进行配准处理，得到第一分辨率的配准图像，包括：
步骤402，获取第一分辨率图像的特征点和第二分辨率图像的特征点。
其中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。特征点例如眼睛、鼻尖、嘴角、痣、物体的中心等，不限于此。
具体地，电子设备检测第一分辨率图像中的各个像素点的灰度值，当相邻的像素点的灰度值的差值大于阈值时，可以将相邻的像素点所在的区域作为特征点。检测各帧第二分辨率图像中的各个像素点的灰度值，当相邻的像素点的灰度值的差值大于阈值时，可以将相邻的像素点所在的区域作为特征点。
在一个实施例中，电子设备可以根据第一分辨率图像中的特征点，从各帧第二分辨率图像中提取对应的特征点。在另一个实施例中，也可以检测第二分辨率图像中的各个像素点的灰度值，当相邻的像素点的灰度值的差值大于阈值时，可以将相邻的像素点所在的区域作为特征点，并从其余第二分辨率图像和第一分辨率图像中提取对应的特征点。
步骤404，根据第一分辨率图像的特征点和第二分辨率图像的特征点，确定第一分辨率图像和第二分辨率图像之间的匹配点对。
具体地，电子设备将第一分辨率图像中提取的特征点与第二分辨率图像的对应的特征点组成匹配点对。
在一个实施例中，可将第一分辨率图像划分为多个区域，例如为第一分辨率图像增加九宫格，以划分为九个区域，取九宫格的每个点作为特征点。并根据第一分辨率图像中的特征点确定第二分辨率图像的特征点，组成匹配点对。
步骤406，根据匹配点对确定第一分辨率图像和第二分辨率图像之间的单应性矩阵。
其中，单应(Homography)是射影几何中的概念，又称为射影变换。它把一个射影平面上的点(三维齐次矢量)映射到另一个射影平面上，并且把直线映射为直线，具有保线性质。单应矩阵则是点和点的映射，使用单应矩阵可以找到像点在另一图像上对应点的确切位置。该单应性矩阵可用于表征第一分辨率图像和第二分辨率图像之间的映射关系。
具体地，电子设备可根据确定第一分辨率图像和第二分辨率图像之间的匹配点对，计算出第一分辨率图像和第二分辨率图像之间的单应性矩阵。通过单应性矩阵能够将第二分辨率图像映射至与第一分辨率图像相同的图像空间中。或者通过单应性矩阵能够将第一分辨率图像映射至与第二分辨率图像相同的图像空间。
步骤408，基于单应性矩阵对第一分辨率图像进行配准处理，得到第一分辨率的配准图像。
具体地，电子设备将根据第一分辨率图像和第二分辨率图像之间的单应性矩阵，对该第一分辨率图像进行配准处理，从而得到配准后的第一分辨率的配准图像。进一步地，根据单应性矩阵将第一分辨率图像映射至与第二分辨率图像相同的图像空间，根据匹配点对确定第一分辨率图像相对于第二分辨率图像之间的偏移量。接着，电子设备将第一分辨率图像中各特征点移动该偏移量，得到移动后的图像，该移动后的图像即为第一分辨率的配准图像。
在一个实施例中，也可通过卷积神经网络对第一分辨率图像进行配准处理。
在本实施例中，根据第一分辨率图像和第二分辨率图像之间的匹配点对，确定第一分辨率图像和第二分辨率图像之间的单应性矩阵，从而能够将第一分辨率图像映射至第二分辨率图像的图像空间，使得第二分辨率图像和第一分辨率图像处于同一视角下，从而准确对第一分辨率图像进行配准。
在一个实施例中，如图5所示，基于降质图像和第二分辨率图像之间的差异调整图像降质模型的参数，当满足训练停止条件时得到已训练的降质模型，包括：
步骤502，确定降质图像和第二分辨率图像之间的峰值信噪比、单层级结构相似度和多层级结构相似度中的至少一种。
其中，峰值信噪比(Peak Signal to Noise Ratio，简称PSNR)，即峰值信号的能量与噪声的平均能量之比。PSNR取值范围可为[0,100]。单层级结构相似度(StructuralSimilarity，简称SSIM)，即结构相似性。SSIM取值范围可为[0,1]，值越大，表示图像失真越小。(multi-scale structural similarity，简称MS-SSIM)，即多层级结构相似性、多尺度结构相似性。MS-SSIM取值范围可为[0,1]，值越大，表示图像失真越小。
具体地，电子设备计算图像降质模型输出的降质图像和作为标签的第二分辨率图像之间的SSIM、MS-SSIM、PSNR中的至少一种。例如，电子设备计算降质图像和第二分辨率图像之间的PSNR，或SSIM、或MS-SSIM，或计算降质图像和第二分辨率图像之间的PSNR和SSIM，或PSNR和MS-SSIM，或SSIM和MS-SSIM，或PSNR和SSIM，以及MS-SSIM。
步骤504，根据峰值信噪比、单层级结构相似度和多层级结构相似度中的至少一种，确定降质图像和第二分辨率图像之间的目标相似度。
具体地，当电子设备计算降质图像和第二分辨率图像之间的SSIM、MS-SSIM、PSNR中的任意一种时，将计算得到的值直接作为降质图像和第二分辨率图像之间的目标相似度。
当电子设备计算降质图像和第二分辨率图像之间的SSIM、MS-SSIM、PSNR中的至少两种时，电子设备对计算得到的至少两个值进行加权求和，得到目标相似度。
例如，电子设备计算降质图像和第二分辨率图像之间的峰值信噪比、单层级结构相似度和多层级结构相似度，则电子设备对得到的峰值信噪比、单层级结构相似度和多层级结构相似度进行加权求和处理，得到目标相似度。
步骤506，根据目标相似度和相似度阈值之间的差异调整图像降质模型的参数，并继续训练，当满足训练停止条件时得到已训练的图像降质模型。
具体地，电子设备获取相似度阈值，将目标相似度分别和相似度阈值进行对比。当目标相似度小于相似度阈值时调整图像降质模型的参数并继续训练。当目标相似度大于或等于相似度阈值时停止训练，得到训练好的图像降质模型。在其他实施例中，训练停止条件可为达到预设训练次数，当达到预设训练次数时，停止训练，得到训练好的图像降质模型。
本实施例中，通过计算降质图像和第二分辨率图像之间的峰值信噪比、单层级结构相似度和多层级结构相似度中的至少一种，从客观参数确定降质图像和作为参照的第二分辨率图像之间的相似度。根据相似度调整模型参数并训练，以提高图像降质模型的精度。并且，使得训练好的图像降质图像能够通过将高分辨率图像准确转换为低分辨率图像，得到大量的训练图像。
在一个实施例中，如图6所示，通过待训练的图像降质模型对第一分辨率图像进行分辨率降低处理，得到降质图像，包括：
步骤602，基于待训练的图像降质模型中的各降质类型分别对第一分辨率图像进行分辨率降低处理，得到各降质类型分别对应的降质图像。
其中，降质类型是指降低分辨率的处理类型，降质类型包括但不限于对图像增加高斯噪声、椒盐噪声、泊松噪声，增加高斯模糊、运动模糊等，以及对图像进行压缩，以及任意噪声的组合、任意模糊的组合，噪声和模糊的组合，噪声和图像压缩相互组合、模糊和图像压缩相互组合等。
具体地，将该第一分辨率图像和第二分辨率图像作为训练图像对，以对图像降质模型进行训练。进一步地，电子设备将第二分辨率图像作为标签，将第一分辨率图像和第二分辨率图像输入待训练的图像降质模型。
待训练的图像降质模型获取各降质类型，通过各降质类型分别对第一分辨率图像进行分辨率降低处理，该分辨率降低处理可以是对该第一分辨率图像增加噪声、增加模糊、或对第一分辨率图像进行压缩处理等，但不限于此。电子设备获得图像降质模型输出的各降质类型分别对应的降质图像。
基于降质图像和第二分辨率图像之间的差异调整图像降质模型的参数，包括：步骤604，确定第二分辨率图像分别和各降质类型对应的降质图像之间的相似度。
具体地，各降质类型分别对应的降质图像均为低分辨率图像，电子设备将各降质类型分别对应的降质图像分别和作为标签的第二分辨率图像进行比较，确定各降质类型的降质图像分别和第二分辨率图像之间的相似度，得到各相似度。
步骤606，根据相似度调整图像降质模型的参数。
具体地，电子设备确定各降质类型对应的相似度。电子设备获取相似度阈值，将各降质类型对应的相似度分别和相似度阈值进行对比。当至少一个相似度小于相似度阈值时调整图像降质模型的参数并继续训练。当各降质类型对应的相似度大于或等于相似度阈值时停止训练，得到训练好的图像降质模型。
在本实施例中，根据相似度调整图像降质模型的参数包括：将与第二分辨率的图像相似度最高的降质图像所对应的降质类型所对应的降质参数作为图像降质模型的参数。
具体地，电子设备确定各降质类型对应的相似度后，确定相似度最高的降质图像所对应的降质类型。接着，电子设备可将该相似度最高所对应的降质类型的降质参数，将该降质参数作为图像降质模型的参数。该降质参数可为对图像增加多少噪声、增加多少模糊或图像压缩的程度。
在本实施例中，通过图像降质模型中的不同降质类型对第一分辨率图像进行分辨率降低处理，得到不同降质类型的低分辨率图像(降质图像)，从而能够根据不同降质类型的低分辨率图像和作为参照的低分辨率图像(即第二分辨率图像)之间的相似度差异调整图像降质模型，以提高图像降质模型的精度。并且，使得图像降质图像能够通过不同的降质类型将高分辨率图像准确转换为低分辨率图像，得到大量的训练图像。
在一个实施中，该方法还包括：获取待处理图像；将待处理图像输入已训练的图像降质模型，通过已训练的图像降质模型对待处理图像进行分辨率降低处理，得到目标图像；该目标图像的分辨率小于待处理图像的分辨率。
具体地，待处理图像为高分辨率图像，电子设备将获取的高分辨图像输入训练好的图像降质模型中。训练好的图像降质模型对待处理图像进行分辨率降低处理，得到对应的低分辨率图像，即目标图像。通过该训练好的图像降质模型能够快速准确地生成大量高分辨率图像对应的低分辨率图像，从而能够扩充训练图像集。
在一个实施例中，如图7所示，获取第一分辨率图像，对第一分辨率图像进行冲印处理，得到冲印图像，包括：
步骤702，获取第一分辨率视频中的图像，得到各帧第一分辨率图像。
具体地，电子设备可从本地或其他设备或网络上获取第一分辨率视频，或者电子设备通过摄像头进行拍摄以得到第一分辨率视频。接着，电子设备从该第一分辨率视频中获取各帧图像，得到各帧第一分辨率图像。
步骤704，对各帧第一分辨率图像进行冲印处理，得到各帧冲印图像。
具体地，电子设备将所获取的各帧第一分辨图像发送至冲印设备。通过超高像素精度的冲印设备，将各帧第一分辨率图像无损冲印成对应的冲印图像，得到各帧冲印图像。
该对冲印图像进行拍摄，得到第二分辨率图像，包括：
步骤706，对各帧冲印图像进行视频录制，得到所录制的视频中的各帧第二分辨率图像。
具体地，电子设备对各帧冲印图像进行视频录制，得到所录制的视频中的各帧第二分辨率图像。一帧第二分辨率图像对应一帧第一分辨率图像。
在本实施例中，电子设备可通过摄像头对各帧冲印图像进行拍摄，得到各帧第二分辨率图像。进一步地，电子设备可通过不同的拍摄倍率对各帧冲印图像进行拍摄，得到各帧第二分辨率图像。
在本实施例中，从高分辨率视频中获取高分辨率图像，从低分辨率视频(录制的视频)中获取低分辨率图像，训练得到的图像降质模型能够将高分辨率视频准确快速转换为低分辨率视频。将高分辨率视频和低分辨率视频作为视频重建模型的训练样本，使得训练得到的视频重建模型能够对低分辨率视频进行超分辨率重建，得到高分辨率视频。
本实施例中，通过从第一分辨率视频中获取多帧第一分辨率图像，能够从高分辨率视频中获取多帧高分辨率图像。对多帧第一分辨率图像进行冲印处理，得到多帧冲印图像。对多帧图像冲印图像进行拍摄，得到多帧第二分辨率图像，从而能够将多帧高分辨率图像准确转换为低分辨率图像。
在一个实施例中，对各帧冲印图像进行拍摄后，得到各帧第二分辨率图像。将各帧第二分辨率图像按照对应的第一分辨率图像在第一分辨率视频中的时序排列，以生成第二分辨率视频。
在一个实施例中，电子设备可获取第一分辨率视频中的图像，得到各帧第一分辨率图像。接着，电子设备确定该第一分辨率视频的拍摄倍率，将电子设备的拍摄倍率调整为第二拍摄倍率。该第二拍摄倍率大于该第一拍摄倍率。电子设备通过所述第二拍摄倍率对所述第一分辨率视频进行拍摄，得到第二分辨率视频。接着，电子设备从第二分辨率视频中获取各帧第二分辨率图像，得到各第一分辨率图像对应第二分辨率图像。
可以理解的是，本方案中通过训练好的图像降质模型生成的高分辨率图像和低分辨率图像所组成的训练图像对，高分辨率视频和低分辨率视频所组成的训练视频对，可作为任何需要将高分辨率转换为低分辨率的任务所使用的训练数据。该任务包括但不限于：图像去模糊、去噪、视频去模糊、去噪、图像修复、视频修复、图像超分辨率重建、视频超分辨率重建。
在一个实施例中，如图8所示，该方法还包括：
步骤802，获取待处理图像。
其中，待处理图像为高分辨率图像，该待处理图像需要转换为低分辨率图像。待处理图像可以是RGB图像、RAW图像、灰度图像、深度图像、YUV图像中的Y分量所对应的图像等其中的任意一种。
具体地，电子设备可从本地或其他设备或网络上获取待处理图像，或者电子设备通过摄像头拍摄一场景得到待处理图像。
步骤804，将待处理图像输入已训练的图像降质模型，通过已训练的图像降质模型对待处理图像进行分辨率降低处理，得到目标图像；该目标图像的分辨率小于待处理图像的分辨率。
具体地，电子设备将该待处理图像输入训练好的图像降质模型。该训练好的图像降质模型对该待处理图像进行降质处理，即对待处理图像进行分辨率降低处理，得到目标图像。该目标图像为低分辨率图像，该目标图像的分辨率小于待处理图像的分辨率。
可以理解的是，图像的高分辨率和低分辨率是相对的。在本实施例中，待处理图像的分辨率高于目标图像的分辨率，则待处理图像作为高分辨图像，目标图像作为低分辨率图像。
步骤806，将待处理图像和对应的目标图像确定为训练图像对，基于训练图像对图像重建模型进行训练，以得到已训练的图像重建模型；该已训练的图像重建模型用于对图像进行超分辨率重建。
其中，图像重建模型用于对低分辨率图像进行超分辨率重建，得到高分辨率图像。超分辨率重建是指通过低分辨率图像或图像序列重建得到高分辨率的图像。
具体地，电子设备将待处理图像和对应的目标图像确定为训练图像对。电子设备将该训练图像对输入图像重建模型，将高分辨率图像(即待处理图像)作为标签，通过待训练的图像重建模型对低分辨率图像(即目标图像)进行超分辨率重建处理，得到图像重建模型输出的高分辨率图像。接着，电子设备将图像重建模型输出的高分辨率图像和作为标签的高分辨率图像进行对比，根据两者的差异调整图像重建模型的参数并继续训练，直至满足训练停止条件时，得到训练好的图像重建模型。该训练好的图像重建模型可对模糊的低分辨率图像或具有噪声的低分辨率图像进行超分辨率重建，去除图像的噪声或模糊，以得到高分辨率图像。
本实施例中，通过该训练好的图像降质模型能够快速准确地生成大量高分辨率图像对应的低分辨率图像，从而能够扩充训练图像集，并且得到的训练图像更准确。将生成的训练图像对用于训练图像重建模型，能够有效提升图像重建模型进行超分辨率重建的准确性和精度。
在一个实施例中，在获取待处理图像之后，还包括：
对待处理图像进行分类；
将待处理图像输入已训练的图像降质模型，通过已训练的图像降质模型对待处理图像进行分辨率降低处理，得到目标图像，包括：
将分类后的待处理图像输入已训练的图像降质模型，基于已训练的图像降质模型中的各降质类型对分类后的待处理图像进行图像分辨率降低处理，得到目标图像。
具体地，电子设备可获取第一预设数量的待处理图像，并对第一预设数量的待处理图像进行分类。进一步地，电子设备可随机将第一预设数量的待处理图像划分为第二预设数量的类别。例如，100张待处理图像随机划分为10类。或者，电子设备可将第一预设数量的待处理图像根据预设类别进行分类，得到各类别所对应的待处理图像。例如，100张待处理图像，按照风景、人物、动物等预设类别进行划分，得到各预设类别下的待处理图像。
接着，电子设备将分类后的待处理图像输入训练好的图像降质模型。训练好的图像降质模型获取各降质类型，按照各降质类型分别对分类后的待处理图像进行分辨率降低处理，从而得到图像降质模型输出的各降质类型分别对应的目标图像，即得到每张待处理图像对应的与降质类型相同数量的目标图像。该目标图像作为低分辨率图像。该目标图像的分辨率小于待处理图像的分辨率。
在本实施例中，训练好的图像降质模型获取各降质类型，按照一种降质类型对一类待处理图像进行分辨率降低处理，从而得到图像降质模型输出的各待处理图像对应的目标图像。
在本实施例中，训练好的图像降质模型获取各降质类型，可随机分配降质类型对各类待处理图像进行对比，一类待处理图像至少分配一种降质类型。
在本实施例中，电子设备可确定图像降质模型中的降质类型的数量，将待处理图像划分为与降质类型相同数量的类别。接着，电子设备将分类后的待处理图像输入训练好的图像降质模型。图像降质模型为每个类别的待处理图像分别一种降质类型，以对待处理图像进行分辨率降低处理，得到目标图像。
在本实施例中，通过对待处理图像进行分类，使得训练好的图像降质模型通过各降质类型能够同时将大批量的高分辨图像快速准确转换为低分辨率图像，并且能够输出比高分辨率图像数量更多的低分辨率图像，以扩充训练图像数据。
在一个实施例中，各降质类型降低的分辨率可不相同，例如，通过不同的降质类型可将待处理图像的分辨率降低5倍、10倍等。进一步地，不同的降质类型可对应一个降质范围，例如，一个降质类型可将待处理图像的分辨率随机降低5-10倍，另一个降质类型可将待处理图像的分辨率随机降低10-15倍，或降低15-20倍等，但不限于此。
在一个实施例中，提供了一种图像降质模型的训练方法，包括：
电子设备获取第一分辨率图像，对第一分辨率图像进行冲印处理，得到冲印图像。
接着，电子设备确定第一分辨率图像对应的第一拍摄倍率，并确定第一分辨率图像的图像尺寸。
进一步地，将电子设备的拍摄倍率调整为第二拍摄倍率，并调整电子设备和冲印图像之间的距离，以对冲印图像进行拍摄，得到第二分辨率图像；第二分辨率图像的图像尺寸和第一分辨率图像的图像尺寸相同；第二拍摄倍率大于第一拍摄倍率，并且，第二分辨率图像对应的第二分辨率小于第一分辨率图像对应的第一分辨率。
接着，电子设备获取第一分辨率图像的特征点和第二分辨率图像的特征点；
接着，电子设备根据第一分辨率图像的特征点和第二分辨率图像的特征点，确定第一分辨率图像和第二分辨率图像之间的匹配点对。
进一步地，电子设备根据匹配点对确定第一分辨率图像和第二分辨率图像之间的单应性矩阵。
接着，电子设备基于单应性矩阵对第一分辨率图像进行配准处理，得到第一分辨率的配准图像。
接着，电子设备通过待训练的图像降质模型对第一分辨率的配准图像进行分辨率降低处理，得到降质图像。
接着，电子设备确定降质图像和第二分辨率图像之间的峰值信噪比、单层级结构相似度和多层级结构相似度中的至少一种。
接着，电子设备根据峰值信噪比、结构相似度和多层级结构相似度中的至少一种，确定降质图像和第二分辨率图像之间的目标相似度。
进一步地，电子设备根据目标相似度和相似度阈值之间的差异调整图像降质模型的参数，并继续训练，当满足训练停止条件时得到已训练的图像降质模型。
可选地，电子设备获取待处理图像；对待处理图像进行分类。
接着，电子设备将分类后的待处理图像输入已训练的图像降质模型，基于已训练的图像降质模型中的各降质类型对分类后的待处理图像进行图像分辨率降低处理，得到目标图像；该目标图像的分辨率小于待处理图像的分辨率。
进一步地，电子设备将待处理图像和对应的目标图像确定为训练图像对，基于训练图像对图像重建模型进行训练，以得到已训练的图像重建模型；已训练的图像重建模型用于对图像进行超分辨率重建。
在本实施例中，通过对第一分辨率图像进行冲印处理，并对冲印图像进行拍摄，以模拟图像的降质过程，从而得到降低分辨率之后的第二分辨率图像。通过调整拍摄倍率并调整电子设备和冲印图像之间的距离，使得电子设备采集的图像场景和冲印图像中的图像场景完全一致，从而保证用于训练图像降质模型的高低分辨率图像除了分辨率不同之外的其它参数相同。
将第一分辨率图像向第二分辨率图像进行配准处理，以保证作为训练图像的高低分辨率图像除分辨率以外的其它参数保持一致，从而提高图像降质模型训练的准确性。
通过该训练好的图像降质模型能够快速准确地生成大量高分辨率图像对应的低分辨率图像，从而能够扩充训练图像集，并且得到的训练图像更准确。将生成的训练图像对用于训练图像重建模型，能够有效提升图像重建模型进行超分辨率重建的准确性和精度。
应该理解的是，虽然图2-图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图9为一个实施例的图像降质模型的训练装置的结构框图。如图9所示，该装置包括：获取模块902、拍摄模块904、训练模块906和调整模块908。其中，
获取模块902，用于获取第一分辨率图像，对所述第一分辨率图像进行冲印处理，得到冲印图像。
拍摄模块904，用于对所述冲印图像进行拍摄，得到第二分辨率图像；所述第二分辨率图像对应的第二分辨率小于所述第一分辨率图像对应的第一分辨率。
训练模块906，用于通过待训练的图像降质模型对所述第一分辨率图像进行分辨率降低处理，得到降质图像。
调整模块908，用于基于所述降质图像和所述第二分辨率图像之间的差异调整所述图像降质模型的参数，当满足训练停止条件时得到已训练的图像降质模型。
本实施例中，通过对第一分辨率图像进行冲印处理，并对冲印图像进行拍摄，以模拟图像的降质过程，从而得到降低分辨率之后的第二分辨率图像。将第一分辨率图像和第二分辨率图像用于训练图像降质模型，并将第二分辨率图像作为标签，即将高分辨率图像和对应的低分辨率图像作为训练图像对，并将低分辨率图像作为标签，得到的训练图像对更准确，更符合实际情况中所获取的训练图像集。根据图像降质模型对第一分辨率图像进行分辨率降低处理，得到模型输出的降质图像，即得到低分辨率图像。根据图像降质模型输出的低分辨率图像和作为参照的低分辨率图像之间的差异调整模型参数，直至满足训练停止条件时得到训练好的图像降质模型。训练好的图像降质模型能够准确快速地将输入的高分辨率图像转换为对应的低分辨率图像，从而能够快速生成大量高低分辨率的训练图像对，扩充训练图像数据集。
在一个实施例中，该获取模块902还用于：确定第一分辨率图像对应的第一拍摄倍率；将电子设备的拍摄倍率调整为第二拍摄倍率，通过第二拍摄倍率对冲印图像进行拍摄，得到第二分辨率图像；该第二拍摄倍率大于该第一拍摄倍率。
本实施例中，通过放大拍摄倍率对冲印图像进行拍摄，拍摄得到的图像分辨率小于第一分辨率，能够通过不同的拍摄倍率直接拍摄高分辨率图像，准确得到低分辨率图像。模拟真实的图像降质过程中以获得低分辨率图像，低分辨率图像的获得更符合实际情况，使得高低分辨率图像数据集的采集更准确。
在一个实施例中，该获取模块902还用于：确定第一分辨率图像的图像尺寸；
将电子设备的拍摄倍率调整为第二拍摄倍率，并调整电子设备和冲印图像之间的距离，以对冲印图像进行拍摄，得到第二分辨率图像；第二分辨率图像的图像尺寸和第一分辨率图像的图像尺寸相同。
本实施例中，通过调整拍摄倍率并调整电子设备和冲印图像之间的距离，以保证电子设备采集的图像场景和冲印图像中的图像场景完全一致，从而使得拍摄得到的第二分辨率图像和第一分辨率图像(即低分辨率图像和对应的高分辨率图像)的图像内容和图像大小完全一致，以保证用于训练图像降质模型的高低分辨率图像除了分辨率不同之外的其它参数相同，从而提高图像降质模型的精度。
在一个实施例中，该装置还包括：配准模块。该配准模块用于：在对冲印图像进行拍摄，得到第二分辨率图像之后，基于第二分辨率图像对第一分辨率图像进行配准处理，得到第一分辨率的配准图像；
该训练模块906还用于：通过待训练的图像降质模型对第一分辨率的配准图像进行分辨率降低处理，得到降质图像。
在本实施例中，将第一分辨率图像向第二分辨率图像进行配准处理，使得第一分辨率图像和第二分辨率图像处于相同的图像空间，以保证作为训练图像的第一分辨率的配准图像和第二分辨率图像(即高低分辨率图像)除分辨率以外的其它参数尽量保持一致，从而提高图像降质模型训练的准确性。
在一个实施例中，该配准模块还用于：获取第一分辨率图像的特征点和第二分辨率图像的特征点；根据第一分辨率图像的特征点和第二分辨率图像的特征点，确定第一分辨率图像和第二分辨率图像之间的匹配点对；根据匹配点对确定第一分辨率图像和第二分辨率图像之间的单应性矩阵；基于单应性矩阵对第一分辨率图像进行配准处理，得到第一分辨率的配准图像。
在本实施例中，根据第一分辨率图像和第二分辨率图像之间的匹配点对，确定第一分辨率图像和第二分辨率图像之间的单应性矩阵，从而能够将第一分辨率图像映射至第二分辨率图像的图像空间，使得第二分辨率图像和第一分辨率图像处于同一视角下，从而准确对第一分辨率图像进行配准。
在一个实施例中，该调整模块908还用于：确定降质图像和第二分辨率图像之间的峰值信噪比、单层级结构相似度和多层级结构相似度中的至少一种；根据峰值信噪比、单层级结构相似度和多层级结构相似度中的至少一种，确定降质图像和第二分辨率图像之间的目标相似度；根据目标相似度和相似度阈值之间的差异调整图像降质模型的参数，并继续训练，当满足训练停止条件时得到已训练的图像降质模型。
本实施例中，通过计算降质图像和第二分辨率图像之间的峰值信噪比、单层级结构相似度和多层级结构相似度中的至少一种，从客观参数确定降质图像和作为参照的第二分辨率图像之间的相似度。根据相似度调整模型参数并训练，以提高图像降质模型的精度。并且，使得训练好的图像降质图像能够通过将高分辨率图像准确转换为低分辨率图像，得到大量的训练图像。
在一个实施例中，该训练模块906还用于：基于待训练的图像降质模型中的各降质类型分别对第一分辨率图像进行分辨率降低处理，得到各降质类型分别对应的降质图像；
该调整模块908还用于：确定第二分辨率图像分别和各降质类型对应的降质图像之间的相似度；根据相似度调整图像降质模型的参数。
在本实施例中，通过图像降质模型中的不同降质类型对第一分辨率图像进行分辨率降低处理，得到不同降质类型的低分辨率图像(降质图像)，从而能够根据不同降质类型的低分辨率图像和作为参照的低分辨率图像(即第二分辨率图像)之间的相似度差异调整图像降质模型，以提高图像降质模型的精度。并且，使得图像降质图像能够通过不同的降质类型将高分辨率图像准确转换为低分辨率图像，得到大量的训练图像。
在一个实施例中，该装置还包括：生成模块。该生成模块用于：获取待处理图像；将待处理图像输入已训练的图像降质模型，通过已训练的图像降质模型对待处理图像进行分辨率降低处理，得到目标图像；目标图像的分辨率小于待处理图像的分辨率；将待处理图像和对应的目标图像确定为训练图像对，基于训练图像对图像重建模型进行训练，以得到已训练的图像重建模型；已训练的图像重建模型用于对图像进行超分辨率重建。
本实施例中，通过该训练好的图像降质模型能够快速准确地生成大量高分辨率图像对应的低分辨率图像，从而能够扩充训练图像集，并且得到的训练图像更准确。将生成的训练图像对用于训练图像重建模型，能够有效提升图像重建模型进行超分辨率重建的准确性和精度。
在一个实施例中，该生成模块还用于：在获取待处理图像之后，对待处理图像进行分类；将分类后的待处理图像输入已训练的图像降质模型，基于已训练的图像降质模型中的各降质类型对分类后的待处理图像进行图像分辨率降低处理，得到目标图像。
在本实施例中，通过对待处理图像进行分类，使得训练好的图像降质模型通过各降质类型能够同时将大批量的高分辨图像快速准确转换为低分辨率图像，并且能够输出比高分辨率图像数量更多的低分辨率图像，以扩充训练图像数据。
在一个实施例中，该获取模块902还用于：获取第一分辨率视频中的图像，得到各帧第一分辨率图像；对各帧第一分辨率图像进行冲印处理，得到各帧冲印图像；
该拍摄模块904还用于：对各帧冲印图像进行视频录制，得到所录制的视频中的各帧第二分辨率图像。
本实施例中，通过从第一分辨率视频中获取多帧第一分辨率图像，能够从高分辨率视频中获取多帧高分辨率图像。对多帧第一分辨率图像进行冲印处理，得到多帧冲印图像。对多帧图像冲印图像进行拍摄，得到多帧第二分辨率图像，从而能够将多帧高分辨率图像准确转换为低分辨率图像。
上述图像降质模型的训练装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像降质模型的训练装置按照需要划分为不同的模块，以完成上述图像降质模型的训练装置的全部或部分功能。
关于图像降质模型的训练装置的具体限定可以参见上文中对于图像降质模型的训练方法的限定，在此不再赘述。上述图像降质模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图10为一个实施例中电子设备的内部结构示意图。如图10所示，该电子设备包括通过***总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像降质模型的训练方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的图像降质模型的训练装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像降质模型的训练方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像降质模型的训练方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种图像降质模型的训练方法，其特征在于，包括：
获取第一分辨率图像，对所述第一分辨率图像进行冲印处理，得到冲印图像；
对所述冲印图像进行拍摄，得到第二分辨率图像；所述第二分辨率图像对应的第二分辨率小于所述第一分辨率图像对应的第一分辨率；
通过待训练的图像降质模型对所述第一分辨率图像进行分辨率降低处理，得到降质图像；
基于所述降质图像和所述第二分辨率图像之间的差异调整所述图像降质模型的参数，当满足训练停止条件时得到已训练的图像降质模型。
2.根据权利要求1所述的方法，其特征在于，所述对所述冲印图像进行拍摄，得到第二分辨率图像，包括：
确定所述第一分辨率图像对应的第一拍摄倍率；
将电子设备的拍摄倍率调整为第二拍摄倍率，通过所述第二拍摄倍率对所述冲印图像进行拍摄，得到第二分辨率图像；所述第二拍摄倍率大于所述第一拍摄倍率。
3.根据权利要求2所述的方法，其特征在于，所述将电子设备的拍摄倍率调整为第二拍摄倍率，通过所述第二拍摄倍率对所述冲印图像进行拍摄，得到第二分辨率图像，包括：
确定所述第一分辨率图像的图像尺寸；
将电子设备的拍摄倍率调整为第二拍摄倍率，并调整所述电子设备和所述冲印图像之间的距离，以对所述冲印图像进行拍摄，得到第二分辨率图像；所述第二分辨率图像的图像尺寸和所述第一分辨率图像的图像尺寸相同。
4.根据权利要求1所述的方法，其特征在于，在所述对所述冲印图像进行拍摄，得到第二分辨率图像之后，还包括：
基于所述第二分辨率图像对所述第一分辨率图像进行配准处理，得到第一分辨率的配准图像；
所述通过待训练的图像降质模型对所述第一分辨率图像进行分辨率降低处理，得到降质图像，包括：
通过待训练的图像降质模型对所述第一分辨率的配准图像进行分辨率降低处理，得到降质图像。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第二分辨率图像对所述第一分辨率图像进行配准处理，得到第一分辨率的配准图像，包括：
获取所述第一分辨率图像的特征点和所述第二分辨率图像的特征点；
根据所述第一分辨率图像的特征点和所述第二分辨率图像的特征点，确定所述第一分辨率图像和所述第二分辨率图像之间的匹配点对；
根据所述匹配点对确定所述第一分辨率图像和所述第二分辨率图像之间的单应性矩阵；
基于所述单应性矩阵对所述第一分辨率图像进行配准处理，得到第一分辨率的配准图像。
6.根据权利要求1所述的方法，其特征在于，所述基于所述降质图像和所述第二分辨率图像之间的差异调整所述图像降质模型的参数，当满足训练停止条件时得到已训练的图像降质模型，包括：
确定所述降质图像和所述第二分辨率图像之间的峰值信噪比、单层级结构相似度和多层级结构相似度中的至少一种；
根据所述峰值信噪比、结构相似度和多层级结构相似度中的至少一种，确定所述降质图像和所述第二分辨率图像之间的目标相似度；
根据所述目标相似度和相似度阈值之间的差异调整所述图像降质模型的参数，并继续训练，当满足训练停止条件时得到已训练的图像降质模型。
7.根据权利要求1所述的方法，其特征在于，所述通过待训练的图像降质模型对所述第一分辨率图像进行分辨率降低处理，得到降质图像，包括：
基于待训练的图像降质模型中的各降质类型分别对所述第一分辨率图像进行分辨率降低处理，得到所述各降质类型分别对应的降质图像；
所述基于所述降质图像和所述第二分辨率图像之间的差异调整所述图像降质模型的参数，包括：
确定所述第二分辨率图像分别和所述各降质类型对应的降质图像之间的相似度；
根据所述相似度调整所述图像降质模型的参数。
8.根据权利要求1所述的方法，其特征在于，所述获取第一分辨率图像，对所述第一分辨率图像进行冲印处理，得到冲印图像，包括：
获取第一分辨率视频中的图像，得到各帧第一分辨率图像；
对所述各帧第一分辨率图像进行冲印处理，得到各帧冲印图像；
所述对所述冲印图像进行拍摄，得到第二分辨率图像，包括：
对所述各帧冲印图像进行视频录制，得到所录制的视频中的各帧第二分辨率图像。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
获取待处理图像；
将所述待处理图像输入所述已训练的图像降质模型，通过所述已训练的图像降质模型对所述待处理图像进行分辨率降低处理，得到目标图像；所述目标图像的分辨率小于所述待处理图像的分辨率；
将所述待处理图像和对应的所述目标图像确定为训练图像对，基于所述训练图像对图像重建模型进行训练，以得到已训练的图像重建模型；所述已训练的图像重建模型用于对图像进行超分辨率重建。
10.根据权利要求9所述的方法，其特征在于，在所述获取待处理图像之后，还包括：
对所述待处理图像进行分类；
所述将所述待处理图像输入所述已训练的图像降质模型，通过所述已训练的图像降质模型对所述待处理图像进行分辨率降低处理，得到目标图像，包括：
将分类后的待处理图像输入所述已训练的图像降质模型，基于所述已训练的图像降质模型中的各降质类型对分类后的待处理图像进行图像分辨率降低处理，得到目标图像。
11.一种图像降质模型的训练装置，其特征在于，包括：
获取模块，用于获取第一分辨率图像，对所述第一分辨率图像进行冲印处理，得到冲印图像；
拍摄模块，用于对所述冲印图像进行拍摄，得到第二分辨率图像；所述第二分辨率图像对应的第二分辨率小于所述第一分辨率图像对应的第一分辨率；
训练模块，用于通过待训练的图像降质模型对所述第一分辨率图像进行分辨率降低处理，得到降质图像；
调整模块，用于基于所述降质图像和所述第二分辨率图像之间的差异调整所述图像降质模型的参数，当满足训练停止条件时得到已训练的图像降质模型。
12.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述的方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的方法的步骤。
CN202010830770.4A 2020-08-18 2020-08-18 图像降质模型的训练方法、装置和电子设备、存储介质 Active CN111932462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010830770.4A CN111932462B (zh) 2020-08-18 2020-08-18 图像降质模型的训练方法、装置和电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010830770.4A CN111932462B (zh) 2020-08-18 2020-08-18 图像降质模型的训练方法、装置和电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111932462A true CN111932462A (zh) 2020-11-13
CN111932462B CN111932462B (zh) 2023-01-03

Family

ID=73305581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010830770.4A Active CN111932462B (zh) 2020-08-18 2020-08-18 图像降质模型的训练方法、装置和电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111932462B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205149A (zh) * 2021-05-21 2021-08-03 珠海金山网络游戏科技有限公司 图片处理方法及装置
CN113689550A (zh) * 2021-08-03 2021-11-23 南昌威爱信息科技有限公司 一种vr超高清三维数字化建模***
CN116433501A (zh) * 2023-02-08 2023-07-14 阿里巴巴（中国）有限公司 图像处理方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159119A (zh) * 2014-07-07 2014-11-19 大连民族学院 一种视频图像实时共享播放的超分辨率重构方法和***
US9153010B2 (en) * 2011-03-28 2015-10-06 Panasonic Intellectual Property Corporation Of America Image processing device and image processing method generating a high-resolution image from a low-resolution image
CN106780342A (zh) * 2016-12-28 2017-05-31 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN108133456A (zh) * 2016-11-30 2018-06-08 京东方科技集团股份有限公司 人脸超分辨率重建方法、重建设备以及计算机***
CN108596833A (zh) * 2018-04-26 2018-09-28 广东工业大学 超分辨率图像重构方法、装置、设备及可读存储介质
CN109190520A (zh) * 2018-08-16 2019-01-11 广州视源电子科技股份有限公司 一种超分辨率重建人脸图像方法及装置
CN109242771A (zh) * 2018-08-16 2019-01-18 广州视源电子科技股份有限公司 一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备
CN109644230A (zh) * 2016-08-25 2019-04-16 佳能株式会社 图像处理方法、图像处理装置、图像拾取装置、图像处理程序和存储介质
CN110111257A (zh) * 2019-05-08 2019-08-09 哈尔滨工程大学 一种基于特征通道自适应加权的超分辨图像重建方法
CN110705699A (zh) * 2019-10-18 2020-01-17 厦门美图之家科技有限公司 超分辨率重建方法、装置、电子设备和可读存储介质
CN111402139A (zh) * 2020-03-25 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111445388A (zh) * 2019-12-27 2020-07-24 珠海大横琴科技发展有限公司 一种图像超分辨重建模型训练方法、船只跟踪方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9153010B2 (en) * 2011-03-28 2015-10-06 Panasonic Intellectual Property Corporation Of America Image processing device and image processing method generating a high-resolution image from a low-resolution image
CN104159119A (zh) * 2014-07-07 2014-11-19 大连民族学院 一种视频图像实时共享播放的超分辨率重构方法和***
CN109644230A (zh) * 2016-08-25 2019-04-16 佳能株式会社 图像处理方法、图像处理装置、图像拾取装置、图像处理程序和存储介质
CN108133456A (zh) * 2016-11-30 2018-06-08 京东方科技集团股份有限公司 人脸超分辨率重建方法、重建设备以及计算机***
CN106780342A (zh) * 2016-12-28 2017-05-31 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN108596833A (zh) * 2018-04-26 2018-09-28 广东工业大学 超分辨率图像重构方法、装置、设备及可读存储介质
CN109190520A (zh) * 2018-08-16 2019-01-11 广州视源电子科技股份有限公司 一种超分辨率重建人脸图像方法及装置
CN109242771A (zh) * 2018-08-16 2019-01-18 广州视源电子科技股份有限公司 一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备
CN110111257A (zh) * 2019-05-08 2019-08-09 哈尔滨工程大学 一种基于特征通道自适应加权的超分辨图像重建方法
CN110705699A (zh) * 2019-10-18 2020-01-17 厦门美图之家科技有限公司 超分辨率重建方法、装置、电子设备和可读存储介质
CN111445388A (zh) * 2019-12-27 2020-07-24 珠海大横琴科技发展有限公司 一种图像超分辨重建模型训练方法、船只跟踪方法及装置
CN111402139A (zh) * 2020-03-25 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JUN SHI等: "Super-resolution reconstruction of MR image with a novel residual learning network algorithm", 《PHYSICS IN MEDICINE & BIOLOGY》 *
LIN ZHANG等: "Accurate Modeling and Efficient Estimation of the Print-Capture Channel With Application in Barcoding", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
冉起: "基于学习的图像超分辨率复原算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
张晓菲: "红外成像***及其超分辨率重建技术的研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *
张达明等: "基于自适应下采样和超分重建的图像压缩框架_张达明", 《太赫兹科学与电子信息学报》 *
陆维琛: "基于卷积神经网络的单帧图像超分辨率算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
陈健等: "图像超分辨率复原方法及应用", 《激光与光电子学进展》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205149A (zh) * 2021-05-21 2021-08-03 珠海金山网络游戏科技有限公司 图片处理方法及装置
CN113689550A (zh) * 2021-08-03 2021-11-23 南昌威爱信息科技有限公司 一种vr超高清三维数字化建模***
CN116433501A (zh) * 2023-02-08 2023-07-14 阿里巴巴（中国）有限公司 图像处理方法及装置
CN116433501B (zh) * 2023-02-08 2024-01-09 阿里巴巴（中国）有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
CN111932462B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
EP3477931B1 (en) Image processing method and device, readable storage medium and electronic device
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US11457138B2 (en) Method and device for image processing, method for training object detection model
CN111932462B (zh) 图像降质模型的训练方法、装置和电子设备、存储介质
US8947501B2 (en) Scene enhancements in off-center peripheral regions for nonlinear lens geometries
JP4234195B2 (ja) 画像分割方法および画像分割システム
CN101416219B (zh) 数字图像中的前景/背景分割
US8170350B2 (en) Foreground/background segmentation in digital images
US8977056B2 (en) Face detection using division-generated Haar-like features for illumination invariance
KR20200044093A (ko) 이미지 처리 방법 및 장치, 전자 장치 및 컴퓨터-판독 가능 저장 매체
JP2010045613A (ja) 画像識別方法および撮像装置
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN117496019B (zh) 一种驱动静态图像的图像动画处理方法及***
US20230343119A1 (en) Captured document image enhancement
CN112036342A (zh) 单证抓拍方法、设备及计算机存储介质
WO2022127491A1 (zh) 图像处理方法及装置、存储介质、终端
CN112997217A (zh) 从视频图像进行文档检测
CN110610171A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN115690136A (zh) 图像处理方法、装置、终端及存储介质
CN116778467A (zh) 远距离车牌识别方法、***、摄像头及可读存储介质
CN117671695A (zh) 文档区域检测模型训练及文档区域检测方法和装置
CN114419052A (zh) 一种牙齿色号识别方法、装置、设备及存储介质
CN108668082A (zh) 一种全焦点图像生成方法、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant