CN112001940B - 图像处理方法及装置、终端及可读存储介质 - Google Patents

图像处理方法及装置、终端及可读存储介质 Download PDF

Info

Publication number
CN112001940B
CN112001940B CN202010852014.1A CN202010852014A CN112001940B CN 112001940 B CN112001940 B CN 112001940B CN 202010852014 A CN202010852014 A CN 202010852014A CN 112001940 B CN112001940 B CN 112001940B
Authority
CN
China
Prior art keywords
portrait
background
scaling
target
cut
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010852014.1A
Other languages
English (en)
Other versions
CN112001940A (zh
Inventor
方冬冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN202010852014.1A priority Critical patent/CN112001940B/zh
Publication of CN112001940A publication Critical patent/CN112001940A/zh
Application granted granted Critical
Publication of CN112001940B publication Critical patent/CN112001940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法，图像处理方法包括：分离输入图像的人像和背景；基于预设的第一训练模型，对背景进行重建后得到目标背景；基于预设的第二训练模型，对人像进行重建后得到目标人像，第二训练模型和第一训练模型不同；及融合目标背景及目标人像，以得到目标图像。本申请还公开了一种图像处理装置、终端及非易失性计算机可读存储介质。本申请的图像处理方法中，通过使用两个不同的训练模型分别对背景和人像进行重建，以分别得到较清晰的背景和人像，然后对人像和背景进行融合，使得得到的目标图像相较于输入图像更加清晰，有利于提高成像质量。

Description

图像处理方法及装置、终端及可读存储介质
技术领域
本申请涉及图像处理技术领域，更具体而言，涉及一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。
背景技术
使用手机拍摄图像时，由于失焦、抖动、放大等原因，图片中人像和背景会模糊、不清晰；当人体距离手机相机较近时，背景会很模糊，同时也更有可能因为人体的较小移动和对焦不准造成人体模糊；当人体距离手机相机较远时，由于人体在整幅图片中占比太小，会导致人体的分辨率较低，同时也更有可能因为人体的较小移动和对焦不准造成背景模糊。背景和人像的清晰度下降均会影响拍摄图像的成像质量。
发明内容
本申请实施方式提供一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。
本申请实施方式的图像处理方法包括：分离输入图像的人像和背景；基于预设的第一训练模型，对所述背景进行重建后得到目标背景；基于预设的第二训练模型，对所述人像进行重建后得到目标人像，所述第二训练模型和所述第一训练模型不同；及融合所述目标背景及所述目标人像，以得到目标图像。
本申请实施方式的图像处理方法中，首先将输入图像的人像和背景分离开，然后通过第一训练模型对背景进行重建得到目标背景，通过第二训练模型对人像进行重建得到目标人像，且第二训练模型与第一训练模型不同，最后融合目标背景及目标人像得到目标图像，由于人像和背景清晰度下降的原因存在差异，通过两种不同的训练模型分别重建人像和背景，可以得到更加清晰的背景和人像，使得最后融合得到的目标人像相较于输入图像更加清晰，有利于提高成像质量。
本申请实施方式的图像处理装置包括分离模块、第一重建模块、第二重建模块和融合模块，所述分离模块用于分离输入图像的人像和背景；所述第一重建模块用于基于预设的第一训练模型，对所述背景进行重建后得到目标背景；所述第二重建模块用于基于预设的第二训练模型，对所述人像进行重建后得到目标人像，所述第二训练模型和所述第一训练模型不同；所述融合模块用于所述目标背景及所述目标人像，以得到目标图像。
本申请实施方式的图像处理装置中，首先将输入图像的人像和背景分离开，然后通过第一训练模型对背景进行重建得到目标背景，通过第二训练模型对人像进行重建得到目标人像，且第二训练模型与第一训练模型不同，最后融合目标背景及目标人像得到目标图像，由于人像和背景清晰度下降的原因存在差异，通过两种不同的训练模型分别重建人像和背景，可以得到更加清晰的背景和人像，使得最后融合得到的目标人像相较于输入图像更加清晰，有利于提高成像质量。
本申请实施方式的终端包括处理器，处理器用于：分离输入图像的人像和背景；基于预设的第一训练模型，对所述背景进行重建后得到目标背景；基于预设的第二训练模型，对所述人像进行重建后得到目标人像，所述第二训练模型和所述第一训练模型不同；及融合所述目标背景及所述目标人像，以得到目标图像。
本申请实施方式的终端中，首先将输入图像的人像和背景分离开，然后通过第一训练模型对背景进行重建得到目标背景，通过第二训练模型对人像进行重建得到目标人像，且第二训练模型与第一训练模型不同，最后融合目标背景及目标人像得到目标图像，由于人像和背景清晰度下降的原因存在差异，通过两种不同的训练模型分别重建人像和背景，可以得到更加清晰的背景和人像，使得最后融合得到的目标人像相较于输入图像更加清晰，有利于提高成像质量。
本申请实施方式的一种存储有计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，实现本申请实施方式的图像处理方法。本申请实施方式的图像处理方法包括：分离输入图像的人像和背景；基于预设的第一训练模型，对所述背景进行重建后得到目标背景；基于预设的第二训练模型，对所述人像进行重建后得到目标人像，所述第二训练模型和所述第一训练模型不同；及融合所述目标背景及所述目标人像，以得到目标图像。
本申请实施方式的非易失性计算机可读存储介质中，首先将输入图像的人像和背景分离开，然后通过第一训练模型对背景进行重建得到目标背景，通过第二训练模型对人像进行重建得到目标人像，且第二训练模型与第一训练模型不同，最后融合目标背景及目标人像得到目标图像，由于人像和背景清晰度下降的原因存在差异，通过两种不同的训练模型分别重建人像和背景，可以得到更加清晰的背景和人像，使得最后融合得到的目标人像相较于输入图像更加清晰，有利于提高成像质量。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式的图像处理方法的流程示意图；
图2是本申请实施方式的终端的模块示意图；
图3是本申请实施方式的图像处理装置的模块示意图；
图4是本申请实施方式的图像处理方法的流程示意图；
图5是本申请实施方式的图像处理装置的模块示意图；
图6是本申请实施方式的图像处理方法的流程示意图；
图7是本申请实施方式的图像处理装置的获取模块的获取单元的模块示意图；
图8是本申请实施方式的图像处理方法的流程示意图；
图9是本申请实施方式的图像处理装置的获取模块的分割单元的模块示意图；
图10是本申请实施方式的图像处理方法的流程示意图；
图11是本申请实施方式的图像处理装置的第一重建模块的模块示意图；
图12是本申请实施方式的图像处理方法的原理示意图；
图13是本申请实施方式的图像处理方法的流程示意图；
图14是本申请实施方式的图像处理装置的第二重建模块的模块示意图；
图15是本申请本申请实施方式的图像处理方法的原理示意图；
图16是本申请实施方式的图像处理方法的流程示意图；
图17是本申请实施方式的图像处理装置的融合模块的模块示意图；和
图18是本申请实施方式的计算机可读存储介质与处理器的连接关系示意图。
具体实施方式
以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外，下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。
请参阅图1至图3，本申请实施方式的图像处理方法包括以下步骤：
011：分离输入图像的人像和背景；
012：基于预设的第一训练模型，对背景进行重建后得到目标背景；
013：基于预设的第二训练模型，对人像进行重建后得到目标人像，第二训练模型和第一训练模型不同；及
014：融合目标背景及目标人像，以得到目标图像。
本申请实施方式的图像处理装置10包括分离模块11、第一重建模块12、第二重建模块13和融合模块14，分离模块11、第一重建模块12、第二重建模块13和融合模块14可以分别用于实现步骤011、步骤012、步骤013和步骤014。即，分离模块11可以用于分离输入图像的人像和背景；第一重建模块12可以用于基于预设的第一训练模型，对背景进行重建后得到目标背景；第二重建模块13可以用于基于预设的第二训练模型，对人像进行重建后得到目标人像，第二训练模型和第一训练模型不同；融合模块14可以用于融合目标背景及目标人像，以得到目标图像。
本申请实施方式的终端100包括处理器20，处理器20可以用于分离输入图像的人像和背景；基于预设的第一训练模型，对背景进行重建后得到目标背景；基于预设的第二训练模型，对人像进行重建后得到目标人像，第二训练模型和第一训练模型不同；及融合目标背景及目标人像，以得到目标图像。也即是说，处理器20可以用于实现步骤011、步骤012、步骤013和步骤014。
本申请实施方式的图像处理方法、图像处理装置10及终端100中，首先将输入图像的人像和背景分离开，然后通过第一训练模型对背景进行重建得到目标背景，通过第二训练模型对人像进行重建得到目标人像，且第二训练模型与第一训练模型不同，最后融合目标背景及目标人像得到目标图像，由于人像和背景清晰度下降的原因存在差异，通过两种不同的训练模型分别重建人像和背景，可以得到更加清晰的背景和人像，使得最后融合得到的目标人像相较于输入图像更加清晰，有利于提高成像质量。
终端100包括壳体30和处理器20，处理器20安装在壳体30内。终端100具体可以是手机、平板电脑、显示器、智能手表、头显设备、摄像机、闸机、门禁机、游戏机等，在此不一一列举。本申请实施方式以终端100是手机为例进行说明，可以理解，终端100的具体形式并不限于手机。壳体30还可用于安装终端100的供电装置、成像装置、通信装置等功能模块，以使壳体30为功能模块提供防尘、防摔、防水等保护。
请结合图2，终端100(如手机)一般包括相机40，通过相机40可以拍摄拍摄，现在人们喜欢通过相机40记录生活。但是使用终端100拍摄图片时，容易由于失焦、抖动、放大等原因，图片中的人像和背景会变模糊、不清晰，容易给用户不好的拍照体验。且人像和背景清晰度下降的原因存在差异，如果通过同一种模型对人像和背景进行优化，容易导致人像变清晰但是背景仍然不清晰、或者背景清晰图像仍然不清晰的情况。
具体地，在步骤011中，分离输入图像的人像和背景。具体可以通过一些人像分割模型(例如deepLab模型、U-net、全卷积神经网络(Fully Convolutional Networks，FCN))获取输入人像的人像掩膜，然后将输入图像的人像和背景分离，得到一张人像、一张背景的两张图片。为了提高人像和背景的边缘信息，还可以对分离后的人像及背景分别进行引导滤波等处理。其中，输入图像可以是用户拍摄时实时拍摄到的图像，也可以是用户拍摄后的图像，还可以是其他终端100上拍摄到的图像，在此不做限制。
在步骤012中，基于预设的第一训练模型，对背景进行重建后得到目标背景。由于背景清晰度下降的原因较人像简单，可以通过采集高分辨率数据，并使用下采样、人工设计的模糊核等辅助手段产生与该分辨率数据相对应的低分辨率的数据，组成训练和测试数据对，然后进行训练和测试得到第一训练模型。例如，第一训练模型可以采用监督学习方式得到的，例如使用非常深的深度卷积超分辨网络(Very Deep Convolutional NetworksSuper Resolution，VDSR)的方式得到。通过第一训练模型可以重建出与原背景相对应的高分辨率的背景作为目标背景，可以提高背景的清晰度。
在步骤013中，基于预设的第二训练模型，对人像进行重建后得到目标人像。由于人像清晰度下降的原因较为复杂，如果使用和重建背景一样的训练模型的话，可能导致得到的人像的清晰度仍然较低，对于重建人像的训练模型需要与重建背景的训练模型不一致。第二训练模型可以通过生成式的方法训练得到，例如采集各种情况下低质量的图片和对应的高质量图片，组成训练和测试数据对，进行训练和测试得到第二训练模型。例如可以使用增强型超分辨率生成对抗网络(Enhanced Super-Resolution GenerativeAdversarial Networks，ESRGAN)方式得到第二训练模型，将分离后的人像输入第二训练模型，第二训练模型可以得到更高分辨率、更加清晰的人像作为目标人像。
在步骤014中，融合目标背景及目标人像，以得到目标图像。可以理解，在步骤012和步骤013中分别得到了清晰度较高的目标背景和目标人像，可以对目标背景和目标人像进行融合，得到目标人像。例如，可以将目标人像添加到目标背景中相对应的位置；或者根据输入图像中人像与背景之间的关系，进行坐标的转换将目标人像融合至目标背景中。由于目标背景和目标人像均较清晰，使得融合得到的目标图像也将更加清晰。
请参阅图4和图5，在某些实施方式中，步骤011包括以下步骤：
0111：获取输入图像的第一人像掩膜；
0112：去除第一人像掩膜中的干扰人像，以得到第二人像掩膜；
0113：对第二人像掩膜进行羽化处理，以得到第三人像掩膜；
0114：将第三人像掩膜向外拓展预设像素值，以得到第四人像掩膜；和
0115：对第四人像掩膜进行分割，以分离出人像和背景。
在某些实施方式中，分离模块11包括获取单元111、去除单元112、羽化单元113、拓展单元114及分割单元115，获取单元111可以用于获取输入图像的第一人像掩膜；去除单元112可以用于去除第一人像掩膜中的干扰人像，以得到第二人像掩膜；羽化单元113可以用于对第二人像掩膜进行羽化处理，以得到第三人像掩膜；拓展单元114可以用于将第三人像掩膜向外拓展预设像素值，以得到第四人像掩膜；分割单元115可以用于对第四人像掩膜进行分割，以分离出人像和背景。也即是说，获取单元111、去除单元112、羽化单元113、拓展单元114及分割单元115可以分别用于实现步骤0111、步骤0112、步骤0113、步骤0114和步骤0115。
在某些实施方式中，处理器20可以用于：获取输入图像的第一人像掩膜；去除第一人像掩膜中的干扰人像，以得到第二人像掩膜；对第二人像掩膜进行羽化处理，以得到第三人像掩膜；将第三人像掩膜向外拓展预设像素值，以得到第四人像掩膜；和对第四人像掩膜进行分割，以分离出人像和背景。也即是说，处理器20还可以用于实现步骤0111、步骤0112、步骤0113、步骤0114和步骤0115。
具体地，可以通过FCN、U-net及deepLabV3等方式获取输入图像的第一人像掩膜，然后对第一人像掩膜进行连通域分析，检测第一人像掩膜中的人像面积，对于人像面积小于设定阈值的人像作为干扰人像，以及将检测有误的人像(例如一些雕塑、或者人像拖影等)也作为干扰人像，并且去除这些干扰人像得到第二人像掩膜，避免了干扰人像的影响，使得得到的人像掩膜更加精确。
进一步地，对第二人像掩膜使用引导滤波等方式进行羽化处理得到第三人像掩膜，通过羽化处理可以降低第二人像掩膜中的噪点、丰富第二人像掩膜的边缘信息。然后将第三人像掩膜向外拓展预设像素值，即将第三人像掩膜向外放大预设像素值得到第四人像掩膜，其中，预设像素值可以根据用户需求进行设定或者预先设置的固定值，如此有利于背景和人像的融合，以及进一步保持人像的边缘信息。然后可以通过一些分割算法对第四人像掩膜进行分割，得到人像和背景。由此，最后得到的人像和背景的边缘信息将比较完整，有利于提高图像的清晰度。
请参阅图6和图7，在某些实施方式中，步骤0111包括以下步骤：
01111：裁剪输入图像中的预定的待放大区域，以得到待处理图像；
01112：根据第一缩放比例对待处理图像进行下采样，以得到下采样图像，第一缩放比例根据待放大区域的大小确定；及
01113：获取下采样图像的下采样人像掩膜，以作为第一人像掩膜。
在某些实施方式中，获取单元111包括裁剪子单元1111、下采样子单元1112及获取子单元1113，裁剪子单元1111可以用于裁剪输入图像中的预定的待放大区域，以得到待处理图像；下采样子单元1112可以用于根据第一缩放比例对待处理图像进行下采样，以得到下采样图像，第一缩放比例根据待放大区域的大小确定；获取子单元1113用于获取下采样图像的下采样人像掩膜，以作为第一人像掩膜。也即是说，裁剪子单元1111、下采样子单元1112及获取子单元1113可以分别用于实现步骤01111、步骤01112和步骤01113。
在某些实施方式中，处理器20还可以用于：裁剪输入图像中的预定的待放大区域，以得到待处理图像；根据第一缩放比例对待处理图像进行下采样，以得到下采样图像，第一缩放比例根据待放大区域的大小确定；及获取下采样图像的下采样人像掩膜，以作为第一人像掩膜。也即是说，处理器20还可以用于实现步骤01111、步骤01112和步骤01113。
具体地，将输入图像中的待放大区域裁剪出来，得到待处理图像，其中，待放大区域可以是预先设置好的，也可以是根据拍摄照片时的变焦倍数自动生成的，在此不做限制。待放大区域可以是相对于输入图像的中心向四周拓展得到的区域，也可以是其他任意区域(例如包括具有人像的区域)。通过截取输入图像中的待放大区域，可以重点对待放大区域内的图像进行处理，提升该部分区域的清晰度。
进一步地，根据第一缩放比例对待处理图像进行下采样，具体可以是进行双三次下采样、双线性下采样等方式对待处理图像进行下采样。其中，第一缩放比例根据待放大区域的长度或宽度确定。例如当待放大区域的长度或宽度越大，则第一缩放比例越小；待放大区域的长度或宽度越小，则第一缩放比例越大。然后获取对下采样图像的人像掩膜，作为第一人像掩膜。例如通过deepLabV3的方式获取下采样图像的人像掩膜。
在一个实施例中，输入图像的高度为H、宽度为W，待放大区域的参数为left，top,height,width，其中，left，top指的是待放大区域的左顶点坐标，height指的是待放大区域的高度，width指的是待放大区域的宽度。根据height或width与deepLabV3中的图形框的大小确定第一缩放比例，将待处理图像进行双三次下采样后，使得待处理图像的大小与deepLabV3中的图形框相同。通过使用双三次下采样方式对待处理图像进行缩放，可以提升处理速度。
请参阅图8至图9，在某些实施方式中，步骤0114包括以下步骤：
01141：根据第一缩放比例对第四人像掩膜进行上采样，以得到上采样人像掩膜；和
01142：对上采样人像掩膜进行分割，以得到背景和人像。
在某些实施方式中，分割单元115包括上采样子单元1141和分割子单元1142，上采样子单元1141可以用于根据第一缩放比例对第四人像掩膜进行上采样，以得到上采样人像掩膜；分割单元115可以用于对上采样人像掩膜进行分割，以得到背景和人像。也即是说，上采样子单元1141可以用于实现步骤01141，分割子单元1142可以用于实现步骤01142。
在某些实施方式中，处理器20还用于：根据第一缩放比例对第四人像掩膜进行上采样，以得到上采样人像掩膜；和对上采样人像掩膜进行分割，以得到背景和人像。也即是说，处理器20还用于实现步骤01141和步骤01142。
具体地，由于在步骤0111中根据第一缩放比例对待处理图像进行了下采样，为了将图像的尺寸恢复至原大小，需要对第四人像掩膜进行上采样得到上采样人像掩膜。具体可以是对第四人像掩膜进行双三次上采样、双线性上采样等处理方式，在此不做限制。可以理解，上采样人像掩膜的大小和待处理图像的大小基本相同。得到上采样人像掩膜后，可以通过神经网络模型或者其他模型对上采样人像掩膜进行分割，分离出背景和人像，由此，最终得到的人像和背景的边缘信息比较丰富。
请参阅图10和图11，在某些实施方式中，第一训练模型包括多个不同倍数的缩放模型，步骤012包括以下步骤：
0121：根据预设的第一映射关系，选择与第二缩放比例相对应倍数的缩放模型作为背景缩放模型，第二缩放比例根据待放大区域与输入图像确定；
0122：根据第二缩放比例及待放大区域确定第一待裁剪区域；
0123：使用背景缩放模型对背景进行缩放，以得到待裁剪背景；
0124：从待裁剪背景中，裁剪出第一待裁剪区域，以作为裁剪背景；及
0125：根据裁剪背景的大小与输入图像的大小之间的关系，调整裁剪背景的大小，以得到目标背景。
在某些实施方式中，第一重建模块12包括第一选择单元121、第一确定单元122、第一缩放单元123、第一裁剪单元124和第一调整单元125。第一选择单元121、第一确定单元122、第一缩放单元123、第一裁剪单元124和第一调整单元125分别可以用于实现步骤0121、步骤0122、步骤0123、步骤0124和步骤0125。即，第一选择单元121可以用于根据预设的第一映射关系，选择与第二缩放比例相对应倍数的缩放模型作为背景缩放模型；第一确定单元122可以用于根据第二缩放比例及待放大区域确定第一待裁剪区域；第一缩放单元123可以用于使用背景缩放模型对背景进行缩放，以得到待裁剪背景；第一裁剪单元124可以用于从待裁剪背景中，裁剪出第一待裁剪区域，以作为裁剪背景；第一调整单元125可以用于根据裁剪背景的大小与输入图像的大小之间的关系，调整裁剪背景的大小，以得到目标背景。
在某些实施方式中，处理器20还用于：将根据预设的第一映射关系，选择与第二缩放比例相对应倍数的缩放模型作为背景缩放模型，第二缩放比例根据待放大区域与输入图像确定；根据第二缩放比例及待放大区域确定第一待裁剪区域；使用背景缩放模型对背景进行缩放，以得到待裁剪背景；从待裁剪背景中，裁剪出第一待裁剪区域，以作为裁剪背景；及根据裁剪背景的大小与输入图像的大小之间的关系，调整裁剪背景的大小，以得到目标背景。也即是说，处理器20还用于实现步骤0121、步骤0122、步骤0123、步骤0124和步骤0125。
具体地，由于背景清晰度下降的原因较人像简单，采集高分辨率数据，可以通过下采样、人工设计的模糊核等辅助手段模拟出对应的低分辨率的数据。并组成训练和测试数据对，然后进行训练和测试，在训练过程中可以得到多个不同倍数的缩放模型，例如可以得到一倍、两倍、三倍、四倍、五倍、六倍或更多倍数的模型。在第一映射关系中包括了第二缩放比例和缩放模型之间的关系，通过第二缩放比例可以找到相对应倍数的缩放模型。在一个例子中，第一映射关系中为选择接近于第二缩放比例的倍数的缩放模型作为背景缩放模型，假如第二缩放比例为2.7，则选择三倍的缩放模型作为背景缩放模型。
第二缩放比例可以根据待放大区域的大小和输入图像的大小可以确定，例如：待放大区域的高度为h、宽度为w，输入图像的高度为H、宽度为W，则第二缩放比例可以为H/h或W/w。缩放后的背景需要进行裁剪的区域为第一待裁剪区域，通过第二缩放比例和待放大区域可以确定第一待裁剪区域的大小及位置。例如，待放大区域按照第二缩放比例进行缩放后得到第一待裁剪区域。或者，将背景放大对应倍数后，发现背景的尺寸不满足预设条件，则需将背景裁剪到符合预设条件，(例如卷积层要求背景要满足n*(A*B))，则根据第二缩放比例与待放大区域，确定第一待裁剪区域，以使第一待裁剪区域内的背景的尺寸满足预设条件。
进一步地，使用背景缩放模型对背景进行缩放，得到待裁剪人像；然后将待裁剪背景中的第一待裁剪区域裁剪出来，以作为裁剪背景；最后根据裁剪背景的大小和输入图像的大小之间的关系，调整所述裁剪背景的大小，以得到目标背景。例如，若裁剪背景的大小和输入图像的大小相同，则不需要对裁剪背景的大小进行调整；若裁剪背景的大小和输入图像的大小不相同，则需要对裁剪背景的大小进行插值处理，例如通过双三次插值处理、双线性插值处理等插值方法将裁剪背景的大小调整至与输入图像的大小相同。如此，避免了最后得到的目标图像的大小与输入图像的大小不一致的问题。
请结合图12，通过VDSR方式对背景进行重建的具体过程为：首先，依次对背景进行3*3卷积层处理、3*3卷积层第一膨胀系数处理、3*3卷积层第二膨胀系数处理、3*3卷积层第三膨胀系数、3*3卷积层第一膨胀系数、3*3卷积层第二膨胀系数、3*3第三卷积层膨胀系数处理后进入Subpixe层处理；其次，对背景进行3*3卷积层处理后还会依次经过1*1卷积层处理、Subpixe层处理；最后通过Subpixe层处理后输出目标背景。由于VDSR方式的网络层较深，可以拥有更大的感受野；同时，VDSR在每次卷积前都对图像进行补0操作，这样保证了所有的特征图和最终的输出图像在尺寸上都保持一致，解决了图像通过逐步卷积会越来越小的问题。最终得到的目标背景的分辨率更高、清晰度更高。
请参阅图13和图14，在某些实施方式中，步骤013包括以下步骤：
0131：根据预设的第二映射关系，选择与预设的第三缩放比例相对应倍数的缩放模型作为人像缩放模型；
0132：根据第三缩放比例确定第二待裁剪区域；
0133：使用人像缩放模型对人像进行缩放，以得到待裁剪人像；
0134：从待裁剪人像中，裁剪出第二待裁剪区域，以作为裁剪人像；及
0135：根据裁剪人像的大小与输入图像的大小之间的关系，调整裁剪人像的大小，以得到目标人像。
在某些实施方式中，第二重建模块13包括第二选择单元131、第二确定单元132、第二缩放单元133、第二裁剪单元134和第二调整单元135，第二选择单元131、第二确定单元132、第二缩放单元133、第二裁剪单元134和第二调整单元135可以分别用于实现步骤0131、步骤0132、步骤0133、步骤0134和步骤0135。即，第二选择单元131可以用于根据预设的第二映射关系，选择与预设的第三缩放比例相对应倍数的缩放模型作为人像缩放模型；第二确定单元132可以用于根据第三缩放比例确定第二待裁剪区域；第二裁剪单元134可用于从待裁剪人像中，裁剪出第二待裁剪区域，以作为裁剪人像；第二调整单元135可以用于根据裁剪人像的大小与输入图像的大小之间的关系，调整裁剪人像的大小，以得到目标人像。
在某些实施方式中，处理器20还可以用于：根据预设的第二映射关系，选择与预设的第三缩放比例相对应倍数的缩放模型作为人像缩放模型；根据第三缩放比例确定第二待裁剪区域；使用人像缩放模型对人像进行缩放，以得到待裁剪人像；从待裁剪人像中，裁剪出第二待裁剪区域，以作为裁剪人像；及根据裁剪人像的大小与输入图像的大小之间的关系，调整裁剪人像的大小，以得到目标人像。也即是说，处理器20还可以用于实现步骤0131、步骤0132、步骤0133、步骤0134和步骤0135。
具体地，由于人像清晰度下降的原因较为复杂，需要采集各种情况下(例如不同亮度、人物的不同动作等)低质量的图片以及相对应的高质量的图片。然后通过尺度不变特征变换(Scale-invariant feature transform，SIFT)，将低质量的图片以及相对应的高质量的图片进行对齐，并获取预设的第三缩放比例，作为低质量图片和相对应的高质量图片的比例关系，调整低质量图片和高质量图片之间的比例，组成训练和测试数据对，然后进行训练和测试。在训练过程中可以得到多个不同倍数的缩放模型，例如可以得到一倍、两倍、三倍、四倍、五倍、六倍或更多倍数的缩放模型。其中，第三缩放比例可以是第二训练模型中预先设置好的比例值，也可以是根据不断地对人像进行训练后得到的经验值。
进一步地，第二映射关系中包括了第三缩放比例与缩放模型之间的关系，根据第三缩放比例可以确定采用多少倍数的缩放模型，作为人像缩放模型。以及根据第三缩放比例可以确定将人像缩放后的第二待裁剪区域的大小及位置，以便于对缩放后的人像进行裁剪。例如，根据第三缩放比例与第二待裁剪区域之间存在映射关系，通过第三缩放比例可以确定对应的第二裁剪区域的大小。或者，将待放大区域按照第三缩放比例进行缩放的带第二待裁剪区域。其中，步骤0131和步骤0132可以同时执行或者分开执行，在此不做限制。使用人像缩放模型对人像进行缩放，得到待裁剪人像。然后将待裁剪人像中的第二待裁剪区域裁剪出来作为裁剪人像，最后比较裁剪人像的大小与输入图像的大小。
进一步地，若裁剪人像的大小与输入图像的大小相等，则不需要对裁剪人像的大小做调整，此时的裁剪人像即为目标人像；若裁剪人像的大小与输入图像的大小不相等，则需要对裁剪人像进行插值处理(例如双线性插值处理、双三次插值处理等方式)，将裁剪人像的大小调整至与输入图像的大小相同，调整后的裁剪人像即为目标人像，由此，使得目标人像的大小与输入图像的相同，也便于对目标人像和输入图像进行融合。
请参阅图15，通过ESRGAN的方式重建人像的网络结构具体流程可以包括：对人像一次进行第一次3*3卷积层处理、第二次3*3卷积层处理、U-net处理、第三次3*3卷积层处理、1*1卷积层处理、Subpixe层处理后得到目标人像。
请参阅图16和图17，在某些实施方式中，步骤014包括以下步骤：
0141：对上采样人像掩膜进行插值处理，以使上采样人像掩膜的大小与输入图像的大小相同；
0142：对进行插值处理后的上采样人像掩膜进行高斯模糊，得到融合参数；及
0143：根据预设的融合规则及融合参数，对目标背景及目标人像进行融合，以得到目标图像。
在某些实施方式中，融合模块14包括插值单元141、模糊单元142和融合单元143，插值单元141、模糊单元142和融合单元143分别可以用于实现步骤0141、步骤0142和步骤0143。即，插值单元141可以用于对上采样人像掩膜进行插值处理，以使第三人像掩膜的大小与输入图像的大小相同；模糊单元142可以用于对进行插值处理后的上采样人像掩膜进行高斯模糊，得到融合参数；融合单元143可以用于根据预设的融合规则及融合参数，对目标背景及目标人像进行融合，以得到目标图像。
在某些实施方式中，处理器20还可以用于：对上采样人像掩膜进行插值处理，以使第三人像掩膜的大小与输入图像的大小相同；对进行插值处理后的上采样人像掩膜进行高斯模糊，得到融合参数；及根据预设的融合规则及融合参数，对目标背景及目标人像进行融合，以得到目标图像。也即是说，处理器20还可以用于实现步骤0141、步骤0142和步骤0143。
具体地，在步骤0142中得到了上采样人像掩膜，为了避免由于上采样人像掩膜的尺寸和输入人像的尺寸存在差异，可以对上采样人像进行插值处理，例如通过双线性插值、双三次插值等算法对上采样人像进行缩放，使得上采样人像掩膜的大小和输入图像的大小相同。然后对插值处理后的上采样人像掩膜进行高斯模糊，可以得到融合参数，融合参数可以用于融合目标人像和目标背景。
更具体地，可以是对上采样人像掩膜进行高斯模糊后，可以得到一个高斯模糊值，该值即可作为融合参数。还可以是通过预先训练好的神经网络模型对上采样人像掩膜进行多次高斯模糊，取效果最佳的数值作为融合参数。其中，融合参数具体可以是0至1之间的任意数值，例如0.3、0.4、0.48、0.5、0.55、0.65、0.75、0.8、0.9等数值，可以表示目标背景和目标人像的融合比例。
进而根据预设的融合规则及融合参数，对目标背景及目标人像进行融合得到目标图像。具体可以是设置有一个融合模型，融合模型中已经预设了融合规则，融合规则中包括了目标图像与融合参数、目标背景及目标人像三者的关系，将目标人像、目标背景及融合参数三者输入该融合模型中，即可输出目标图像。通过对高斯模糊得到融合参数，可以使目标背景与目标人像更好地融合。
在一个实施例中，对上采样人像掩膜进行高斯模糊后得到融合参数mask_fuse，其中目标人像为SR_portrait，目标背景为SR_background，目标图像为SR，融合规则为SR＝mask_fuse*SR_portrait+(1-mask_fuse)*SR_background，由此，可以通过融合目标背景和目标人像得到目标图像，由于目标人像和目标背景均是通过训练模型训练得到的较清晰的图像，目标图像相较于输入图像也将更加清晰。
请参阅图18，本申请实施方式的一个或多个包含计算机程序301的非易失性计算机可读存储介质300，当计算机程序301被一个或多个处理器20执行时，使得处理器20可执行上述任一实施方式的图像处理方法。
例如，请结合图3，当计算机程序301被一个或多个处理器20执行时，使得处理器20执行以下步骤：
011：分离输入图像的人像和背景；
012：基于预设的第一训练模型，对背景进行重建后得到目标背景；
013：基于预设的第二训练模型，对人像进行重建后得到目标人像，第二训练模型和第一训练模型不同；及
014：融合目标背景及目标人像，以得到目标图像。
再例如，请结合图16，在计算机程序301被一个或多个处理器20执行时，使得处理器20执行以下步骤：
0141：对上采样人像掩膜进行插值处理，以使上采样人像掩膜的大小与输入图像的大小相同；
0142：对进行插值处理后的上采样人像掩膜进行高斯模糊，得到融合参数；及
0143：根据预设的融合规则及融合参数，对目标背景及目标人像进行融合，以得到目标图像。
在本说明书的描述中，参考术语“某些实施方式”、“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
分离输入图像的人像和背景；
基于预设的第一训练模型，对所述背景进行重建后得到目标背景；
基于预设的第二训练模型，对所述人像进行重建后得到目标人像，所述第二训练模型和所述第一训练模型不同；及
融合所述目标背景及所述目标人像，以得到目标图像;
所述第二训练模型中包括多个不同倍数的缩放模型，所述基于预设的第二训练模型，对所述人像进行重建后得到目标人像，包括：
根据预设的第二映射关系，选择与预设的第三缩放比例相对应倍数的所述缩放模型作为人像缩放模型；
根据所述第三缩放比例确定第二待裁剪区域；
使用所述人像缩放模型对所述人像进行缩放，以得到待裁剪人像；
从所述待裁剪人像中，裁剪出所述第二待裁剪区域，以作为裁剪人像；及
根据所述裁剪人像的大小与所述输入图像的大小之间的关系，调整所述裁剪人像的大小，以得到所述目标人像；
所述第一训练模型包括多个不同倍数的缩放模型，所述基于预设的第一训练模型，对所述背景进行重建后得到目标背景，包括：
根据预设的第一映射关系，选择与第二缩放比例相对应倍数的所述缩放模型作为背景缩放模型，所述第二缩放比例根据待放大区域与所述输入图像确定；
根据所述第二缩放比例及待放大区域确定第一待裁剪区域；
使用所述背景缩放模型对所述背景进行缩放，以得到待裁剪背景；
从所述待裁剪背景中，裁剪出所述第一待裁剪区域，以作为裁剪背景；及
根据所述裁剪背景的大小与所述输入图像的大小之间的关系，调整所述裁剪背景的大小，以得到所述目标背景。
2.根据权利要求1所述的图像处理方法，其特征在于，所述分离输入图像的人像和背景，包括：
获取所述输入图像的第一人像掩膜；
去除所述第一人像掩膜中的干扰人像，以得到第二人像掩膜；
对所述第二人像掩膜进行羽化处理，以得到第三人像掩膜；
将所述第三人像掩膜向外拓展预设像素值，以得到第四人像掩膜；及
对所述第四人像掩膜进行分割，以分离出所述人像和所述背景。
3.根据权利要求2所述的图像处理方法，其特征在于，所述获取所述输入图像的第一人像掩膜，包括：
裁剪所述输入图像中的预定的待放大区域，以得到待处理图像；
根据第一缩放比例对所述待处理图像进行下采样，以得到下采样图像，所述第一缩放比例根据所述待放大区域的大小确定；及
获取所述下采样图像的下采样人像掩膜，以作为所述第一人像掩膜；
所述对所述第四人像掩膜进行分割，以分离出所述人像和所述背景，包括：
根据所述第一缩放比例对所述第四人像掩膜进行上采样，以得到上采样人像掩膜；及
对所述上采样人像掩膜进行分割，以得到所述背景和所述人像。
4.根据权利要求3所述的图像处理方法，其特征在于，所述融合所述目标背景及所述目标人像，以得到目标图像，包括：
对所述上采样人像掩膜进行插值处理，以使所述上采样人像掩膜的大小与所述输入图像的大小相同；
对进行插值处理后的所述上采样人像掩膜进行高斯模糊，得到融合参数；及
根据预设的融合规则及所述融合参数，对所述目标背景及所述目标人像进行融合，以得到所述目标图像。
5.一种图像处理装置，其特征在于，包括：
分离模块，所述分离模块用于分离输入图像的人像和背景；
第一重建模块，所述第一重建模块用于基于预设的第一训练模型，对所述背景进行重建后得到目标背景；
第二重建模块，所述第二重建模块用于基于预设的第二训练模型，对所述人像进行重建后得到目标人像，所述第二训练模型和所述第一训练模型不同；及
融合模块，所述融合模块用于所述目标背景及所述目标人像，以得到目标图像；
所述第二训练模型中包括多个不同倍数的缩放模型，所述第二重建模块包括：
第二选择单元，所述第二选择单元用于根据预设的第二映射关系，选择与预设的第三缩放比例相对应倍数的所述缩放模型作为人像缩放模型；
第二确定单元，所述第二确定单元用于根据所述第三缩放比例确定第二待裁剪区域；
第二缩放单元，所述第二缩放单元用于使用所述人像缩放模型对所述人像进行缩放，以得到待裁剪人像；
第二裁剪单元，所述第二裁剪单元用于从所述待裁剪人像中，裁剪出所述第二待裁剪区域，以作为裁剪人像；及
第二调整单元，所述第二调整单元用于根据所述裁剪人像的大小与所述输入图像的大小之间的关系，调整所述裁剪人像的大小，以得到所述目标人像；
所述第一重建模块包括：
第一选择单元，所述第一选择单元用于根据预设的第一映射关系，选择与第二缩放比例相对应倍数的所述缩放模型作为背景缩放模型，所述第二缩放比例根据待放大区域与所述输入图像确定；
第一确定单元，所述第一确定单元用于根据所述第二缩放比例及待放大区域确定第一待裁剪区域；
第一缩放单元，所述第一缩放单元用于使用所述背景缩放模型对所述背景进行缩放，以得到待裁剪背景；
第一裁剪单元，所述第一裁剪单元用于从所述待裁剪背景中，裁剪出所述第一待裁剪区域，以作为裁剪背景；及
第一调整单元，所述第一调整单元用于根据所述裁剪背景的大小与所述输入图像的大小之间的关系，调整所述裁剪背景的大小，以得到所述目标背景。
6.一种图像处理终端，其特征在于，所述终端包括处理器，所述处理器用于：
分离输入图像的人像和背景；
基于预设的第一训练模型，对所述背景进行重建后得到目标背景；
基于预设的第二训练模型，对所述人像进行重建后得到目标人像，所述第二训练模型和所述第一训练模型不同；及
融合所述目标背景及所述目标人像，以得到目标图像；
所述第二训练模型包括多个不同倍数的缩放模型，所述处理器还用于：
根据预设的第二映射关系，选择与预设的第三缩放比例相对应倍数的所述缩放模型作为人像缩放模型；
根据所述第三缩放比例确定第二待裁剪区域；
使用所述人像缩放模型对所述人像进行缩放，以得到待裁剪人像；
从所述待裁剪人像中，裁剪出所述第二待裁剪区域，以作为裁剪人像；及
根据所述裁剪人像的大小与所述输入图像的大小之间的关系，调整所述裁剪人像的大小，以得到所述目标人像；
所述第一训练模型包括多个不同倍数的缩放模型，所述基于预设的第一训练模型，对所述背景进行重建后得到目标背景，包括：
根据预设的第一映射关系，选择与第二缩放比例相对应倍数的所述缩放模型作为背景缩放模型，所述第二缩放比例根据待放大区域与所述输入图像确定；
根据所述第二缩放比例及待放大区域确定第一待裁剪区域；
使用所述背景缩放模型对所述背景进行缩放，以得到待裁剪背景；
从所述待裁剪背景中，裁剪出所述第一待裁剪区域，以作为裁剪背景；及
根据所述裁剪背景的大小与所述输入图像的大小之间的关系，调整所述裁剪背景的大小，以得到所述目标背景。
7.根据权利要求6所述的图像处理终端，其特征在于，所述处理器还用于：
获取所述输入图像的第一人像掩膜；
去除所述人像掩膜中的干扰人像，以得到第二人像掩膜；
对所述第二人像掩膜进行羽化处理，以得到第三人像掩膜；
将所述第三人像掩膜向外拓展预设像素值，以得到第四人像掩膜；及
对所述第四人像掩膜进行分割，以分离出所述人像和所述背景。
8.根据权利要求7所述的图像处理终端，其特征在于，所述处理器还用于：
裁剪所述输入图像中的预定的待放大区域，以得到待处理图像；
根据第一缩放比例对所述待处理图像进行下采样，以得到下采样图像，所述第一缩放比例根据所述待放大区域的大小确定；及
获取所述下采样图像的下采样人像掩膜，以作为所述第一人像掩膜；及
所述处理器还用于：
根据所述第一缩放比例对所述第四人像掩膜进行上采样，以得到上采样人像掩膜；及
对所述上采样人像掩膜进行分割，以得到所述背景和所述人像。
9.根据权利要求8所述的图像处理终端，其特征在于，所述第一训练模型包括多个不同倍数的缩放模型，所述处理器还用于：
根据预设的第一映射关系，选择与第二缩放比例相对应倍数的所述缩放模型作为背景缩放模型，所述第二缩放比例根据所述待放大区域与所述输入图像确定；
根据所述第二缩放比例及所述待放大区域确定第一待裁剪区域；
使用所述背景缩放模型对所述背景进行缩放，以得到待裁剪背景；
从所述待裁剪背景中，裁剪出所述第一待裁剪区域，以作为裁剪背景；及
根据所述裁剪背景的大小与所述输入图像的大小之间的关系，调整所述裁剪背景的大小，以得到所述目标背景。
10.根据权利要求9所述的图像处理终端，其特征在于，所述处理器还用于：
对所述上采样人像掩膜进行插值处理，以使所述上采样人像掩膜的大小与所述输入图像的大小相同；
对进行插值处理后的所述上采样人像掩膜进行高斯模糊，得到融合参数；及
根据预设的融合规则及所述融合参数，对所述目标背景及所述目标人像进行融合，以得到所述目标图像。
11.一种存储有计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，实现权利要求1至4任意一项所述的图像处理方法。
CN202010852014.1A 2020-08-21 2020-08-21 图像处理方法及装置、终端及可读存储介质 Active CN112001940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010852014.1A CN112001940B (zh) 2020-08-21 2020-08-21 图像处理方法及装置、终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010852014.1A CN112001940B (zh) 2020-08-21 2020-08-21 图像处理方法及装置、终端及可读存储介质

Publications (2)

Publication Number Publication Date
CN112001940A CN112001940A (zh) 2020-11-27
CN112001940B true CN112001940B (zh) 2023-04-07

Family

ID=73473991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010852014.1A Active CN112001940B (zh) 2020-08-21 2020-08-21 图像处理方法及装置、终端及可读存储介质

Country Status (1)

Country Link
CN (1) CN112001940B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465064A (zh) * 2020-12-14 2021-03-09 合肥工业大学 基于深度课程学习的图像识别方法、装置及设备
CN115330606A (zh) * 2022-07-07 2022-11-11 荣耀终端有限公司 模型的训练方法、图像处理方法、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447020A (zh) * 2018-03-12 2018-08-24 南京信息工程大学 一种基于极深卷积神经网络的人脸超分辨率重建方法
CN108961349A (zh) * 2018-06-29 2018-12-07 广东工业大学 一种风格化图像的生成方法、装置、设备及存储介质
CN110136144A (zh) * 2019-05-15 2019-08-16 北京华捷艾米科技有限公司 一种图像分割方法、装置及终端设备
CN111091521A (zh) * 2019-12-05 2020-05-01 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7974489B2 (en) * 2007-05-30 2011-07-05 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Buffer management for an adaptive buffer value using accumulation and averaging
CN102999901B (zh) * 2012-10-17 2016-06-29 中国科学院计算技术研究所 基于深度传感器的在线视频分割后的处理方法及***
CN109544453A (zh) * 2018-11-16 2019-03-29 北京中竞鸽体育文化发展有限公司 图像调整方法及装置、电子设备、存储介质
CN110378235B (zh) * 2019-06-20 2024-05-28 平安科技（深圳）有限公司 一种模糊人脸图像识别方法、装置及终端设备
CN110378852A (zh) * 2019-07-11 2019-10-25 北京奇艺世纪科技有限公司 图像增强方法、装置、计算机设备和存储介质
CN110348522B (zh) * 2019-07-12 2021-12-07 创新奇智(青岛)科技有限公司 一种图像检测识别方法及***、电子设备、图像分类网络优化方法及***
CN110428378B (zh) * 2019-07-26 2022-02-08 北京小米移动软件有限公司 图像的处理方法、装置及存储介质
CN110428367B (zh) * 2019-07-26 2023-04-14 北京小龙潜行科技有限公司 一种图像拼接方法及装置
CN110428366B (zh) * 2019-07-26 2023-10-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110443230A (zh) * 2019-08-21 2019-11-12 北京百度网讯科技有限公司 人脸融合方法、装置以及电子设备
US10593021B1 (en) * 2019-09-11 2020-03-17 Inception Institute of Artificial Intelligence, Ltd. Motion deblurring using neural network architectures
CN111028170B (zh) * 2019-12-09 2023-11-24 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447020A (zh) * 2018-03-12 2018-08-24 南京信息工程大学 一种基于极深卷积神经网络的人脸超分辨率重建方法
CN108961349A (zh) * 2018-06-29 2018-12-07 广东工业大学 一种风格化图像的生成方法、装置、设备及存储介质
CN110136144A (zh) * 2019-05-15 2019-08-16 北京华捷艾米科技有限公司 一种图像分割方法、装置及终端设备
CN111091521A (zh) * 2019-12-05 2020-05-01 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多摄像机下动态前景分离的视频拼接算法;贾克斌等;《北京工业大学学报》;20120710;第38卷(第07期);1057-1061 *

Also Published As

Publication number Publication date
CN112001940A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP5762356B2 (ja) 焦点に基づく動的シーンの深度再構成のための装置および方法
CN112330574B (zh) 人像修复方法、装置、电子设备及计算机存储介质
CN112001940B (zh) 图像处理方法及装置、终端及可读存储介质
JP2013501993A (ja) 表示用の画像を供給する方法及び装置
CN111598808A (zh) 图像处理方法、装置、设备及其训练方法
CN111325692B (zh) 画质增强方法、装置、电子设备和可读存储介质
CN112367459A (zh) 图像处理方法、电子装置及非易失性计算机可读存储介质
KR101028628B1 (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
CN110910330A (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111028170A (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
Dutta Depth-aware blending of smoothed images for bokeh effect generation
Chang et al. Beyond camera motion blur removing: How to handle outliers in deblurring
CN112215906A (zh) 图像处理方法、装置和电子设备
CN111932453A (zh) 高分辨率图像生成方法及集成该方法的高速相机
CN107392986B (zh) 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法
CN111105370A (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111083359B (zh) 图像处理方法及其装置、电子设备和计算机可读存储介质
Jing et al. Gradient guided image interpolation
CN110992284A (zh) 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
CN113240573B (zh) 局部和全局并行学习的高分辨率图像风格变换方法及***
CN110503603B (zh) 一种基于引导上采样获得光场重对焦图像的方法
Shen et al. Viewing-distance aware super-resolution for high-definition display
CN111080543A (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN111833259B (zh) 图像清晰度确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant