CN115423692A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115423692A
CN115423692A CN202110605245.7A CN202110605245A CN115423692A CN 115423692 A CN115423692 A CN 115423692A CN 202110605245 A CN202110605245 A CN 202110605245A CN 115423692 A CN115423692 A CN 115423692A
Authority
CN
China
Prior art keywords
image
sub
region
preset
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110605245.7A
Other languages
English (en)
Inventor
霍文甲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202110605245.7A priority Critical patent/CN115423692A/zh
Publication of CN115423692A publication Critical patent/CN115423692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本公开是关于图像处理方法、装置、电子设备及存储介质,其中方法包括:获取被摄对象的初始图像;确定所述初始图像中的预设子区域,其中,所述初始图像包括对所述初始图像划分得到的多个子区域,所述预设子区域为所述多个子区域中存在摩尔纹的子区域;在初始图像的同一拍摄方向上,采集多帧不同角度下被摄对象的参考图像;根据所述参考图像中的参考子区域,对所述初始图像中的预设子区域进行处理,得到目标图像;其中,参考子区域为参考图像中与预设子区域对应,且满足预设条件的子区域。使用本公开的方法,当存在摩尔纹时,可通过物理方式采集参考图像结合算法方式,进行融合得到改善摩尔纹的目标图像,改善或消除摩尔纹的方式更简洁方便。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理领域,尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着技术发展和生活水平的进步,人们对电子设备拍摄所得图像的质量要求越来越高。在拍摄过程中,如果被拍摄的物体有细密的纹理,或者当被拍摄物体与感光元件的空间频率接近而产生高频干扰,拍摄所得的图像将产生水波样的彩色条纹,即摩尔纹。摩尔纹没有明显的形状或规则,摩尔纹的存在严重的影响了图像质量。
相关技术中还缺少有效改善或去除摩尔纹的方法。
发明内容
为克服相关技术中存在的问题,本公开提供一种图像处理方法、装置、电子设备及存储介质。
根据本公开实施例的第一方面,提出了一种图像处理方法,方法包括:
获取被摄对象的初始图像;
确定所述初始图像中的预设子区域,其中,所述初始图像包括对所述初始图像划分得到的多个子区域,所述预设子区域为所述多个子区域中存在摩尔纹的子区域;
在所述初始图像的同一拍摄方向上,采集多帧不同角度下所述被摄对象的参考图像;
根据所述参考图像中参考子区域,对所述初始图像中的所述预设子区域进行处理,得到目标图像;其中,所述参考子区域为所述参考图像中与所述预设子区域对应、且满足预设条件的子区域。
在一些实施例中,所述获取被摄对象的初始图像,包括:
获取预设传感器采集的运动数据;
响应于所述运动数据在阈值范围内,确定电子设备处于静止状态;
在所述静止状态下,获取所述初始图像。
在一些实施例中,所述在所述初始图像的同一拍摄方向上,采集多帧不同角度下所述被摄对象的参考图像,包括:
控制电子设备的图像传感器,绕所述图像传感器的中心轴旋转目标角度范围;
在所述图像传感器旋转过程中,在所述初始图像的同一拍摄方向上,采集多帧不同角度下所述被摄对象的所述参考图像。
在一些实施例中,所述采集多帧不同角度下所述被摄对象的参考图像,包括:
每间隔设定角度,采集一帧参考图像;或者,每间隔设定时长,采集一帧参考图像。
在一些实施例中,所述采集多帧不同角度下所述被摄对象的参考图像,包括:
根据所述预设子区域在所述初始图像中的分布区域,确定所述目标角度范围;
在所述参考角度范围内,每间隔设定角度,采集一帧参考图像。
在一些实施例中,所述根据所述参考图像中的参考子区域,对所述初始图像中的所述预设子区域进行处理,得到目标图像,包括:
确定多帧所述参考图像中,存在所述参考子区域的至少一帧参考图像;
在存在所述参考子区域的所述参考图像中,分别确定每帧所述参考图像的参考子区域与所述初始图像的预设子区域的相似度;
确定所述相似度在参考范围内的参考图像为目标参考图像,以至少一帧所述目标参考图像的参考子区域对所述初始图像的预设子区域处理,得到目标图像。
在一些实施例中,所述以至少一帧目标参考图像的参考子区域对所述初始图像的预设子区域处理,得到目标图像,包括:
根据所述预设子区域的图像角度,在至少一帧所述目标参考图像中,获取配准后的所述参考子区域;
控制配准后的所述参考子区域替换所述初始图像中对应的所述预设子区域,合成目标图像。
根据本公开实施例的第二方面,提出了一种图像处理装置,装置包括:
获取模块,用于获取被摄对象的初始图像;
确定模块,用于确定所述初始图像中的预设子区域,其中,所述初始图像包括对所述初始图像划分得到的多个子区域,所述预设子区域为所述多个子区域中存在摩尔纹的子区域;
采集模块,用于在所述初始图像的同一拍摄方向上,采集多帧不同角度下所述被摄对象的参考图像;
处理模块,用于根据所述参考图像中参考子区域,对所述初始图像中的所述预设子区域进行处理,得到目标图像;其中,所述参考子区域为所述参考图像中与所述预设子区域对应,且满足预设条件的子区域。
在一些实施例中,所述获取模块还用于:
获取预设传感器采集的运动数据;
响应于所述运动数据在阈值范围内,确定电子设备处于静止状态;
在所述静止状态下,获取所述初始图像。
在一些实施例中,所述采集模块用于:
控制电子设备的图像传感器,绕所述图像传感器的中心轴旋转目标角度范围;
在所述图像传感器旋转过程中,在所述初始图像的同一拍摄方向上,采集多帧不同角度下所述被摄对象的所述参考图像。
在一些实施例中,所述采集模块还用于:
每间隔设定角度,采集一帧参考图像;或者,每间隔设定时长,采集一帧参考图像。
在一些实施例中,所述采集模块还用于:
根据所述预设子区域在所述初始图像中的分布区域,确定所述目标角度范围;
在所述目标角度范围内,每间隔设定角度,采集一帧参考图像。
在一些实施例中,所述处理模块还用于:
确定多帧所述参考图像中,存在所述参考子区域的至少一帧所述参考图像;
在存在所述参考子区域的所述参考图像中,分别确定每帧所述参考图像的参考子区域与所述初始图像的预设子区域的相似度;
确定所述相似度在参考范围内的参考图像为目标参考图像,以至少一帧所述目标参考图像的参考子区域对所述初始图像的预设子区域处理,得到目标图像。
在一些实施例中,所述处理模块用于:
根据所述预设子区域的图像角度,在至少一帧所述目标参考图像中,获取配准后的所述参考子区域;
控制配准后的所述参考子区域替换所述初始图像中对应的所述预设子区域,合成目标图像。
根据本公开实施例的第三方面,提出了一种电子设备,包括:
处理器;
用于存储处理器的可执行指令的存储器;
其中,所述处理器被配置为执行如上任一项所述的图像处理方法。
根据本公开实施例的第四方面,提出了一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如上任一项所述的图像处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果:使用本公开的方法,当存在摩尔纹时,可通过物理方式在一个角度范围内,采集多帧参考图像。再结合算法方式,将参考图像中满足条件的参考子区域替换有摩尔纹的预设子区域,最终合成改善摩尔纹的目标图像,改善或消除摩尔纹的方式更简洁方便。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的方法的流程图。
图2是根据一示例性实施例示出的方法的流程图。
图3是根据一示例性实施例示出的方法的流程图。
图4是根据一示例性实施例示出的方法的流程图。
图5是根据一示例性实施例示出的方法的流程图。
图6是根据一示例性实施例示出的初始图像的示意图。
图7是根据一示例性实施例示出的参考图像的示意图。
图8是根据一示例实施例示出的初始图像的摩尔纹示意图。
图9是根据一示例性实施例示出的装置的框图。
图10是根据一示例性实施例示出的电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
随着技术发展和生活水平的进步,人们对电子设备拍摄所得图像的质量要求越来越高。在拍摄过程中,如果被拍摄的物体有细密的纹理,或者当被拍摄物体与感光元件的空间频率接近而产生高频干扰,拍摄所得的图像将产生水波样的彩色条纹,即摩尔纹。摩尔纹没有明显的形状或规则,摩尔纹的存在严重的影响了图像质量。
为了消除摩尔纹,相关技术通常采用如下方法:第一,在镜头上安装低通滤镜,拍摄获得无摩尔纹的图像。第二,利用Photoshop等软件方法后期消除摩尔纹。相关技术的方法中,第一种方式会降低图像的锐度,使用局限性大,适用于相机而不能适用于常用的手机等设备。第二种方式中,操作较为繁琐复杂,对技术要求高。
相关技术中还缺少有效改善去除摩尔纹的方法。
本公开实施例中,提出了一种图像处理方法,方法包括:获取被摄对象的初始图像;确定初始图像中的预设子区域,其中,初始图像包括对初始图像划分得到的多个子区域,预设子区域为多个子区域中存在摩尔纹的子区域;在初始图像的同一拍摄方向上,采集多帧不同角度下被摄对象的参考图像;根据参考图像中的参考子区域,对初始图像中的预设子区域进行处理,得到目标图像;其中,参考子区域为所述参考图像中与预设子区域对应,且满足预设条件的子区域。使用本公开的方法,当存在摩尔纹时,可通过物理方式在一个角度范围内,采集多帧参考图像。再结合算法方式,将参考图像中满足条件的参考子区域替换有摩尔纹的预设子区域,最终合成改善摩尔纹的目标图像,改善或消除摩尔纹的方式更简洁方便。
在一个示例性的实施例中,本实施例的图像处理方法应用于电子设备。其中,电子设备比如为手机、平板电脑、笔记本电脑、智能穿戴设备、相机等设备。
如图1所示,本实施例的方法可以包括如下步骤:
S110、获取被摄对象的初始图像。
S120、确定初始图像中的预设子区域。
S130、在初始图像的同一拍摄方向上,采集多帧不同角度下被摄对象的参考图像。
S140、根据参考图像中的参考子区域,对初始图像中的预设子区域进行处理,得到目标图像。
其中,本公开实施例的方法应用于电子设备的相机应用程序中,因此在执行本实施例之前,电子设备应已打开相机,在相机的应用界面执行本方法。
在步骤S110中,结合用户的操作指令(如点击快门),采集被摄对象的初始图像。采集的初始图像在相机的应用界面供用户预览。
在步骤S120中,预设操作指令比如可以是:对应用界面内“去摩尔纹”选项的点击指令,或者“去摩尔纹”的语音指令。
本步骤中,初始图像中包括对所述初始图像划分得到的多个子区域,比如,包括均匀设置的多个子区域。子区域的划分方式可以有多种,比如依据用户的选择指令,或者依据程序的默认设置,将初始图像划分为m×n个子区域。在划分的过程中应减少计算或匹配的工作量,如图6或图8所示的示例,初始图像包括4×4个子区域。
本步骤中,确定初始图像中各个子区域是否存在摩尔纹,存在摩尔纹的子区域记为预设子区域。
在一个示例中,利用深度学习的神经网络算法确定初始图像中各子区域是否存在摩尔纹。比如,可以利用电子设备中AI芯片预存的训练好的网络模型,输入初始图像,输出初始图像中存在摩尔纹的区域信息。
在另一个示例中,对初始图像中每个子区域内边缘像素点的数量进行分别统计,并与对应子区域的边缘像素点阈值进行比较。当边缘像素点超过阈值,表明图像中存在不属于被摄对象边缘上的边缘像素点认为出现摩尔纹。
在步骤S130中,每帧参考图像与初始图像对应,比如每帧参考图像与初始图像的对拍摄对象的拍摄区域相同、拍摄距离相同、图像内容在误差范围内等,每帧参考图像中也包括均匀设置的多个子区域,且包含的子区域与初始图像包含的子区域是一一对应的。比如,在如图6或图8所示的示例中,初始图像包括4×4个子区域,则参照图7所示,每帧参考图像包括4×4个子区域,参考图像子区域的图像内容与初始图像对应子区域的图像内容应是相关的。
可以理解的,在采集被摄对象在目标角度范围内的参考图像过程中,被摄对象可以保持不动。在获取参考图像的过程中,可利用裁剪、融合等算法处理明显脱离被摄对象的图像,以使采集到的参考图像中,每帧参考图像与初始图像的图像内容在误差范围内。
在步骤S140中,参考子区域为参考图像中满足预设条件的子区域,与预设子区域对应,如参考子区域的图像内容与预设子区域的图像内容是对应的。预设条件用于表征:对应子区域不含摩尔纹或者摩尔纹不明显,如摩尔效应低于阈值,或者摩尔效应低于初始图像的摩尔效应。即本步骤中,将与预设子区域(初始图像中存在摩尔纹的子区域)对应的、满足预设条件的参考图像中的子区域记为参考子区域。
本步骤中,初始图像中可能有一个或多个预设子区域中含摩尔纹。而在步骤S130中获取的多帧参考图像中,可能在一帧或多帧参考图像中均有参考子区域。处理器可控制任一帧参考图像中的参考子区域一一对应替换预设子区域,合成不含摩尔纹或摩尔纹不明显的目标图像。或者,控制在多帧参考图像中选取不同的参考子区域,一一对应替换预设子区域,合成不含摩尔纹或摩尔纹不明显的目标图像。
在一个示例性的实施例中,如图2所示,本实施例的步骤S110包括如下步骤:
S1101、获取预设传感器采集的运动数据。
S1102、响应于运动数据在阈值范围内,确定电子设备处于静止状态。
S1103、在静止状态下,获取初始图像。
其中,在步骤S1101中,预设传感器比如为加速度传感器、陀螺仪(gyro)等。以预设传感器为陀螺仪为例,运动数据比如为电子设备的平均角加速度数据。电子设备在X方向、Y方向和Z方向都存在角加速度,根据三个方向的角加速度,计算平均数据作为运动数据。
在步骤S1102中,阈值范围可以是预先存储于电子设备中的,用于表征电子设备处于静止状态时的参考数据。处理器将获取的运动数据与阈值范围进行比较,当运动数据处于阈值范围内,处理器确定电子设备处于静止状态。
在步骤S1103中,静止状态可以指电子设备的脚架模式,即电子设备未移动、处于稳定状态或静止状态。在静止状态下,电子设备与被摄对象能够始终保持对立的角度相同,比如保持电子设备始终与被摄对象的A面相对。从而,在步骤S130采集多帧参考图像过程中,采集的为被摄对象A面的不同角度的多帧图像。进而,减少摄物体B面的结构被采集,减少参考图像中的干扰因素,减小图像处理难度和耗时。
本步骤中,电子设备的处理器可结合传感器检测的运动数据,判断电子设备是否处于静止状态。若是,在获取初始图像后,继续执行本实施例的步骤S120;若否,则执行正常拍摄,在获取初始图像后可结束本次拍照(无需消除摩尔纹)。可以理解的,本实施例去除摩尔纹的拍摄方式较正常拍摄方式耗时。
在一个示例性的实施例中,如图3所示,本实施例中步骤S130可以包括如下步骤:
S1301、控制电子设备的图像传感器,绕图像传感器的中心轴旋转目标角度范围。
S1302、在图像传感器旋转过程中,在初始图像的同一拍摄方向上,采集多帧不同角度下被摄对象的参考图像。
其中,在步骤S1301中,电子设备的摄像组件比如包括:透镜组、彩色滤光片和图像传感器等。在摄像组件这一成像***中,透镜组可视为物侧,图像传感器可视为像侧或成像面。图像传感器比如为CMOS(互补金属氧化物半导体)传感器。
图像传感器的中心轴比如指:穿过图像传感器的型心的轴线,与摄像组件光轴平行或重合。目标角度范围比如为0°-180°或0°-360°。处理器控制驱动组件驱动图像传感器绕中心轴旋转,图像传感器旋转目标角度范围的时间可以根据需求设置。
在步骤S1302中,在图像传感器旋转过程中,处理器可在不同角度或时刻发布采集参考图像的控制指令,控制摄像组件采集多帧不同角度的参考图像。
在一个示例中,每间隔设定角度,采集一帧参考图像。
本示例中,在旋转过程中,以设定角度为间隔,在总角度范围内获取多帧参考图像。比如,图像传感器每旋转30°时,获取一帧参考图像,则在转动180°后,可获取六帧参考图像;在转动360°后,可获取十二帧参考图像。
在另一个示例中,每间隔设定时长,采集一帧参考图像。
本示例中,在旋转过程中,以设定时长为间隔,在旋转的过程中过去多帧参考图像。比如,图像传感器从旋转的初始时刻起,每间隔1s,获取一帧参考图像,直至获取预设数量帧的参考图像。预设数量比如为10个。
在另一个示例中,还可以是包括如下步骤:
S1302-1、根据预设子区域在初始图像中的分布区域,确定目标角度范围。
本步骤中,比如当初始图像是人体图像,预设子区域(存在摩尔纹的区域)为人脸部分。则本步骤可在目标角度范围内,进一步缩小旋转的范围,确定人脸部分图像拍摄效果最佳的目标角度范围。
或者,确定初始图像中预设子区域(存在摩尔纹的区域)的分布区域,并确定预设子区域内,摩尔纹的边缘线相对于参考方向的角度信息,确定目标角度范围。
S1302-2、在目标角度范围内,每间隔设定角度,采集一帧参考图像。本步骤中,图像传感器的旋转范围变为参考角度范围,间隔的角度比如可以设置为1°。旋转的范围减小,利于提升采集参考图像的效率。
在一个示例性的实施例中,如图4所示,本实施例中步骤S140可以包括如下步骤:
S1401、确定多帧参考图像中,存在参考子区域的至少一帧参考图像。
S1402、在存在参考子区域的参考图像中,分别确定每帧参考图像的参考子区域与初始图像的预设子区域的相似度。
S1403、确定相似度在参考范围内的参考图像为目标参考图像,以至少一帧目标参考图像的参考子区域对初始图像的预设子区域处理,得到目标图像。
其中,在步骤S1401中,结合前述实施例,每帧参考图像中的子区域与初始图像中的子区域都是一一对应的。在采集的多帧参考图像中,分别确定每帧参考图像中与预设子区域对应的子区域是否满足预设条件。与预设子区域对应的且满足预设条件的子区域为参考子区域。也就是说,本步骤中判断各参考图像中是否存在参考子区域。
比如,结合图6或图8所示的示例,初始图像中的4×4个子区域中,预设子区域为P5至P8。则在多帧参考图像中,判断每一帧参考图像的P5’至P8’子区域是否满足预设条件,每一帧参考图像的P5’至P8’子区域中,存在至少一个子区域满足预设条件,则该参考图像中存在至少一个参考子区域。
在步骤S1402中,与预设子区域对应的且满足预设条件的子区域即为参考子区域,与参考子区域对应的参考图像即:存在该参考子区域的参考图像。
比如,依旧参照图6所示的示例中,预设子区域有多个,则对于每一帧参考图像中,存在至少一个参考子区域即可。例如,第一帧参考图像中P5’至P7’子区域满足预设条件,即包含P5’至P7’这三个参考子区域。第二帧参考图像中P8’子区域满足预设条件,即包含P8’这一个参考子区域。第三帧参考图像中,如图7所示,P5’至P8’子区域均满足预设条件,即包含P5’至P8’这四个参考子区域。第一帧参考图像、第二帧参考图像和第三帧参考图像都存在参考子区域,保留待用。
本步骤中,用于剔除不含参考子区域的参考图像。
对于存在参考子区域的参考图像,则将每个参考图像分别与初始图像匹配。匹配的过程可以是:识别比对参考图像的参考子区域与初始图像的预设子区域的相似度。
在步骤S1403中,目标参考图像为:上述匹配过程中,匹配的图像相似度在参考范围内的参考图像。当目标参考图像与初始图像的相似度在参考范围内,表明:旋转CMOS后获得的参考图像各子区域视场中的被摄对象图像,与初始图像中各子区域视场中的被摄对象图像存在一致性。旋转后获得的目标参考图像是该被摄对象其他角度的视图。
以目标参考图像的参考子区域对初始图像的预设子区域进行修复处理,得到不含摩尔纹的目标图像。
而当参考图像与初始图像的相似度在参考范围外,则表明:参考图像中的部分各子区域视场中的图像,与初始图像中各子区域视场中的图像不一致。比如,初始图像中P16子区域为被摄对象的边缘,而参考图像中P16’子区域为背景图像。
本步骤中,保留目标参考图像,剔除匹配不成功的参考图像。
本实施例中,如图5所示,步骤S1403可以包括如下步骤:
S1403-1、根据预设子区域的图像角度,在至少一帧目标参考图像中,获取配准后的参考子区域。
S1403-2、控制配准后的参考子区域替换初始图像中对应的预设子区域,合成目标图像。
其中,在步骤S1403-1中,获取参考子区域的方式比如可以裁切参考图像获得。
在第一个示例中,当预设子区域为一个,在任一帧目标参考图像中,获取一个参考子区域,并根据预设子区域中的图像角度对参考子区域和预设子区域进行图像配准。比如,根据预设子区域中的图像角度,将获取的参考子区域翻转适宜的角度。
在第二个示例中,当预设子区域为多个,比如可以参照下述两种方式获取:
第一方式:在第一目标参考图像中,确定多个配准后的参考子区域。
本方式中,在目标参考图像中也存在一第一目标参考图像,包含与多个预设子区域一一对应的多个参考子区域,比如结合图6或图8所示,初始图像中P5至P8子区域均为预设子区域,如图7所示,设定参考图像中P5’至P8’子区域均为参考子区域。则裁切第一目标参考图像,获取多个参考子区域。配准的方式可参见上述第一个示例。
第二方式:分别在多帧目标参考图像中,确定每帧目标参考图像中的参考子区域,获得多个配准后的参考子区域。
本方式中,在目标参考图像中,不存在包含参考子区域的数量与预设子区域数量完全一致的单独帧参考图像,则可以采用裁切多个目标参考图像中参考子区域、并拼接的方式。配准的方式可参见上述第一个示例。
可以理解的,多个参考子区域与与多个预设子区域一一对应。对于本示例的第二方式,当存在同一预设子区域对应有不同目标参考图像中的一个参考子区域时,仅选取不同目标参考图像中的一个进行裁切获取对应的参考子区域,不需重复获取同一参考子区域。
本公开实施例中的图像处理方法,通过物理采集多帧参考图像,以及在参考图像中进行匹配校准,实现最终合成图像去除摩尔纹的效果,保证图像不失真。相较于后期软件方式处理摩尔纹,效率更高,利于提升用户体验。
在一个示例性的实施例中,本公开实施例还提出了一种图像处理装置,如图9所示,本实施例的装置包括:获取模块110、确定模块120、采集模块130和处理模块140。本实施例的装置用于实现如图1所示的方法。其中,获取模块110用于获取被摄对象的初始图像。确定模块120用于确定初始图像中的预设子区域,其中,初始图像包括对初始图像划分得到的多个子区域,预设子区域为多个子区域中存在摩尔纹的子区域。采集模块130用于在初始图像的同一拍摄方向上,采集多帧不同角度下被摄对象的参考图像。处理模块140用于根据参考图像中参考子区域,对初始图像中的预设子区域进行处理,得到目标图像;其中,参考子区域为参考图像中与预设子区域对应,且满足预设条件的子区域。
在一个示例性的实施例中,依旧参照图9,本实施例的装置用于实现如图2所示的方法。其中,获取模块110还用于:获取预设传感器采集的运动数据;响应于运动数据在阈值范围内,确定电子设备处于静止状态。在所述静止状态下,获取初始图像。
在一个示例性的实施例中,依旧参照图9,本实施例的装置用于实现如图3所示的方法。其中,采集模块130用于:控制电子设备的图像传感器,绕图像传感器的中心轴旋转目标角度范围;在图像传感器旋转过程中,在初始图像的同一拍摄方向上,采集多帧不同角度下被摄对象的参考图像。本实施例中,采集模块130还用于每间隔设定角度,采集一帧参考图像;或者,每间隔设定时长,采集一帧参考图像。或者,根据预设子区域在初始图像中的分布位置,确定目标角度范围;在目标角度范围内,每间隔设定角度,采集一帧参考图像。
在一个示例性的实施例中,依旧参照图9,本实施例的装置用于实现如图4所示的方法。其中,处理模块140还用于:确定多帧参考图像中,存在参考子区域的至少一帧参考图像;在存在参考子区域的所述参考图像中,分别确定每帧参考图像的参考子区域与初始图像的预设子区域的相似度;确定相似度在参考范围内的参考图像为目标参考图像,以至少一帧目标参考图像的参考子区域对初始图像的预设子区域处理,得到目标图像。
在一个示例性的实施例中,依旧参照图9,本实施例的装置用于实现如图5所示的方法。其中,处理模块140用于:根据预设子区域的图像角度,在至少一帧目标参考图像中,获取配准后的参考子区域;控制配准后的参考子区域替换初始图像中对应的预设子区域,合成目标图像。
如图10所示是一种电子设备的框图。本公开还提供了一种电子设备,例如,设备500可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
设备500可以包括以下一个或多个组件:处理组件502,存储器504,电力组件506,多媒体组件508,音频组件510,输入/输出(I/O)的接口512,传感器组件514,以及通信组件516。
处理组件502通常控制设备500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件502可以包括一个或多个模块,便于处理组件502和其他组件之间的交互。例如,处理组件502可以包括多媒体模块,以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在设备500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件506为设备500的各种组件提供电力。电力组件506可以包括电源管理***,一个或多个电源,及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在设备500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件508包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如,音频组件510包括一个麦克风(MIC),当设备500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中,音频组件510还包括一个扬声器,用于输出音频信号。
I/O接口512为处理组件502和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器,用于为设备500提供各个方面的状态评估。例如,传感器组件514可以检测到设备500的打开/关闭状态,组件的相对定位,例如组件为设备500的显示器和小键盘,传感器组件514还可以检测设备500或设备500一个组件的位置改变,用户与设备500接触的存在或不存在,设备500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件514还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件516被配置为便于设备500和其他设备之间有线或无线方式的通信。设备500可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件516经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,通信组件516还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,设备500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的方法。
本公开另一个示例性实施例中提供的一种非临时性计算机可读存储介质,例如包括指令的存储器504,上述指令可由设备500的处理器520执行以完成上述方法。例如,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (16)

1.一种图像处理方法,其特征在于,方法包括:
获取被摄对象的初始图像;
确定所述初始图像中的预设子区域,其中,所述初始图像包括对所述初始图像划分得到的多个子区域,所述预设子区域为所述多个子区域中存在摩尔纹的子区域;
在所述初始图像的同一拍摄方向上,采集多帧不同角度下所述被摄对象的参考图像;
根据所述参考图像中的参考子区域,对所述初始图像中的所述预设子区域进行处理,得到目标图像;其中,所述参考子区域为所述参考图像中与所述预设子区域相对应,且满足预设条件的子区域。
2.根据权利要求1所述图像处理方法,其特征在于,所述获取被摄对象的初始图像,包括:
获取预设传感器采集的运动数据;
响应于所述运动数据在阈值范围内,确定电子设备处于静止状态;
在所述静止状态下,获取所述初始图像。
3.根据权利要求1所述的图像处理方法,其特征在于,所述在所述初始图像的同一拍摄方向上,采集多帧不同角度下所述被摄对象的参考图像,包括:
控制电子设备的图像传感器,绕所述图像传感器的中心轴旋转目标角度范围;
在所述图像传感器旋转过程中,在所述初始图像的同一拍摄方向上,采集多帧不同角度下所述被摄对象的所述参考图像。
4.根据权利要求3所述的图像处理方法,其特征在于,所述采集多帧不同角度下所述被摄对象的参考图像,包括:
每间隔设定角度,采集一帧参考图像;或者,每间隔设定时长,采集一帧参考图像。
5.根据权利要求3所述的图像处理方法,其特征在于,所述采集多帧不同角度下所述被摄对象的参考图像,包括:
根据所述预设子区域在所述初始图像中的分布区域,确定所述目标角度范围;
在所述目标角度范围内,每间隔设定角度,采集一帧参考图像。
6.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述参考图像中的参考子区域,对所述初始图像中的所述预设子区域进行处理,得到目标图像,包括:
确定多帧所述参考图像中,存在所述参考子区域的至少一帧参考图像;
在存在所述参考子区域的所述参考图像中,分别确定每帧所述参考图像的参考子区域与所述初始图像的预设子区域的相似度;
确定所述相似度在参考范围内的参考图像为目标参考图像,以至少一帧所述目标参考图像的参考子区域对所述初始图像的预设子区域处理,得到目标图像。
7.根据权利要求6所述的图像处理方法,其特征在于,所述以至少一帧目标参考图像的参考子区域对所述初始图像的预设子区域处理,得到目标图像,包括:
根据所述预设子区域的图像角度,在至少一帧所述目标参考图像中,获取配准后的所述参考子区域;
控制配准后的所述参考子区域替换所述初始图像中对应的所述预设子区域,合成目标图像。
8.一种图像处理装置,其特征在于,装置包括:
获取模块,用于获取被摄对象的初始图像;
确定模块,用于确定所述初始图像中的预设子区域,其中,所述初始图像包括对所述初始图像划分得到的多个子区域,所述预设子区域为所述多个子区域中存在摩尔纹的子区域;
采集模块,用于在所述初始图像的同一拍摄方向上,采集多帧不同角度下所述被摄对象的参考图像;
处理模块,用于根据所述参考图像中参考子区域,对所述初始图像中的所述预设子区域进行处理,得到目标图像;其中,所述参考子区域为所述参考图像中与所述预设子区域对应,且满足预设条件的子区域。
9.根据权利要求8所述图像处理装置,其特征在于,所述获取模块还用于:
获取预设传感器采集的运动数据;
响应于所述运动数据在阈值范围内,确定电子设备处于静止状态;
在所述静止状态下,获取所述初始图像。
10.根据权利要求8所述的图像处理装置,其特征在于,所述采集模块用于:
控制电子设备的图像传感器,绕所述图像传感器的中心轴旋转目标角度范围;
在所述图像传感器旋转过程中,在所述初始图像的同一拍摄方向上,采集多帧不同角度下所述被摄对象的所述参考图像。
11.根据权利要求10所述的图像处理装置,其特征在于,所述采集模块还用于:
每间隔设定角度,采集一帧参考图像;或者,每间隔设定时长,采集一帧参考图像。
12.根据权利要求10所述的图像处理装置,其特征在于,所述采集模块还用于:
根据所述预设子区域在所述初始图像中的分布区域,确定所述目标角度范围;
在所述目标角度范围内,每间隔设定角度,采集一帧参考图像。
13.根据权利要求8所述的图像处理装置,其特征在于,所述处理模块还用于:
确定多帧所述参考图像中,存在所述参考子区域的至少一帧所述参考图像;
在存在所述参考子区域的所述参考图像中,分别确定每帧所述参考图像的参考子区域与所述初始图像的预设子区域的相似度;
确定所述相似度在参考范围内的参考图像为目标参考图像,以至少一帧所述目标参考图像的参考子区域对所述初始图像的预设子区域处理,得到目标图像。
14.根据权利要求13所述的图像处理装置,其特征在于,所述处理模块还用于:
根据所述预设子区域的图像角度,在至少一帧所述目标参考图像中,获取配准后的所述参考子区域;
控制配准后的所述参考子区域替换所述初始图像中对应的所述预设子区域,合成目标图像。
15.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器的可执行指令的存储器;
其中,所述处理器被配置为执行如权利要求1至7任一项所述的图像处理方法。
16.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至7任一项所述的图像处理方法。
CN202110605245.7A 2021-05-31 2021-05-31 图像处理方法、装置、电子设备及存储介质 Pending CN115423692A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110605245.7A CN115423692A (zh) 2021-05-31 2021-05-31 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110605245.7A CN115423692A (zh) 2021-05-31 2021-05-31 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115423692A true CN115423692A (zh) 2022-12-02

Family

ID=84230412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110605245.7A Pending CN115423692A (zh) 2021-05-31 2021-05-31 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115423692A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291857A (zh) * 2023-11-27 2023-12-26 武汉精立电子技术有限公司 图像处理方法、摩尔纹消除方法、设备及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291857A (zh) * 2023-11-27 2023-12-26 武汉精立电子技术有限公司 图像处理方法、摩尔纹消除方法、设备及装置
CN117291857B (zh) * 2023-11-27 2024-03-22 武汉精立电子技术有限公司 图像处理方法、摩尔纹消除方法、设备及装置

Similar Documents

Publication Publication Date Title
EP3010226B1 (en) Method and apparatus for obtaining photograph
US11368632B2 (en) Method and apparatus for processing video, and storage medium
CN108154465B (zh) 图像处理方法及装置
CN106484257A (zh) 拍照控制方法、装置和电子设备
CN105282441B (zh) 拍照方法及装置
CN108154466B (zh) 图像处理方法及装置
KR20220033402A (ko) 촬영 방법, 촬영 장치, 전자기기 및 저장매체
CN105959594A (zh) 摄影设备的测光方法及装置
CN108010009B (zh) 一种去除干扰图像的方法及装置
CN111741187B (zh) 图像处理方法、装置及存储介质
CN115423692A (zh) 图像处理方法、装置、电子设备及存储介质
CN106469446B (zh) 深度图像的分割方法和分割装置
US11252341B2 (en) Method and device for shooting image, and storage medium
CN114422687B (zh) 预览图像切换方法及装置、电子设备及存储介质
CN113315903B (zh) 图像获取方法和装置、电子设备、存储介质
CN111835977B (zh) 图像传感器、图像生成方法及装置、电子设备、存储介质
CN114697517A (zh) 视频处理方法、装置、终端设备及存储介质
CN114390189A (zh) 图像处理方法、装置、存储介质及移动终端
CN114757866A (zh) 清晰度检测方法、装置及计算机存储介质
CN109447929B (zh) 图像合成方法及装置
CN113329220B (zh) 图像展示的处理方法、装置以及存储介质
WO2023225910A1 (zh) 视频显示方法及装置、终端设备及计算机存储介质
CN114782623A (zh) 一种物体建模方法、装置、电子设备及存储介质
CN117408868A (zh) 图像处理方法及装置、电子设备、存储介质
CN115883954A (zh) 拍摄的调整方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination