CN115272088A - 图像处理方法、图像处理器、电子设备及存储介质 - Google Patents
图像处理方法、图像处理器、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115272088A CN115272088A CN202110476533.7A CN202110476533A CN115272088A CN 115272088 A CN115272088 A CN 115272088A CN 202110476533 A CN202110476533 A CN 202110476533A CN 115272088 A CN115272088 A CN 115272088A
- Authority
- CN
- China
- Prior art keywords
- image
- scene image
- scene
- current
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 180
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 12
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 230000000875 corresponding effect Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013209 evaluation strategy Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像处理方法、图像处理器、电子设备及存储介质,其中,通过获取电子设备的拍摄场景的当前场景图像和历史场景图像,并获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量,进一步根据获取到的相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像,最后对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像。以此,相较于传统的降噪方式,本申请并不需要去分析图像中的噪点规律进行降噪处理,而是直接利用历史产生的历史图像来对当前图像进行合成降噪处理,不仅能够实现降噪,更能够弥补传统降噪方式所带来的图像损失,使得降噪后的图像更加清晰。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像处理方法、图像处理器、电子设备及存储介质。
背景技术
如手机、平板电脑等电子设备通常配置有摄像头,从而为用户提供拍照功能,使得用户能够通过这些电子设备随时随地的记录身边发生的事情,看到的景物等。然而,由于电子设备自身硬件的原因,电子设备所拍摄的图像中通常会存在噪点,这些噪点的存在将影响图像的质量。因此,有必要对电子设备拍摄的图像进行降噪处理。
发明内容
本申请实施例提供一种图像处理方法、图像处理器、电子设备及存储介质,能够对电子设备拍摄的图像进行降噪处理,使得图像更加清晰。
本申请公开一种图像处理方法,包括:
获取电子设备的拍摄场景的当前场景图像和历史场景图像;
获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量;
根据相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像;
对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像。
本申请还公开一种图像处理器,包括:
数据接口单元,用于获取电子设备的拍摄场景的当前场景图像和历史场景图像;
数据处理单元,用于获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量;以及
将当前场景图像、历史场景图像以及相对运动矢量传输至应用处理器,使得应用处理器根据相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像,并对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像。
本申请还公开一种电子设备,包括:
摄像头,用于采集拍摄场景的场景图像;
图像处理器,用于获取摄像头采集的拍摄场景的当前场景图像和历史场景图像;以及获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量;以及
应用处理器,用于根据相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像;以及对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像。
本申请还公开一种电子设备,包括处理器和存储器,存储器存储有计算机程序,处理器通过加载计算机程序执行如本申请提供的图像处理方法。
相较于传统的降噪方式,本申请并不需要去分析图像中的噪点规律进行降噪处理,而是直接利用历史产生的历史图像来对当前图像进行合成降噪处理,不仅能够实现降噪,更能够弥补传统降噪方式所带来的图像损失,使得降噪后的图像更加清晰。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的图像处理方法的一流程示意图。
图2为本申请实施例中对当前场景图像和对齐场景图像进行合成降噪处理得到降噪场景图像的示意图。
图3为本申请实施例中根据降噪对象区域生成对齐场景图像的示例图。
图4为本申请实施例提供的图像处理方法的另一流程示意图。
图5为本申请实施例中提供的图像处理器的结构示意图。
图6为本申请实施例提供的电子设备的一结构示意图。
图7为本申请实施例提供的电子设备的应用场景示意图。
图8为本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图1,图1为本申请实施例提供的图像处理方法的一流程示意图,如图1所示,该图像处理方法的流程可以包括:
在110中,获取电子设备的拍摄场景的当前场景图像和历史场景图像。
应当说明的是,本申请所提供的图像处理方法可以配置在具备摄像头的电子设备中,用于对摄像头拍摄的图像进行降噪处理。降噪处理可以通俗的理解为消除图像中存在的噪点,从而提升图像的质量。噪点也称为噪声或噪音等,主要是指电子设备将光线作为接收信号接收并输出的过程中所产生的图像中的粗糙部分,也指图像中不该出现的外来像素,通常由电子干扰产生。存在噪点的图像看起来就像清晰的图像被弄脏了,而布满一些细小的糙点。
其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑等具备摄像头的移动式电子设备,也可以是台式电脑、电视等具备摄像头的固定式电子设备,本申请对此不作具体限制。
本申请实施例对电子设备所配置的摄像头的类型以及数量不做具体限定,可由本领域普通技术人员根据实际需要进行配置,比如,以拍摄帧率作为摄像头类型的划分标准,电子设备配置的摄像头可以为低帧率摄像头(拍摄帧率通常在100帧/秒以内,比如30帧/秒、60帧/秒等),也可以为高帧率摄像头(拍摄帧率通常在100帧/秒以上,比如120帧/秒);又比如,以焦距作为摄像头类型的划分标准,电子设备配置的摄像头可以为标准摄像头(焦距在40mm至60mm之间),也可以为广角摄像头(焦距在40mm以下),还可以为长焦摄像头(焦距在60mm以上)等。
电子设备的拍摄场景可以理解为电子设备所配置的摄像头在使能后所对准的区域,即摄像头能够将光信号转换为对应图像数据的区域。比如,电子设备在根据用户操作使能摄像头之后,若用户控制电子设备的摄像头对准一包括某对象的区域,则包括该对象的区域即为摄像头的拍摄场景。
本申请实施例中,首先获取电子设备的拍摄场景的当前场景图像和历史场景图像,用于后续降噪处理。其中,当前场景图像可以理解为摄像头在当前时刻对拍摄场景进行拍摄所得到的图像,历史场景图像可以为摄像头在当前时刻之前所拍摄得到的拍摄场景的图像。
示例性地,电子设备提供有缓存空间(比如,在内存中划分出一部分内存空间作为缓存空间),该缓存空间用于缓存摄像头所拍摄的图像。另外,相应的,在获取电子设备的拍摄场景的当前场景图像和历史场景图像时,可以从摄像头直接获取其拍摄的拍摄场景的当前场景图像,以及从缓存空间中获取缓存的拍摄场景的历史场景图像。此外,前述当前场景图像还被缓存至缓存空间。
应当说明的是,本申请实施例对于获取的历史场景图像的数量不做具体限制,比如可以获取一个历史场景图像,也可以获取多个历史场景图像,在获取多个历史场景图像时,可以按照固定的数量获取历史场景图像,也可以动态地确定需要获取历史场景图像的数量。
在120中,获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量。
可以理解的是,对于一拍摄场景而言,其中可能存在各种各样的对象,比如人物、动物、植物以及建筑物等,这些对象将被成像至的摄像头所拍摄得到图像中。
相应的,在获取到拍摄场景的当前场景图像和历史场景图像之后,通过对获取到的当前场景图像和/或历史场景图像进行对象识别,即可确定出拍摄场景中的对象,相应确定出对象区域。比如,对于拍摄场景中的一对象,将该对象的最小外接矩形区域确定为该对象的对象区域。
应当说明的是,由于拍摄场景中存在各种各样的对象,相应将确定出至少一个对象区域。在获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量时,可以获取拍摄场景中的全部或部分对象区域在当前场景图像和历史场景图像中的相对运动矢量。
比如,在获取一对象区域的相对运动矢量时,根据该对象区域在当前场景图像以及历史场景图像中的位置和/或大小差异,分析计算得到该对象区域的相对运动矢量,该相对运动矢量用于描述该对象区域中对象以当前场景图像和历史场景图像为参照的运动方向和运动速度。
在130中,根据相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像。
可以理解的是,对于一对象区域,该对象区域在当前场景图像中的图像内容是已知的,同时该对象区域在历史场景图像中的图像内容也是已知的,并且,该对象区域在当前场景图像和历史场景图像中的相对运动矢量也是已知的。因此,根据获取到的相对运动矢量和历史场景图像,即可生成与当前场景图像对齐的图像,记为对齐场景图像。应当说明的是,生成的对齐场景图像的数量与获取的历史场景图像的数量相同。比如,假设获取了当前场景图像的5个不同时刻的历史场景图像,根据这5个历史场景图像及其各自对应的相对运动矢量,将相应生成5个对齐场景图像。
在140中,对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像。
如上,在生成与当前场景图像对齐的对齐场景图像之后,本申请实施例进一步按照配置的多帧降噪策略,对当前场景图像和生成的对齐场景图像进行合成降噪处理,从而得到当前场景图像的降噪场景图像。
比如,请参照图2,假设生成了一个对齐场景图像,如图2所示,无论是当前场景图像还是对齐场景图像,其中均存在一些噪点,而经过合成降噪处理所得到的降噪场景图像则不存在噪点。
应当说明的是,本申请实施例对于多帧降噪策略的配置不做具体限制,可由本领域技术人员根据实际需要进行配置。
示例性地,可以配置多帧降噪策略为:
针对一像素位置的像素点,直接计算该像素点在当前场景图像中的第一像素值和该像素点在历史场景图像中的第二像素值的平均像素值,从而根据所有像素点的平均像素值生成降噪场景图像。
或者,还可以配置多帧降噪策略为:
针对一像素位置的像素点,计算该像素点在当前场景图像中的第一像素值和该像素点在历史场景图像中的第二像素值的平均像素值;进一步根据第一像素值和第二像素值各自与平均像素值的差值,为第一像素值和第二像素值分配权重进行加权平均,得到第一像素值和第二像素值的加权平均值;以此,根据所有像素点的加权平均值生成降噪场景图像。
由上可知,本申请实施例通过获取电子设备的拍摄场景的当前场景图像和历史场景图像,并获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量,进一步根据获取到的相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像,最后对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像。以此,相较于传统的降噪方式,本申请实施例并不需要去分析图像中的噪点规律进行降噪处理,而是直接利用历史产生的历史图像来对当前图像进行合成降噪处理,不仅能够实现降噪,更能够弥补传统降噪方式所带来的图像损失,使得降噪后的图像更加清晰。
可选地,在一实施例中,获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量,包括:
(1)从拍摄场景的对象区域中确定出需要进行降噪处理的降噪对象区域;
(2)获取降噪对象区域在当前场景图像和历史场景图像中的区域相对运动矢量。
可以理解的是,当用户面对拍摄场景时,通常无法关注到其中所有的对象,而是仅关注于其中感兴趣的对象。比如,当用户进行人像拍摄时,通常关注于拍摄场景中的人物。因此,本申请实施例中,仅基于拍摄场景中的部分对象区域来实现对当前场景图像的降噪处理。
其中,在获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动时,首先按照配置的对象确定策略从拍摄场景的对象区域中确定出需要进行降噪处理的对象区域,记为降噪对象区域,然后仅获取确定出的降噪对象区域在当前场景图像和历史场景图像中的相对运动矢量,记为区域相对运动矢量。
应当说明的是,本申请实施例中对于对象确定策略的配置不做具体限制,可由本领域技术人员根据实际需要进行配置,比如,配置对象确定策略为:将多个对象区域中用户感兴趣的对象区域确定为需要进行降噪处理的目标对象区域。其中,对于如何识别用户感兴趣的对象区域不做具体限制,可由本领域技术人员根据实际需要配置合适的识别方式。
可选地,在一实施例中,从拍摄场景的对象区域中确定出需要进行降噪处理的降噪对象区域,包括:
(1)获取用户对拍摄场景中每一对象区域的感兴趣程度;
(2)根据每一对象区域的感兴趣程度,从拍摄场景的对象区域中确定出降噪对象区域。
本申请实施例中,从拍摄场景的对象区域中确定出需要进行降噪处理的降噪对象区域时,按照配置的感兴趣程度评估策略,对用户对电子设备的拍摄场景中每一对象区域的感兴趣程度进行评估,从而获取得到用户对电子设备的拍摄场景中每一对象区域的感兴趣程度。此处对感兴趣程度评估策略的配置不作具体限制,可由本领域技术人员根据实际需要进行配置。
如上,在获取到用户对电子设备的拍摄场景中每一各对象区域的感兴趣程度之后,进一步根据每一对象区域的感兴趣程度,从电子设备的拍摄场景的对象区域中确定出需要进行降噪处理的降噪对象区域。
示例性地,将拍摄场景的对象区域中感兴趣程度最高的对象区域确定为降噪对象区域,或者将拍摄场景的对象区域中感兴趣程度达到程度阈值的对象区域确定为降噪对象区域。其中,本申请实施例对于程度阈值的取值不作具体限制,可由本领域技术人员根据实际需要取值。
可选地,在一实施例中,获取用户对拍摄场景中各对象区域的感兴趣程度,包括:
(1)获取对应当前场景图像的对焦距离,以及获取各对象区域的深度距离;
(2)根据各对象区域的深度距离与对焦距离的差值,获取用户对各对象区域的感兴趣程度。
本申请实施例提供一可选地感兴趣程度评估策略。
应当说明的是,用户在操作电子设备进行拍摄时,通常操作电子设备对拍摄场景中感兴趣的对象进行对焦,因此,可以根据对焦情况来进行感兴趣程度的评估。
其中,首先获取对应当前场景图像的对焦距离,以及获取拍摄场景中各对象区域的深度距离。此处对于如何获取各对象区域的深度距离不作具体限制,可由本领域技术人员根据实际需要配置深度距离的获取方式。
示例性地,当电子设备配置有两个并列设置的摄像头时,可从其中一摄像头获取当前场景图像,并从另一摄像头获取其同步拍摄的另一场景图像。由于两个摄像头并列设置,将导致当前场景图像和另一场景图像存在视差。相应的,可采用三角视差算法,根据当前场景图像以及前述另一场景图像,计算得到各对象区域的深度距离。
如上,在获取得到对应当前场景图像的对焦距离,以及获取到拍摄场景中各对象区域的深度距离之后,进一步根据各对象区域的深度距离与对焦距离的差值,获取用户对各对象区域的感兴趣程度。
示例性地,本申请实施例中,配置感兴趣程度与对象区域的深度距离与对焦距离的差值负相关,即,对于一对象区域,其深度距离与对焦距离的差值越大,说明用户对其感兴趣程度越低。
比如,可以划分3个感兴趣程度的等级,分别为低、中和高,相应划分三个深度距离与对焦距离的差值区间,分别为差值区间A、差值区间B以及差值区间C,将差值区间A与感兴趣程度“低”关联,将差值区间B与感兴趣程度“中”关联,以及将差值区间C与感兴趣程度“高”关联。数据处理单元120在进行感兴趣程度的评估时,对于一对象区域,若该对象区域的深度距离与对焦距离位于差值区间A,则确定其感兴趣程度为“低”,若该对象区域的深度距离与对焦距离位于差值区间B,则确定其感兴趣程度为“中”,若该对象区域的深度距离与对焦距离位于差值区间C,则确定其感兴趣程度为“高”。
可选地,在一实施例中,获取用户对拍摄场景中各对象区域的感兴趣程度,包括:
通过感兴趣度量模型对各对象区域的感兴趣程度进行评估,得到各对象区域的感兴趣程度。
应当说明的是,本申请实施例预先训练有感兴趣度量模型,该感兴趣度量模型被配置为对图像的感兴趣程度进行评估,相应输出代表感兴趣程度的数值。此处对该感兴趣度量模型的架构以及训练方式均不作具体限制,可由本领域技术人员根据实际需要进行配置。
比如,可以选取卷积神经网络作为感兴趣度量模型的基础架构,并通过有监督的方式,利用添加有感兴趣程度标签的图像样本进行训练,从而得到用于对感兴趣程度进行评估的感兴趣度量模型。
相应的,在本申请实施例中,对于一对象区域,将该对象区域在当前场景图像中的图像内容输入感兴趣度量模型,得到该对象区域的感兴趣程度,以此,获取通过该感兴趣度量模型,获取到各对象区域的感兴趣程度。
可选地,在一实施例中,根据相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像,包括:
(1)根据降噪对象区域的区域相对运动矢量和历史场景图像,生成与降噪对象区域在当前场景图像中的第一当前图像内容所对齐的对齐图像内容;
(2)根据前述对齐图像内容以及非降噪对象区域在当前场景图像中的第二当前图像内容,生成与当前场景图像对齐的对齐场景图像。
本申请实施例中进一步提供根据降噪对象区域生成得到对齐场景图像的生成方式。
其中,根据降噪对象区域的区域相对运动矢量和历史场景图像,生成与降噪对象区域在当前场景图像中的第一当前图像内容所对齐的对齐图像内容,并直接将非降噪对象区域在当前场景图像中的第二当前图像内容作为与其对齐的对齐图像内容,相应根据与第一当前图像内容对齐的对齐图像内容以及非降噪对象区域在当前场景图像中的第二当前图像内容,生成与当前场景图像对齐的对齐场景图像。
比如,请参照图3,拍摄场景被划分为3个对象区域,其中一对象区域被确定为降噪对象区域,另外两个对象区域分别为非降噪对象区域A和非降噪对象区域B。在生成与当前场景图像对齐的对齐场景图像时,根据降噪对象区域在历史场景图像中的图像内容及其区域相对运动矢量,生成与降噪对象区域在当前场景图像中的第一当前图像内容所对齐的对齐图像内容,直接将非降噪对象区域A在当前场景图像中的图像内容作为与其对齐的对齐图像内容,以及将非降噪对象区域B在当前场景图像中的图像内容作为与其对齐的对齐图像内容,最后,将非降噪对象区域A的图像内容、非降噪对象区域B的图像内容以及前述对齐图像内容进行拼接,将拼接得到的图像作为与当前场景图像对齐的对齐场景图像。
可选地,在一实施例中,根据降噪对象区域的区域相对运动矢量和历史场景图像,生成与降噪对象区域在当前场景图像中的第一当前图像内容所对齐的对齐图像内容,包括:
根据降噪对象区域的区域相对运动矢量,对降噪对象区域在历史场景图像中的历史图像内容进行重映射,得到与降噪对象区域在当前场景图像中的第一当前图像内容所对齐的对齐图像内容。
其中,重映射就是将原图像通过一定的数学公式映射到另一幅图像中去,通俗的说,就是把一图像中某位置的元素放置到另一图像中的指定位置。
本申请实施例中,在根据降噪对象区域的区域相对运动矢量和历史场景图像,生成与降噪对象区域在当前场景图像中的第一当前图像内容所对齐的对齐图像内容时,根据降噪对象区域的区域相对运动矢量,对降噪对象区域在历史场景图像中的历史图像内容进行重映射,相应得到与降噪对象区域在当前场景图像中的第一当前图像内容所对齐的对齐图像内容。
可选地,在一实施例中,获取降噪对象区域在当前场景图像和历史场景图像中的区域相对运动矢量,包括:
(1)确定用于表征降噪对象区域的特征点;
(2)获取特征点在当前场景图像和历史场景图像中的特征点相对运动矢量;
(3)将特征点相对运动矢量作为降噪对象区域的区域相对运动矢量。
为提升区域相对运动矢量的获取效率,在获取降噪对象区域在当前场景图像和历史场景图像中的区域相对运动矢量时,本申请实施例中首先按照配置的特征点确定策略确定用于表征降噪对象区域的特征点,使用该特征点代表降噪对象区域进行区域相对运动矢量的获取。之后,进一步获取该特征点在当前场景图像和历史场景图像中的相对运动矢量,记为特征点相对运动矢量,并将该特征点相对运动矢量作为降噪对象区域的区域相对运动矢量。
应当说明的是,本申请实施例中对于特征点确定策略的配置不做具体限制,具体可由本领域技术人员根据实际需要进行配置。
示例性地,配置特征点确定策略为基于不同对象的特点进行特征点的确定。
比如,可以选择某些对象的顶点位置作为特征点,如人物的手部、头部等;可以选择某些对象的边缘作为特征点,如汽车的边缘等。
应当说明的是,本申请实施例中对于特征点的定义并不是单指某一个像素点,而是指特定的相对固定的小区域的所有像素点,如手指的指尖、头部的耳朵,运动物体的顶点等,将这些区域对应的所有像素点作为特征点。
可选地,在一实施例中,将特征点相对运动矢量作为区域相对运动矢量,包括:
(1)获取电子设备的当前运动矢量;
(2)根据当前运动矢量对特征点相对运动矢量进行修正,得到修正特征点相对运动矢量;
(3)将修正特征点相对运动矢量作为降噪对象区域的区域相对运动矢量。
可以理解的是,电子设备在进行拍摄时,除了拍摄场景中的对象自身会运动之外,电子设备本身也会存在运动,比如用户握持电子设备产生抖动时,将导致电子设备随着用户的抖动而相应运动。因此,本申请实施例中通过消除电子设备自身运动的影响,来提升获取的降噪对象区域的区域相对运动矢量的准确性。
其中,从电子设备配置的运动传感器(包括但不限于陀螺仪传感器、加速度传感器等)获取电子设备的当前运动矢量,并根据电子设备的当前运动矢量对前述特征点相对运动矢量进行修正,得到修正特征点相对运动矢量。
应当说明的是,由于电子设备所拍摄拍摄场景的图像的图像内容受拍摄场景中对象的运动和电子设备的运动共同影响,在根据电子设备的当前运动矢量对前述特征点相对运动矢量进行修正时,按照如下公式进行:
V’特征点=V特征点-V电子设备;
其中,V’特征点表示修正特征点相对运动矢量,V特征点表示特征点相对运动矢量,V电子设备表示电子设备的当前运动矢量。
如上,在完成对特征点相对运动矢量的修正,并得到修正特征点相对运动矢量之后,直接将该修正特征点相对运动矢量作为降噪对象区域的区域相对运动矢量。
可选地,在一实施例中,获取电子设备的拍摄场景的历史场景图像,包括:
(1)获取用于确定图像获取数量的状态因子;
(2)根据状态因子以及对应状态因子的数量计算策略,计算得到状态因子所对应的图像获取数量;
(3)按照图像获取数量获取拍摄场景的历史场景图像。
本申请实施例中,在获取历史场景图像时,并不获取固定数量的历史场景图像,而是动态确定需要获取到的历史场景图像的数量。
应当说明的是,本申请实施例中预先定义有用于确定图像获取数量的状态因子。状态因子包括拍摄场景的场景类型,电子设备的运行功耗、运行温度,拍摄场景的历史降噪场景图像的降噪质量中的至少一种。其中,历史降噪场景图像包括按照本申请实施例提供的图像处理方法对历史场景图像进行降噪所得到的图像,比如,在当前时刻,按照本申请实施例提供的图像处理方法对当前场景图像进行了降噪处理,相应得到当前场景图像的降噪场景图像,在下一时刻,该降噪场景图像即为历史降噪场景图像。
此外,对于不同状态因子,相应配置有与其对应的数量计算策略,该数量计算策略用于描述如何根据状态因子计算得到需要获取的历史场景图像的图像获取数量。此处对数量计算策略的配置不做具体限制,可由本领域技术人员根据实际需要进行配置。
比如,对于状态因子“电子设备的运行功耗”,以电子设备的运行功耗与图像获取数量负相关为约束(即电子设备的运行功耗越低,对应的图像获取数量越多),配置与电子设备的运行功耗所对应的数量计算策略;
又比如,对于状态因子“拍摄场景的场景类型”,可以预先定义场景类型的划分方式,如根据拍摄场景的亮度将拍摄场景直接换分为夜景拍摄场景和非夜景拍摄场景,并根据经验配置对应夜景拍摄场景的图像获取数量,以及配置对应非夜景拍摄场景的图像获取数量,将前述场景类型和图像获取数量的对应关系作为数量计算策略;
又比如,对于状态因子“历史降噪场景图像的降噪质量”,以历史降噪场景图像的降噪质量与图像获取数量负相关为约束(即历史降噪场景图像的降噪质量越低,对应的图像获取数量越多),配置与历史降噪场景图像的降噪质量所对应的数量计算策略。
如上,本申请实施例在获取电子设备的拍摄场景的历史场景图像时,首先获取用于确定图像获取数量的状态因子;再根据该状态因子以及对应状态因子的数量计算策略,计算得到状态因子所对应的图像获取数量;最后按照图像获取数量获取拍摄场景的历史场景图像。比如,可以获取距离当前场景图像最近的图像获取数量的历史场景图像。
应当说明的是,确定的状态因子可以为一个,也可以为多个,当确定了一个状态因子,直接按照根据该状态因子计算得到图像获取数量获取拍摄场景的历史场景图像;当确定的状态因子为多个时,根据多个状态因子各自计算得到图像获取数量,确定目标图像获取数量,并按照该目标图像获取数量获取拍摄场景的历史场景图像。比如,可以获取距离当前场景图像最近的目标图像获取数量的历史场景图像。
其中,在根据多个状态因子各自计算得到的图像获取数量,确定目标图像获取数量时,可以直接计算多个状态因子对应的图像获取数量的平均值,并对该平均值取整(可向上取整,也可向下取整)后作为目标图像获取数量;或者,预先为各状态因子分配权重(可由本领域技术人员根据实际需要分配),在根据多个状态因子各自计算得到的图像获取数量,确定目标图像获取数量时,根据各状态因子的权重,对根据多个状态因子各自计算得到的图像获取数量进行加权求和,并对加权和值取整(可向上取整,也可向下取整)后作为目标图像获取数量。
可选地,在一实施例中,获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量,包括:
获取拍摄场景中的对象区域在当前场景图像和每一历史场景图像中的相对运动矢量。
本申请实施例中,按照确定的图像获取数量获取拍摄场景的历史场景图像,相应的,获取拍摄场景中的对象区域在当前场景图像和每一历史场景图像中的相对运动矢量。
比如,假设获取到5个历史场景图像,分别为历史场景图像A、历史场景图像B、历史场景图像C、历史场景图像D以及历史场景图像E,则对于拍摄场景中的一对象区域,则分别获取该对象区域在当前场景图像和历史场景图像A中的相对运动矢量,获取该对象区域在当前场景图像和历史场景图像B中的相对运动矢量,获取该对象区域在当前场景图像和历史场景图像C中的相对运动矢量,获取该对象区域在当前场景图像和历史场景图像D中的相对运动矢量,获取该对象区域在当前场景图像和历史场景图像E中的相对运动矢量。
可选地,在一实施例中,根据相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像,包括:
(1)根据每一历史场景图像及其对应的相对运动矢量,生成与当前场景图像对齐的对齐场景图像,得到图像获取数量的对齐场景图像;
(2)对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像,包括:
(3)对当前场景图像和图像获取数量的对齐场景图像进行合成降噪处理,得到降噪场景图像。
本申请实施例中,按照确定的图像获取数量获取拍摄场景的历史场景图像,相应的,在根据相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像时,根据每一历史场景图像及其对应的相对运动矢量,生成与当前场景图像对齐的对齐场景图像,得到图像获取数量的对齐场景图像。其中,对于如何生成对齐场景图像,具体可参照以上实施例中相关描述,此处不再赘述。
在对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像,相应的,对当前场景图像和图像获取数量的对齐场景图像进行合成降噪处理,得到降噪场景图像。其中对于如何进行合成降噪处理,具体可参照以上实施例中的相关描述,此处不再赘述。
请参照图4,图4为本申请实施例提供的图像处理方法的另一流程示意图,如图4所示,该图像处理方法的流程可以包括:
在210中,获取电子设备的拍摄场景的当前场景图像和历史场景图像。
电子设备的拍摄场景可以理解为电子设备所配置的摄像头在使能后所对准的区域,即摄像头能够将光信号转换为对应图像数据的区域。比如,电子设备在根据用户操作使能摄像头之后,若用户控制电子设备的摄像头对准一包括某对象的区域,则包括该对象的区域即为摄像头的拍摄场景。
本申请实施例中,首先获取电子设备的拍摄场景的当前场景图像和历史场景图像,用于后续降噪处理。其中,当前场景图像可以理解为摄像头在当前时刻对拍摄场景进行拍摄所得到的图像,历史场景图像可以为摄像头在当前时刻之前所拍摄得到的拍摄场景的图像。
示例性地,电子设备提供有缓存空间(比如,在内存中划分出一部分内存空间作为缓存空间),该缓存空间用于缓存摄像头所拍摄的图像。另外,相应的,在获取电子设备的拍摄场景的当前场景图像和历史场景图像时,可以从摄像头直接获取其拍摄的拍摄场景的当前场景图像,以及从缓存空间中获取缓存的拍摄场景的历史场景图像。此外,前述当前场景图像还被缓存至缓存空间。
在220中,根据拍摄场景中每一对象区域的特征点,获取每一对象区域在当前场景图像和历史场景图像中的相对运动矢量。
可以理解的是,对于一拍摄场景而言,其中可能存在各种各样的对象,比如人物、动物、植物以及建筑物等,这些对象将被成像至的摄像头所拍摄得到图像中。
相应的,在获取到拍摄场景的当前场景图像和历史场景图像之后,通过对获取到的当前场景图像和/或历史场景图像进行对象识别,即可确定出拍摄场景中的对象,相应确定出对象区域。比如,对于拍摄场景中的一对象,将该对象的最小外接矩形区域确定为该对象的对象区域。
应当说明的是,由于拍摄场景中存在各种各样的对象,相应将确定出至少一个对象区域。本申请实施例中,针对拍摄场景中的每一对象区域,根据拍摄场景中每一对象区域的特征点,获取每一对象区域在当前场景图像和历史场景图像中的相对运动矢量。
为提升相对运动矢量的获取效率,对于一对象区域,本申请实施例中首先按照配置的特征点确定策略确定用于表征该对象区域的特征点,使用该特征点代表该对象区域进行相对运动矢量的获取。之后,进一步获取该特征点在当前场景图像和历史场景图像中的相对运动矢量,并将该特征点的相对运动矢量作为其表征的对象区域的相对运动矢量。
其中,在获取特征点的相对运动矢量时,根据该特征点在当前场景图像以及历史场景图像中的位置和/或大小差异,分析计算得到该特征点的相对运动矢量,该相对运动矢量用于描述该特征点以当前场景图像和历史场景图像为参照的运动方向和运动速度。
应当说明的是,本申请实施例中对于特征点确定策略的配置不做具体限制,具体可由本领域技术人员根据实际需要进行配置。
示例性地,配置特征点确定策略为基于不同对象的特点进行特征点的确定。
比如,可以选择某些对象的顶点位置作为特征点,如人物的手部、头部等;可以选择某些对象的边缘作为特征点,如汽车的边缘等。
应当说明的是,本申请实施例中对于特征点的定义并不是单指某一个像素点,而是指特定的相对固定的小区域的所有像素点,如手指的指尖、头部的耳朵,运动物体的顶点等,将这些区域对应的所有像素点作为特征点。
在230中,根据每一对象区域在历史场景图像中的图像内容及其相对运动矢量,生成与每一对象区域在当前场景图像中的图像内容所对齐的对齐图像内容。
可以理解的是,对于一对象区域,该对象区域在当前场景图像中的图像内容是已知的,同时该对象区域在历史场景图像中的图像内容也是已知的,并且,该对象区域在当前场景图像和历史场景图像中的相对运动矢量也是已知的。因此,对于每一对象区域,根据每一对象区域在历史场景图像中的图像内容及其相对运动矢量,即可生成与每一对象区域在当前场景图像中的图像内容所对齐的对齐图像内容。
在240中,根据每一对象区域的对齐图像内容,生成与当前场景图像对齐的对齐场景图像。
可以理解的是,至此已将拍摄场景中每一对象区域在历史场景图像和当前场景图像中的图像内容对齐,根据每一对象区域的对齐图像内容,即可生成与当前场景图像对齐的对齐场景图像,比如,直接拼接每一对象区域的对齐图像内容,将拼接得到的图像作为与当前场景图像对齐的对齐场景图像。
在250中,对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像。
如上,在生成与当前场景图像对齐的对齐场景图像之后,本申请实施例进一步按照配置的多帧降噪策略,对当前场景图像和生成的对齐场景图像进行合成降噪处理,从而得到当前场景图像的降噪场景图像。
比如,请参照图2,假设生成了一个对齐场景图像,如图2所示,无论是当前场景图像还是对齐场景图像,其中均存在一些噪点,而经过合成降噪处理所得到的降噪场景图像则不存在噪点。
应当说明的是,本申请实施例对于多帧降噪策略的配置不做具体限制,可由本领域技术人员根据实际需要进行配置。
示例性地,可以配置多帧降噪策略为:
针对一像素位置的像素点,直接计算该像素点在当前场景图像中的第一像素值和该像素点在历史场景图像中的第二像素值的平均像素值,从而根据所有像素点的平均像素值生成降噪场景图像。
或者,还可以配置多帧降噪策略为:
针对一像素位置的像素点,计算该像素点在当前场景图像中的第一像素值和该像素点在历史场景图像中的第二像素值的平均像素值;进一步根据第一像素值和第二像素值各自与平均像素值的差值,为第一像素值和第二像素值分配权重进行加权平均,得到第一像素值和第二像素值的加权平均值;以此,根据所有像素点的加权平均值生成降噪场景图像。
请参照图5,本申请还提供一种图像处理器300,该图像处理器300包括数据接口单元310和数据处理单元320,其中,
数据接口单元310,用于获取电子设备的拍摄场景的当前场景图像和历史场景图像;
数据处理单元320,用于获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量;以及
将当前场景图像、历史场景图像以及相对运动矢量传输至应用处理器,使得应用处理器根据相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像,并对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像。
应当说明的是,本申请实施例提供的图像处理器300可以应用于配置有摄像头和应用处理器的电子设备中,由图像处理器300和应用处理器协同对摄像头拍摄的图像进行降噪处理。具体可参照以上实施例中的相关描述,此处不再赘述。
可选地,在一实施例中,数据处理单元320用于:
从拍摄场景的对象区域中确定出需要进行降噪处理的降噪对象区域;
获取降噪对象区域在当前场景图像和历史场景图像中的区域相对运动矢量,以使得应用处理器根据区域相对运动矢量和历史场景图像,生成与降噪对象区域在当前场景图像中的第一当前图像内容所对齐的对齐图像内容;以及根据对齐图像内容以及非降噪对象区域在当前场景图像中的第二当前图像内容,生成对齐场景图像。
可选地,在一实施例中,数据处理单元320用于:
确定用于表征降噪对象区域的特征点;
获取特征点在当前场景图像和历史场景图像中的特征点相对运动矢量;
将特征点相对运动矢量作为区域相对运动矢量。
可选地,在一实施例中,数据处理单元320用于:
获取电子设备的当前运动矢量;
根据当前运动矢量对特征点相对运动矢量进行修正,得到修正特征点相对运动矢量;
将修正特征点相对运动矢量作为区域相对运动矢量。
可选地,在一实施例中,数据处理单元320用于:
获取用户对拍摄场景中每一对象区域的感兴趣程度;
根据每一对象区域的感兴趣程度,从拍摄场景的对象区域中确定出降噪对象区域。
可选地,在一实施例中,数据接口单元310用于:
获取用于确定图像获取数量的状态因子;
根据状态因子以及对应状态因子的数量计算策略,计算得到状态因子所对应的图像获取数量;
按照图像获取数量获取拍摄场景的历史场景图像。
可选地,在一实施例中,数据处理单元320用于:
获取拍摄场景中的对象区域在当前场景图像和每一历史场景图像中的相对运动矢量,以使得应用处理器根据每一历史场景图像及其对应的相对运动矢量,生成与当前场景图像对齐的对齐场景图像,得到图像获取数量的对齐场景图像;以及对当前场景图像和图像获取数量的对齐场景图像进行合成降噪处理,得到降噪场景图像。
可选地,在一实施例中,状态因子包括拍摄场景的场景类型,电子设备的运行功耗、运行温度,拍摄场景的历史降噪场景图像的降噪质量中的至少一种。
应当说明的是,本申请实施例提供的图像处理器300与上文实施例中的图像处理方法属于同一构思,其具体实现过程请参照以上相关实施例,此处不再赘述。
请结合参照图6和图7,图6为本申请还提供一种电子设备400的结构示意图,图7为电子设备400的应用场景示意图,如图6所示,该电子设备400包括:
摄像头410,用于采集拍摄场景的场景图像;
图像处理器420,用于获取摄像头采集的拍摄场景的当前场景图像和历史场景图像;以及获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量;以及
应用处理器430,用于根据相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像;以及对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像。
可选地,在一实施例中,图像处理器420用于:
从拍摄场景的对象区域中确定出需要进行降噪处理的降噪对象区域;
获取降噪对象区域在当前场景图像和历史场景图像中的区域相对运动矢量。
可选地,在一实施例中,应用处理器430用于:
根据区域相对运动矢量和历史场景图像,生成与降噪对象区域在当前场景图像中的第一当前图像内容所对齐的对齐图像内容;
根据对齐图像内容以及非降噪对象区域在当前场景图像中的第二当前图像内容,生成对齐场景图像。
可选地,在一实施例中,应用处理器430用于:
根据区域相对运动矢量,对降噪对象区域在历史场景图像中的历史图像内容进行重映射,得到对齐图像内容。
可选地,在一实施例中,图像处理器420用于:
确定用于表征降噪对象区域的特征点;
获取特征点在当前场景图像和历史场景图像中的特征点相对运动矢量;
将特征点相对运动矢量作为区域相对运动矢量。
可选地,在一实施例中,图像处理器420用于:
获取电子设备400的当前运动矢量;
根据当前运动矢量对特征点相对运动矢量进行修正,得到修正特征点相对运动矢量;
将修正特征点相对运动矢量作为区域相对运动矢量。
可选地,在一实施例中,图像处理器420用于:
获取用户对拍摄场景中每一对象区域的感兴趣程度;
根据每一对象区域的感兴趣程度,从拍摄场景的对象区域中确定出降噪对象区域。
可选地,在一实施例中,图像处理器420用于:
获取用于确定图像获取数量的状态因子;
根据状态因子以及对应状态因子的数量计算策略,计算得到状态因子所对应的图像获取数量;
按照图像获取数量获取拍摄场景的历史场景图像。
可选地,在一实施例中,图像处理器420用于:
获取拍摄场景中的对象区域在当前场景图像和每一历史场景图像中的相对运动矢量。
可选地,在一实施例中,应用处理器430用于:
根据每一历史场景图像及其对应的相对运动矢量,生成与当前场景图像对齐的对齐场景图像,得到图像获取数量的对齐场景图像;以及
对当前场景图像和图像获取数量的对齐场景图像进行合成降噪处理,得到降噪场景图像。
可选地,在一实施例中,状态因子包括拍摄场景的场景类型,电子设备的运行功耗、运行温度,拍摄场景的历史降噪场景图像的降噪质量中的至少一种。
应当说明的是,本申请实施例提供的电子设备400与上文实施例中的图像处理方法属于同一构思,其具体实现过程请参照以上相关实施例,此处不再赘述。
请参照图8,本申请还提供一种电子设备500,如图8所示,该电子设备500可以包括存储器510和处理器520。本领域技术人员可以理解,图8中示出的电子设备500结构并不构成对电子设备500的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,存储器510可用于存储计算机程序和数据。存储器510存储的计算机程序中包含有可执行代码。计算机程序可以划分为各种功能模块。
处理器520是电子设备500的控制中心,利用各种接口和线路连接整个电子设备500的各个部分,通过运行或执行存储在存储器510内的计算机程序,以及调用存储在存储器510内的数据,执行电子设备500的各种功能和处理数据,从而对电子设备500进行整体控制。
在本申请实施例中,电子设备500中的处理器520会按照如下的顺序,将一个或一个以上的计算机程序对应的可执行代码加载到存储器510中,并由处理器520来执行从而执行如下步骤:
获取电子设备500的拍摄场景的当前场景图像和历史场景图像;
获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量;
根据相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像;
对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像。
可选地,在一实施例中,在获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量时,处理器520用于执行:
从拍摄场景的对象区域中确定出需要进行降噪处理的降噪对象区域;
获取降噪对象区域在当前场景图像和历史场景图像中的区域相对运动矢量。
可选地,在一实施例中,在根据相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像时,处理器520用于执行:
根据区域相对运动矢量和历史场景图像,生成与降噪对象区域在当前场景图像中的第一当前图像内容所对齐的对齐图像内容;
根据对齐图像内容以及非降噪对象区域在当前场景图像中的第二当前图像内容,生成对齐场景图像。
可选地,在一实施例中,在根据区域相对运动矢量和历史场景图像,生成与降噪对象区域在当前场景图像中的第一当前图像内容所对齐的对齐图像内容时,处理器520用于执行:
根据区域相对运动矢量,对降噪对象区域在历史场景图像中的历史图像内容进行重映射,得到对齐图像内容。
可选地,在一实施例中,在获取降噪对象区域在当前场景图像和历史场景图像中的区域相对运动矢量时,处理器520用于执行:
确定用于表征降噪对象区域的特征点;
获取特征点在当前场景图像和历史场景图像中的特征点相对运动矢量;
将特征点相对运动矢量作为区域相对运动矢量。
可选地,在一实施例中,在将特征点相对运动矢量作为区域相对运动矢量时,处理器520用于执行:
获取电子设备的当前运动矢量;
根据当前运动矢量对特征点相对运动矢量进行修正,得到修正特征点相对运动矢量;
将修正特征点相对运动矢量作为区域相对运动矢量。
可选地,在一实施例中,在从拍摄场景的对象区域中确定出需要进行降噪处理的降噪对象区域时,处理器520用于执行:
获取用户对拍摄场景中每一对象区域的感兴趣程度;
根据每一对象区域的感兴趣程度,从拍摄场景的对象区域中确定出降噪对象区域。
可选地,在一实施例中,在获取电子设备的拍摄场景的历史场景图像时,处理器520用于执行:
获取用于确定图像获取数量的状态因子;
根据状态因子以及对应状态因子的数量计算策略,计算得到状态因子所对应的图像获取数量;
按照图像获取数量获取拍摄场景的历史场景图像。
可选地,在一实施例中,在获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量时,处理器520用于执行:
获取拍摄场景中的对象区域在当前场景图像和每一历史场景图像中的相对运动矢量。
可选地,在一实施例中,在根据相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像时,处理器520用于执行:
根据每一历史场景图像及其对应的相对运动矢量,生成与当前场景图像对齐的对齐场景图像,得到图像获取数量的对齐场景图像;
在对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像时,处理器520用于执行:
对当前场景图像和图像获取数量的对齐场景图像进行合成降噪处理,得到降噪场景图像。
可选地,在一实施例中,状态因子包括拍摄场景的场景类型,电子设备的运行功耗、运行温度,拍摄场景的历史降噪场景图像的降噪质量中的至少一种。
应当说明的是,本申请实施例提供的电子设备400与上文实施例中的图像处理方法属于同一构思,其具体实现过程请参照以上相关实施例,此处不再赘述。
本申请实施例还提供一种计算机可读的存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种图像处理方法中的步骤。例如,该计算机程序可以使得处理器执行如下步骤:
获取电子设备的拍摄场景的当前场景图像和历史场景图像;
获取拍摄场景中的对象区域在当前场景图像和历史场景图像中的相对运动矢量;
根据相对运动矢量和历史场景图像,生成与当前场景图像对齐的对齐场景图像;
对当前场景图像和对齐场景图像进行合成降噪处理,得到当前场景图像的降噪场景图像。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种图像处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种图像处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例提供的图像处理方法、图像处理器、电子设备以及存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请。同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (15)
1.一种图像处理方法,其特征在于,包括:
获取电子设备的拍摄场景的当前场景图像和历史场景图像;
获取所述拍摄场景中的对象区域在所述当前场景图像和所述历史场景图像中的相对运动矢量;
根据所述相对运动矢量和所述历史场景图像,生成与所述当前场景图像对齐的对齐场景图像;
对所述当前场景图像和所述对齐场景图像进行合成降噪处理,得到所述当前场景图像的降噪场景图像。
2.如权利要求1所述的方法,其特征在于,所述获取所述拍摄场景中的对象区域在所述当前场景图像和所述历史场景图像中的相对运动矢量,包括:
从所述拍摄场景的对象区域中确定出需要进行降噪处理的降噪对象区域;
获取所述降噪对象区域在所述当前场景图像和所述历史场景图像中的区域相对运动矢量。
3.如权利要求2所述的方法,其特征在于,所述根据所述相对运动矢量和所述历史场景图像,生成与所述当前场景图像对齐的对齐场景图像,包括:
根据所述区域相对运动矢量和所述历史场景图像,生成与所述降噪对象区域在所述当前场景图像中的第一当前图像内容所对齐的对齐图像内容;
根据所述对齐图像内容以及非降噪对象区域在所述当前场景图像中的第二当前图像内容,生成所述对齐场景图像。
4.如权利要求3所述的方法,其特征在于,所述根据所述区域相对运动矢量和所述历史场景图像,生成与所述降噪对象区域在所述当前场景图像中的第一当前图像内容所对齐的对齐图像内容,包括:
根据所述区域相对运动矢量,对所述降噪对象区域在所述历史场景图像中的历史图像内容进行重映射,得到所述对齐图像内容。
5.如权利要求2所述的方法,其特征在于,所述获取所述降噪对象区域在所述当前场景图像和所述历史场景图像中的区域相对运动矢量,包括:
确定用于表征所述降噪对象区域的特征点;
获取所述特征点在所述当前场景图像和所述历史场景图像中的特征点相对运动矢量;
将所述特征点相对运动矢量作为所述区域相对运动矢量。
6.如权利要求5所述的方法,其特征在于,所述将所述特征点相对运动矢量作为所述区域相对运动矢量,包括:
获取所述电子设备的当前运动矢量;
根据所述当前运动矢量对所述特征点相对运动矢量进行修正,得到修正特征点相对运动矢量;
将所述修正特征点相对运动矢量作为所述区域相对运动矢量。
7.如权利要求2所述的方法,其特征在于,所述从所述拍摄场景的对象区域中确定出需要进行降噪处理的降噪对象区域,包括:
获取用户对所述拍摄场景中每一对象区域的感兴趣程度;
根据每一对象区域的感兴趣程度,从所述拍摄场景的对象区域中确定出所述降噪对象区域。
8.如权利要求1-7任一项所述的方法,其特征在于,所述获取电子设备的拍摄场景的历史场景图像,包括:
获取用于确定图像获取数量的状态因子;
根据所述状态因子以及对应所述状态因子的数量计算策略,计算得到所述状态因子所对应的图像获取数量;
按照所述图像获取数量获取所述拍摄场景的历史场景图像。
9.如权利要求8所述的方法,其特征在于,所述获取所述拍摄场景中的对象区域在所述当前场景图像和所述历史场景图像中的相对运动矢量,包括:
获取所述拍摄场景中的对象区域在所述当前场景图像和每一所述历史场景图像中的相对运动矢量。
10.如权利要求9所述的方法,其特征在于,所述根据所述相对运动矢量和所述历史场景图像,生成与所述当前场景图像对齐的对齐场景图像,包括:
根据每一历史场景图像及其对应的相对运动矢量,生成与所述当前场景图像对齐的对齐场景图像,得到所述图像获取数量的对齐场景图像;
所述对所述当前场景图像和所述对齐场景图像进行合成降噪处理,得到所述当前场景图像的降噪场景图像,包括:
对所述当前场景图像和所述图像获取数量的对齐场景图像进行合成降噪处理,得到所述降噪场景图像。
11.如权利要求8所述的方法,其特征在于,所述状态因子包括所述拍摄场景的场景类型,所述电子设备的运行功耗、运行温度,所述拍摄场景的历史降噪场景图像的降噪质量中的至少一种。
12.一种图像处理器,其特征在于,包括:
数据接口单元,用于获取电子设备的拍摄场景的当前场景图像和历史场景图像;
数据处理单元,用于获取所述拍摄场景中的对象区域在所述当前场景图像和所述历史场景图像中的相对运动矢量;以及
将所述当前场景图像、所述历史场景图像以及所述相对运动矢量传输至应用处理器,使得所述应用处理器根据所述相对运动矢量和所述历史场景图像,生成与所述当前场景图像对齐的对齐场景图像,并对所述当前场景图像和所述对齐场景图像进行合成降噪处理,得到所述当前场景图像的降噪场景图像。
13.一种电子设备,其特征在于,包括:
摄像头,用于采集拍摄场景的场景图像;
图像处理器,用于获取所述摄像头采集的所述拍摄场景的当前场景图像和历史场景图像;以及获取所述拍摄场景中的对象区域在所述当前场景图像和所述历史场景图像中的相对运动矢量;以及
应用处理器,用于根据所述相对运动矢量和所述历史场景图像,生成与所述当前场景图像对齐的对齐场景图像;以及对所述当前场景图像和所述对齐场景图像进行合成降噪处理,得到所述当前场景图像的降噪场景图像。
14.一种电子设备,所述电子设备包括处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述处理器通过加载所述计算机程序执行如权利要求1-11任一项所述的图像处理方法。
15.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序被处理器加载时执行如权利要求1-11任一项所述的图像处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110476533.7A CN115272088A (zh) | 2021-04-29 | 2021-04-29 | 图像处理方法、图像处理器、电子设备及存储介质 |
PCT/CN2022/081493 WO2022227916A1 (zh) | 2021-04-29 | 2022-03-17 | 图像处理方法、图像处理器、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110476533.7A CN115272088A (zh) | 2021-04-29 | 2021-04-29 | 图像处理方法、图像处理器、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115272088A true CN115272088A (zh) | 2022-11-01 |
Family
ID=83744968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110476533.7A Pending CN115272088A (zh) | 2021-04-29 | 2021-04-29 | 图像处理方法、图像处理器、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115272088A (zh) |
WO (1) | WO2022227916A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024148898A1 (zh) * | 2023-01-09 | 2024-07-18 | 腾讯科技(深圳)有限公司 | 图像降噪方法、装置、计算机设备和存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2467932A (en) * | 2009-02-19 | 2010-08-25 | Sony Corp | Image processing device and method |
JP2012151796A (ja) * | 2011-01-21 | 2012-08-09 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
JP6418879B2 (ja) * | 2014-10-06 | 2018-11-07 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |
CN111369469B (zh) * | 2020-03-10 | 2024-01-12 | 北京爱笔科技有限公司 | 图像处理方法、装置及电子设备 |
CN111915505B (zh) * | 2020-06-18 | 2023-10-27 | 北京迈格威科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-04-29 CN CN202110476533.7A patent/CN115272088A/zh active Pending
-
2022
- 2022-03-17 WO PCT/CN2022/081493 patent/WO2022227916A1/zh active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024148898A1 (zh) * | 2023-01-09 | 2024-07-18 | 腾讯科技(深圳)有限公司 | 图像降噪方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2022227916A1 (zh) | 2022-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997696B2 (en) | Image processing method, apparatus and device | |
CN111741211B (zh) | 图像显示方法和设备 | |
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN109348089B (zh) | 夜景图像处理方法、装置、电子设备及存储介质 | |
KR100810310B1 (ko) | 조도차가 다른 영상의 재구성 장치 및 방법 | |
CN109218628A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN104980652A (zh) | 图像处理设备和图像处理方法 | |
CN108989699B (zh) | 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质 | |
CN111614867B (zh) | 一种视频去噪方法、装置、移动终端和存储介质 | |
WO2020171379A1 (en) | Capturing a photo using a mobile device | |
WO2020171300A1 (en) | Processing image data in a composite image | |
CN114862828A (zh) | 光斑搜索方法装置、计算机可读介质和电子设备 | |
CN111951192A (zh) | 一种拍摄图像的处理方法及拍摄设备 | |
CN110677557B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN113438409B (zh) | 延迟校准方法、装置、计算机设备和存储介质 | |
WO2022227916A1 (zh) | 图像处理方法、图像处理器、电子设备及存储介质 | |
US20200358955A1 (en) | Image processing apparatus, image processing method, and recording medium | |
KR101783990B1 (ko) | 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법 | |
JP2013258583A (ja) | 撮像画像表示装置、撮像画像表示方法、プログラム | |
JP2017054431A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN115550536A (zh) | 图像处理方法、图像处理器及电子设备 | |
CN111091513B (zh) | 图像处理方法、装置、计算机可读存储介质及电子设备 | |
CN115037869A (zh) | 自动对焦方法、装置、电子设备及计算机可读存储介质 | |
JP2013157755A (ja) | ノイズ低減装置およびその制御方法 | |
CN113807124B (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |