CN110264473B - 基于多帧图像的图像处理方法、装置及电子设备 - Google Patents
基于多帧图像的图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110264473B CN110264473B CN201910509713.3A CN201910509713A CN110264473B CN 110264473 B CN110264473 B CN 110264473B CN 201910509713 A CN201910509713 A CN 201910509713A CN 110264473 B CN110264473 B CN 110264473B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- original
- processor
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 148
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000008569 process Effects 0.000 claims abstract description 21
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 15
- 230000009467 reduction Effects 0.000 claims description 24
- 230000011218 segmentation Effects 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 15
- 238000003786 synthesis reaction Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 11
- 230000000903 blocking effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013515 script Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请提出一种基于多帧图像的图像处理方法、装置及电子设备，该方法包括获取多帧原始图像；对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像；将多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用对应的图像处理器处理处于相同位置的原始子图像，图像处理器包括多个；获取各图像处理器处理得到的目标子图像，并对各目标子图像进行合成。通过本申请能够实现对各帧原始图像进行分块，针对不同分块的原始子图像调用不同图像处理器的运算资源，能够有效提高夜景成像速度，提升图像处理效率。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于多帧图像的图像处理方法、装置及电子设备。
背景技术
随着智能终端技术的发展，移动终端设备均操作简单又便于携带，在日常生活中越来越多的用户使用智能手机、平板电脑等移动终端设备拍照。智能移动终端在给人们的日常拍照带来便捷的同时，人们对拍摄的图像质量的要求也越来越高，尤其在夜景这一特殊场景中，图像质量较低。
目前，通常采集多帧原始图像进行高动态合成，利用多帧相同曝光图像对齐后进行降噪，辅以多帧低曝图进行高动态合成以呈现出夜景高光细节，达到夜景画面干净、明亮又有动态的效果。
这种方式下，超多帧图像处理较为复杂，其中可能涉及到多帧对齐、运动检测、时空域降噪、高动态合成、色调映射等多个环节，不同的环节一般调用不同的图像处理器进行相应环节的图像处理，处理耗时较长，图像处理效率不高。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的目的在于提出一种基于多帧图像的图像处理方法、装置及电子设备，能够实现对各帧原始图像进行分块，针对不同分块的原始子图像调用不同图像处理器的运算资源，能够有效提高夜景成像速度，提升图像处理效率。
为达到上述目的，本申请第一方面实施例提出的基于多帧图像的图像处理方法，包括：获取多帧原始图像；对各帧所述原始图像进行切分处理，得到与各帧所述原始图像对应的多个原始子图像；将所述多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用所述对应的图像处理器处理所述处于相同位置的原始子图像，所述图像处理器包括多个；获取各所述图像处理器处理得到的目标子图像，并对各所述目标子图像进行合成。
本申请第一方面实施例提出的基于多帧图像的图像处理方法，通过获取多帧原始图像，并对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像，以及将多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用对应的图像处理器处理处于相同位置的原始子图像，图像处理器包括多个，获取各图像处理器处理得到的目标子图像，并对各目标子图像进行合成，实现了对各帧原始图像进行分块，针对不同分块的原始子图像调用不同图像处理器的运算资源，能够有效提高夜景成像速度，提升图像处理效率。
为达到上述目的，本申请第二方面实施例提出的基于多帧图像的图像处理装置，包括：获取模块，用于获取多帧原始图像；切分模块，用于对各帧所述原始图像进行切分处理，得到与各帧所述原始图像对应的多个原始子图像；处理模块，用于将所述多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用所述对应的图像处理器处理所述处于相同位置的原始子图像，所述图像处理器包括多个；合成模块，用于获取各所述图像处理器处理得到的目标子图像，并对各所述目标子图像进行合成。
本申请第二方面实施例提出的基于多帧图像的图像处理装置，通过获取多帧原始图像，并对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像，以及将多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用对应的图像处理器处理处于相同位置的原始子图像，图像处理器包括多个，获取各图像处理器处理得到的目标子图像，并对各目标子图像进行合成，实现了对各帧原始图像进行分块，针对不同分块的原始子图像调用不同图像处理器的运算资源，能够有效提高夜景成像速度，提升图像处理效率。
为达到上述目的，本申请第三方面实施例提出的电子设备，包括：中央处理器、图形处理器、数字信号处理器以及神经网络处理器、存储器及存储在存储器上并可在中央处理器上运行的计算机程序，所述图像传感器、所述图形处理器、所述数字信号处理器以及所述神经网络处理器分别与所述中央处理器电连接，所述中央处理器执行所述程序时，实现本申请第一方面实施例提出的基于多帧图像的图像处理方法。
本申请第三方面实施例提出的电子设备，通过获取多帧原始图像，并对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像，以及将多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用对应的图像处理器处理处于相同位置的原始子图像，图像处理器包括多个，获取各图像处理器处理得到的目标子图像，并对各目标子图像进行合成，实现了对各帧原始图像进行分块，针对不同分块的原始子图像调用不同图像处理器的运算资源，能够有效提高夜景成像速度，提升图像处理效率。
为达到上述目的，本申请第四方面实施例提出的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面实施例提出的基于多帧图像的图像处理方法。
本申请第四方面实施例提出的计算机可读存储介质，通过获取多帧原始图像，并对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像，以及将多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用对应的图像处理器处理处于相同位置的原始子图像，图像处理器包括多个，获取各图像处理器处理得到的目标子图像，并对各目标子图像进行合成，实现了对各帧原始图像进行分块，针对不同分块的原始子图像调用不同图像处理器的运算资源，能够有效提高夜景成像速度，提升图像处理效率。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请一实施例提出的基于多帧图像的图像处理方法的流程示意图；
图2是本申请另一实施例提出的基于多帧图像的图像处理方法的流程示意图；
图3是本申请一实施例提出的基于多帧图像的图像处理装置的结构示意图；
图4是本申请另一实施例提出的基于多帧图像的图像处理装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
针对相关技术中，超多帧图像处理较为复杂，其中可能涉及到多帧对齐、运动检测、时空域降噪、高动态合成、色调映射等多个环节，处理耗时较长，图像处理效率不高的技术问题，本申请实施例中提供一种基于多帧图像的图像处理方法，通过获取多帧原始图像，并对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像，以及将多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用对应的图像处理器处理处于相同位置的原始子图像，图像处理器包括多个，获取各图像处理器处理得到的目标子图像，并对各目标子图像进行合成，实现了对各帧原始图像进行分块，针对不同分块的原始子图像调用不同图像处理器的运算资源，能够有效提高夜景成像速度，提升图像处理效率。
图1是本申请一实施例提出的基于多帧图像的图像处理方法的流程示意图。
本申请实施例的基于多帧图像的图像处理方法，应用于电子设备，该电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作***、成像设备的硬件设备。
该方法包括：
S101：获取多帧原始图像。
其中，原始图像可以例如通过电子设备的图像传感器采集得到的未做任何处理的RAW格式图像，对此不作限制。
其中，RAW格式图像就是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。RAW格式图像记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据，如感光度的设置、快门速度、光圈值、白平衡等。
可以通过获取当前拍摄场景的预览图像，以确定当前拍摄场景是否属于夜景场景。由于不同场景下环境亮度值不同，预览图像内容也不相同，可以根据当前拍摄场景预览图像的画面内容以及各区域的环境亮度值，确定当前拍摄场景属于夜景场景后，启动夜景拍摄模式，在不同曝光量下获取多帧原始图像。
例如，预览图像的画面内容包括夜晚天空或者夜景灯源等，或者预览图像的各区域中环境亮度值符合夜景环境下图像的亮度分布特性，即可确定当前拍摄场景属于夜景场景。
由于在夜景拍摄时，拍摄场景中光线强度等环境因素的限制，电子设备在拍摄图像时，若采集单帧原始图像无法较好同时顾及到夜景中的灯光等高亮区域，以及夜景中的低亮区域。
因此，电子设备可以通过拍摄多帧原始图像，用于图像合成，另外还可以用于选取画面清晰的图像进行合成成像。
为了同时顾及到夜景中的灯光等高亮区域，以及夜景中的低亮区域，可以控制电子设备的图像传感器在不同曝光量下，拍摄得到的多帧原始图像。例如：采用低曝光量拍摄以对高亮区清晰成像，采用高曝光量拍摄以对低亮区清晰成像。
本申请实施例中，可以是采集n帧的原始图像，其中，n为大于或等于2的自然数。
S102：对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像。
相对于相关技术中，是将多帧的原始图像均根据图像处理的顺序输入相应的图像处理器进行处理，本申请实施例中是对各帧原始图像进行切分处理得到与各帧原始图像对应的多个原始子图像，若针对某个图像处理步骤，图像处理器A和图像处理器B均能够执行该图像处理步骤，则可以同时调用图像处理器A和图像处理器B，启动两个并行的处理程序，使得图像处理器A和图像处理器B分别执行该图像处理步骤，处理处于相同位置的n帧原始子图像，以此实现提升图像处理的效率。
本申请实施例中，在对图像进行切分处理时，可以采用基于面积切分方式，将各帧原始图像切分处理为面积相同或者不相同的预设数量的原始子图像，预设数量例如为，10，即，针对每一帧原始图像，将其切分为面积相同或者不相同的十块图像区域，或者，还可以采用基于特征的方式，将各帧原始图像切分为预设数量的原始子图像，使得切分后的原始子图像1具有特征A，原始子图像2具有特征B，以此类推，特征A为图像1的亮度值大于亮度阈值，特征B为图像2的亮度值小于亮度阈值，对此不作限制。
本申请实施例中，可以将上述示例的切分处理逻辑写入脚本文件中，在进行夜景拍照时，在获取多帧原始图像的同时，可以直接加载并执行该脚本文件，以对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像。
本申请实施例中，对各帧原始图像均基于相同的切分处理逻辑进行切分处理，能够便于后续图像合成，在提升图像处理效率的同时保障合成效果。
例如，若多帧原始图像包括原始图像A、原始图像B、原始图像C，则分别对原始图像A、原始图像B、原始图像C进行切分处理，得到与原始图像A对应的原始子图像A1、原始子图像A2、原始子图像A3、原始子图像A4，与原始图像B对应的原始子图像B1、原始子图像B2、原始子图像B3、原始子图像B4，与原始图像C对应的原始子图像C1、原始子图像C2、原始子图像C3、原始子图像C4。
可以理解的是，由于针对各帧原始图像均基于相同的切分处理逻辑进行切分处理，则上述示例中，原始子图像A1、原始子图像B1、原始子图像C1分别在各自所属的原始图像中具有相同的位置，原始子图像A2、原始子图像B2、原始子图像C2分别在各自所属的原始图像中具有相同的位置，原始子图像A3、原始子图像B3、原始子图像C3分别在各自所属的原始图像中具有相同的位置，原始子图像A4、原始子图像B4、原始子图像C4分别在各自所属的原始图像中具有相同的位置。
本申请实施例在具体执行的过程中，对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像，使得对应的多个原始子图像中，相邻的原始子图像具有重叠图像区域。
其中，该重叠图像区域与原始子图像的面积比例值可以在预设阈值范围之间，预设阈值范围可以由电子设备的出厂程序预先设定，或者，也可以由用户根据图像处理需求进行设定，能够有效避免分块区域合成后会存在明显分界线。
预设阈值范围例如为，5％～10％。
S103：将多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用对应的图像处理器处理处于相同位置的原始子图像，图像处理器包括多个。
可选地，图像处理器包括：中央处理器、图形处理器、数字信号处理器以及神经网络处理器，对应的图像处理器为多个图像处理器中的一个，处于相同位置的原始子图像，对应相同的图像处理器，处于不同位置的原始子图像对应不同或者相同的图像处理器。
其中，不同的图像处理器执行不同或者相同的图像处理步骤。
可选地，一些实施例中，在获取多帧原始图像之前，还包括：
S201：确定进行图像处理所需要的全部图像处理步骤。
可选地，图像处理步骤包括以下至少之二：多帧对齐降噪的步骤、合成高动态范围图像的步骤、人工智能降噪的步骤，图像转换的步骤，以及图像编码的步骤。
S202：确定执行各图像处理步骤所需要的运算资源参数。
其中，运算资源参数例如为，执行各图像处理步骤所需要的运算时间、所占用的存储空间、所调用的脚本的数量等，对此不作限制。
S203：根据运算资源参数，结合各图像处理器的运算性能参数，为各图像处理步骤配置对应的图像处理器。
在具体执行的过程中，可以确定执行各图像处理步骤所需要的运算资源参数，并分析运算时间较大的图像处理步骤，并为其分配对应的多个的图像处理器，以在进行图像处理时，能够同时调用多个图像处理器处理该图像处理步骤，通过分析运算时间较大的图像处理步骤，并为其分配对应的多个的图像处理器，能够更大程度上的提升运算速率。
其中，运算性能参数用于描述各图像处理器的运算性能，运算性能参数例如为各图像处理器的运算时间、存储空间、运算负载情况等，对此不作限制。
作为一种示例，假设图像处理步骤为多帧对齐降噪的步骤、合成高动态范围图像的步骤，则可以首先基于海量图像处理数据，分析执行多帧对齐降噪的步骤所需要的运算时间、所占用的存储空间、所调用的脚本的数量，并分析执行合成高动态范围图像的步骤所需要的运算时间、所占用的存储空间、所调用的脚本的数量。
而后，确定多个图像处理器中，能够同时执行多帧对齐降噪的步骤和合成高动态范围图像的步骤的中央处理器、图形处理器，即，中央处理器能够同时执行多帧对齐降噪的步骤和合成高动态范围图像的步骤，图形处理器能够同时执行多帧对齐降噪的步骤和合成高动态范围图像的步骤，分别确定中央处理器、图形处理器的运算性能参数。
而后，结合所需要的运算资源参数，以及运算性能参数，为多帧对齐降噪的步骤配置对应的图像处理器(中央处理器、图形处理器)，为合成高动态范围图像的步骤配置对应的图像处理器(中央处理器、图形处理器)，能够精准快速地确定出与切分处理后的原始子图像匹配的图像处理器，保障协同处理效果。
在具体执行的过程中，在将多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器之前，确定当前图像处理步骤，确定与当前图像处理步骤匹配的图像处理器并作为第一图像处理器，第一图像处理器，为多个图像处理器中的至少两个；从第一图像处理器中，确定对应的图像处理器。
其中，当前图像处理步骤，为当前即将要执行的图像处理步骤，当前图像处理步骤为全部图像处理步骤中的任一个。
例如，若当前图像处理步骤为多帧对齐降噪的步骤，则与多帧对齐降噪的步骤匹配的图像处理器为中央处理器、图形处理器，该匹配的中央处理器、图形处理器可以被称为第一图像处理器。
作为一种示例，在确定出上述的第一图像处理器为中央处理器、图形处理器之后，可以将原始子图像A1、原始子图像B1、原始子图像C1传输至中央处理器，以对原始子图像A1、原始子图像B1、原始子图像C1执行多帧对齐降噪的步骤，而将原始子图像A2、原始子图像B2、原始子图像C2传输至图形处理器，以对原始子图像A2、原始子图像B2、原始子图像C2执行多帧对齐降噪的步骤，而后，若中央处理器具有冗余的运算资源，则可以将原始子图像A3、原始子图像B3、原始子图像C3传输至中央处理器，若图形处理器具有冗余的运算资源，则可以将原始子图像A3、原始子图像B3、原始子图像C3传输至图形处理器，以执行多帧对齐降噪的步骤，对此不作限制。
S104：获取各图像处理器处理得到的目标子图像，并对各目标子图像进行合成。
其中，各图像处理器处理处于相同位置的原始子图像得到的图像，可以被称为目标子图像，基于上述的表述，不难理解的是，目标子图像的数量与各帧原始图像对应的多个原始子图像的数量相同。
作为一种示例，在上述将原始子图像A1、原始子图像B1、原始子图像C1传输至中央处理器，以对原始子图像A1、原始子图像B1、原始子图像C1执行多帧对齐降噪的步骤，而将原始子图像A2、原始子图像B2、原始子图像C2传输至图形处理器，以对原始子图像A2、原始子图像B2、原始子图像C2执行多帧对齐降噪的步骤之后，读取中央处理器执行多帧对齐降噪的步骤得到的目标子图像A1，读取图形处理器执行多帧对齐降噪的步骤得到的目标子图像A2，而后，对目标子图像A1和目标子图像A2进行合成。
一些实施例中，在合成的过程中，若目标子图像A1和目标子图像A2为相邻，则考虑到二者之间可能会具有一定的重叠图像区域，则可以对重叠图像区域进行加权，并在加权后对目标子图像A1和目标子图像A2进行合成，以避免合成后的图像具有明显分界线，提升合成效果。
另一些实施例中，在对图像进行切分处理的同时，还可以实时监测各图像处理器的负载情况，根据具体图像处理器的负载情况，动态调整图像切分处理区域的大小，保证分块处理任务同步处理完成，减少任务间的等待时间。
本实施例中，通过获取多帧原始图像，并对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像，以及将多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用对应的图像处理器处理处于相同位置的原始子图像，图像处理器包括多个，获取各图像处理器处理得到的目标子图像，并对各目标子图像进行合成，实现了对各帧原始图像进行分块，针对不同分块的原始子图像调用不同图像处理器的运算资源，能够有效提高夜景成像速度，提升图像处理效率。
图3是本申请一实施例提出的基于多帧图像的图像处理装置的结构示意图。
参见图3，该装置300包括：
获取模块301，用于获取多帧原始图像；
切分模块302，用于对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像；
处理模块303，用于将多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用对应的图像处理器处理处于相同位置的原始子图像，图像处理器包括多个；
合成模块304，用于获取各图像处理器处理得到的目标子图像，并对各目标子图像进行合成。
可选地，一些实施例中，图像处理器包括：中央处理器、图形处理器、数字信号处理器以及神经网络处理器，对应的图像处理器为多个图像处理器中的一个，处于相同位置的原始子图像，对应相同的图像处理器，处于不同位置的原始子图像对应不同或者相同的图像处理器。
可选地，一些实施例中，参见图4，还包括：
确定模块305，用于确定当前图像处理步骤，并在将多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器之前，确定与当前图像处理步骤匹配的图像处理器并作为第一图像处理器，第一图像处理器，为多个图像处理器中的至少两个，以及从第一图像处理器中，确定对应的图像处理器。
可选地，一些实施例中，参见图4，还包括：
配置模块306，用于确定进行图像处理所需要的全部图像处理步骤，并确定执行各图像处理步骤所需要的运算资源参数，以及根据运算资源参数，结合各图像处理器的运算性能参数，为各图像处理步骤配置对应的图像处理器。
可选地，一些实施例中，图像处理步骤包括以下至少之二：
多帧对齐降噪的步骤、合成高动态范围图像的步骤、人工智能降噪的步骤，图像转换的步骤，以及图像编码的步骤。
可选地，一些实施例中，切分模块302，具体用于：
对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像，使得对应的多个原始子图像中，相邻的原始子图像具有重叠图像区域。
需要说明的是，前述对基于多帧图像的图像处理方法实施例的解释说明也适用于该实施例的基于多帧图像的图像处理装置300，此处不再赘述。
本实施例中，通过获取多帧原始图像，并对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像，以及将多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用对应的图像处理器处理处于相同位置的原始子图像，图像处理器包括多个，获取各图像处理器处理得到的目标子图像，并对各目标子图像进行合成，实现了对各帧原始图像进行分块，针对不同分块的原始子图像调用不同图像处理器的运算资源，能够有效提高夜景成像速度，提升图像处理效率。
为了实现上述实施例，本申请还提出一种电子设备200，参见图5，图5为本申请实施例提供的一种电子设备的结构示意图，包括：中央处理器210、图形处理器220、数字信号处理器230以及神经网络处理器240，存储器250及存储在存储器250上并可在中央处理器210上运行的计算机程序，图像传感器260、中央处理器210、图形处理器220、数字信号处理器230以及神经网络处理器240分别与中央处理器210电连接，中央处理器210执行程序时，实现上述的基于多帧图像的图像处理方法。
为了实现上述实施例，本申请实施例还提供了一种存储介质，当存储介质中的指令由处理器执行时，使得处理器执行以下步骤：获取多帧原始图像；对各帧原始图像进行切分处理，得到与各帧原始图像对应的多个原始子图像；将多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用对应的图像处理器处理处于相同位置的原始子图像，图像处理器包括多个；获取各图像处理器处理得到的目标子图像，并对各目标子图像进行合成。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种基于多帧图像的图像处理方法，其特征在于，所述方法包括：
获取当前拍摄场景的预览图像，以确定所述当前拍摄场景是否属于夜景场景；
在确定所述当前拍摄场景属于所述夜景场景后，启动夜景拍摄模式并获取多帧原始图像；
对各帧所述原始图像进行切分处理，得到与各帧所述原始图像对应的多个原始子图像，采用基于特征的方式，将各帧所述原始图像切分为预设数量的原始子图像，使得切分后的原始子图像具有不同的特征；
将所述多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用所述对应的图像处理器处理所述处于相同位置的原始子图像，所述图像处理器包括多个；
获取各所述图像处理器处理得到的目标子图像，并对各所述目标子图像进行合成；
所述图像处理器包括：中央处理器、图形处理器、数字信号处理器以及神经网络处理器，所述对应的图像处理器为多个图像处理器中的一个，所述处于相同位置的原始子图像，对应相同的图像处理器，处于不同位置的原始子图像对应不同或者相同的图像处理器。
2.根据权利要求1所述的基于多帧图像的图像处理方法，其特征在于，在所述对各帧所述原始图像进行切分处理时，还包括：
确定当前图像处理步骤；
所述将所述多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器之前，包括：
确定与所述当前图像处理步骤匹配的图像处理器并作为第一图像处理器，所述第一图像处理器，为所述多个图像处理器中的至少两个；
从所述第一图像处理器中，确定所述对应的图像处理器。
3.根据权利要求2所述的基于多帧图像的图像处理方法，其特征在于，所述获取多帧原始图像之前，还包括：
确定进行图像处理所需要的全部图像处理步骤；
确定执行各所述图像处理步骤所需要的运算资源参数；
根据所述运算资源参数，结合各所述图像处理器的运算性能参数，为各所述图像处理步骤配置对应的图像处理器。
4.根据权利要求2-3任一项所述的基于多帧图像的图像处理方法，其特征在于，所述图像处理步骤包括以下至少之二：
多帧对齐降噪的步骤、合成高动态范围图像的步骤、人工智能降噪的步骤，图像转换的步骤，以及图像编码的步骤。
5.根据权利要求1所述的基于多帧图像的图像处理方法，其特征在于，所述对各帧所述原始图像进行切分处理，得到与各帧所述原始图像对应的多个原始子图像，使得所述对应的多个原始子图像中，相邻的所述原始子图像具有重叠图像区域。
6.一种基于多帧图像的图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取当前拍摄场景的预览图像，以确定所述当前拍摄场景是否属于夜景场景，在确定所述当前拍摄场景属于所述夜景场景后，启动夜景拍摄模式并获取多帧原始图像；
切分模块，用于对各帧所述原始图像进行切分处理，得到与各帧所述原始图像对应的多个原始子图像，采用基于特征的方式，将各帧所述原始图像切分为预设数量的原始子图像，使得切分后的原始子图像具有不同的特征；
处理模块，用于将所述多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器，以采用所述对应的图像处理器处理所述处于相同位置的原始子图像，所述图像处理器包括多个；
合成模块，用于获取各所述图像处理器处理得到的目标子图像，并对各所述目标子图像进行合成；
所述图像处理器包括：中央处理器、图形处理器、数字信号处理器以及神经网络处理器，所述对应的图像处理器为多个图像处理器中的一个，所述处于相同位置的原始子图像，对应相同的图像处理器，处于不同位置的原始子图像对应不同或者相同的图像处理器。
7.根据权利要求6所述的基于多帧图像的图像处理装置，其特征在于，还包括：
确定模块，用于确定当前图像处理步骤，并在所述将所述多帧原始图像中，处于相同位置的原始子图像传输至对应的图像处理器之前，确定与所述当前图像处理步骤匹配的图像处理器并作为第一图像处理器，所述第一图像处理器，为所述多个图像处理器中的至少两个，以及从所述第一图像处理器中，确定所述对应的图像处理器。
8.根据权利要求7所述的基于多帧图像的图像处理装置，其特征在于，还包括：
配置模块，用于确定进行图像处理所需要的全部图像处理步骤，并确定执行各所述图像处理步骤所需要的运算资源参数，以及根据所述运算资源参数，结合各所述图像处理器的运算性能参数，为各所述图像处理步骤配置对应的图像处理器。
9.根据权利要求7-8任一项所述的基于多帧图像的图像处理装置，其特征在于，所述图像处理步骤包括以下至少之二：
多帧对齐降噪的步骤、合成高动态范围图像的步骤、人工智能降噪的步骤，图像转换的步骤，以及图像编码的步骤。
10.根据权利要求6所述的基于多帧图像的图像处理装置，其特征在于，所述切分模块，具体用于：
对各帧所述原始图像进行切分处理，得到与各帧所述原始图像对应的多个原始子图像，使得所述对应的多个原始子图像中，相邻的所述原始子图像具有重叠图像区域。
11.一种电子设备，其特征在于，包括：中央处理器、图形处理器、数字信号处理器以及神经网络处理器、存储器及存储在存储器上并可在中央处理器上运行的计算机程序，图像传感器、所述图形处理器、所述数字信号处理器以及所述神经网络处理器分别与所述中央处理器电连接，所述中央处理器执行所述程序时，实现如权利要求1-5中任一所述的基于多帧图像的图像处理方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的基于多帧图像的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910509713.3A CN110264473B (zh) | 2019-06-13 | 2019-06-13 | 基于多帧图像的图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910509713.3A CN110264473B (zh) | 2019-06-13 | 2019-06-13 | 基于多帧图像的图像处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110264473A CN110264473A (zh) | 2019-09-20 |
| CN110264473B true CN110264473B (zh) | 2022-01-04 |
Family
ID=67917979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910509713.3A Active CN110264473B (zh) | 2019-06-13 | 2019-06-13 | 基于多帧图像的图像处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110264473B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111988525A (zh) * | 2020-08-25 | 2020-11-24 | Oppo广东移动通信有限公司 | 图像处理方法及相关装置 |
| CN112163985B (zh) * | 2020-09-22 | 2022-11-29 | Oppo（重庆）智能科技有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN112991172A (zh) * | 2021-03-08 | 2021-06-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113132800B (zh) * | 2021-04-14 | 2022-09-02 | Oppo广东移动通信有限公司 | 视频处理方法、装置、视频播放器、电子设备及可读介质 |
| CN113256485B (zh) * | 2021-05-21 | 2024-01-30 | 百果园技术(新加坡)有限公司 | 图像拉伸方法、装置、电子设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1889667A (zh) * | 2006-07-26 | 2007-01-03 | 浙江大学 | 视频信号多处理器并行处理方法 |
| CN102510448A (zh) * | 2011-10-13 | 2012-06-20 | 苏州百滨电子科技有限公司 | 多处理器嵌入式图像采集和处理方法和装置 |
| CN103201764A (zh) * | 2010-11-12 | 2013-07-10 | 高通股份有限公司 | 使用多个处理器的并行图像处理 |
| CN105933604A (zh) * | 2016-05-20 | 2016-09-07 | 珠海市魅族科技有限公司 | 一种图像获取的方法及终端 |
| CN105959559A (zh) * | 2016-06-08 | 2016-09-21 | 维沃移动通信有限公司 | 一种夜景拍摄方法及移动终端 |
| CN109218613A (zh) * | 2018-09-18 | 2019-01-15 | Oppo广东移动通信有限公司 | 高动态范围图像合成方法、装置、终端设备和存储介质 |
| CN109348089A (zh) * | 2018-11-22 | 2019-02-15 | Oppo广东移动通信有限公司 | 夜景图像处理方法、装置、电子设备及存储介质 |
| CN109379535A (zh) * | 2018-11-30 | 2019-02-22 | Oppo广东移动通信有限公司 | 拍摄方法和装置、电子设备、计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009147795A1 (ja) * | 2008-06-05 | 2009-12-10 | パナソニック株式会社 | 映像処理システム |
| CN109756681A (zh) * | 2019-01-30 | 2019-05-14 | Oppo广东移动通信有限公司 | 图像合成方法、装置、电子设备及可读存储介质 |
-
2019
- 2019-06-13 CN CN201910509713.3A patent/CN110264473B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1889667A (zh) * | 2006-07-26 | 2007-01-03 | 浙江大学 | 视频信号多处理器并行处理方法 |
| CN103201764A (zh) * | 2010-11-12 | 2013-07-10 | 高通股份有限公司 | 使用多个处理器的并行图像处理 |
| CN102510448A (zh) * | 2011-10-13 | 2012-06-20 | 苏州百滨电子科技有限公司 | 多处理器嵌入式图像采集和处理方法和装置 |
| CN105933604A (zh) * | 2016-05-20 | 2016-09-07 | 珠海市魅族科技有限公司 | 一种图像获取的方法及终端 |
| CN105959559A (zh) * | 2016-06-08 | 2016-09-21 | 维沃移动通信有限公司 | 一种夜景拍摄方法及移动终端 |
| CN109218613A (zh) * | 2018-09-18 | 2019-01-15 | Oppo广东移动通信有限公司 | 高动态范围图像合成方法、装置、终端设备和存储介质 |
| CN109348089A (zh) * | 2018-11-22 | 2019-02-15 | Oppo广东移动通信有限公司 | 夜景图像处理方法、装置、电子设备及存储介质 |
| CN109379535A (zh) * | 2018-11-30 | 2019-02-22 | Oppo广东移动通信有限公司 | 拍摄方法和装置、电子设备、计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110264473A (zh) | 2019-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264473B (zh) | 基于多帧图像的图像处理方法、装置及电子设备 | |
| CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN109218628B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| KR102149187B1 (ko) | 전자 장치와, 그의 제어 방법 | |
| CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2017215501A1 (zh) | 图像降噪处理方法、装置及计算机存储介质 | |
| KR100810310B1 (ko) | 조도차가 다른 영상의 재구성 장치 및 방법 | |
| CN112529775A (zh) | 一种图像处理的方法和装置 | |
| JP2022505115A (ja) | 画像処理の方法および装置並びにデバイス | |
| CN111539960B (zh) | 图像处理方法以及相关设备 | |
| WO2017101561A1 (zh) | 高动态范围图像的生成方法、拍照装置和终端、成像方法 | |
| CN102257531A (zh) | 高动态范围图像组合 | |
| CN111598776A (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN109618102B (zh) | 对焦处理方法、装置、电子设备及存储介质 | |
| CN112767295A (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN110868547A (zh) | 拍照控制方法、拍照控制装置、电子设备及存储介质 | |
| CN110971841A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN115314617A (zh) | 图像处理***及方法、计算机可读介质和电子设备 | |
| CN115633262A (zh) | 图像处理方法和电子设备 | |
| US20220301278A1 (en) | Image processing method and apparatus, storage medium, and electronic device | |
| CN113177886B (zh) | 图像处理方法、装置、计算机设备及可读存储介质 | |
| CN116916151A (zh) | 拍摄方法、电子设备和存储介质 | |
| CN111491101B (zh) | 图像处理器、图像处理方法、拍摄装置和电子设备 | |
| US11443403B2 (en) | Image and video processing using multiple pipelines | |
| CN111080543B (zh) | 图像处理方法及装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |