CN115278069A - 图像处理方法及装置、计算机可读存储介质、终端 - Google Patents
图像处理方法及装置、计算机可读存储介质、终端 Download PDFInfo
- Publication number
- CN115278069A CN115278069A CN202210868040.2A CN202210868040A CN115278069A CN 115278069 A CN115278069 A CN 115278069A CN 202210868040 A CN202210868040 A CN 202210868040A CN 115278069 A CN115278069 A CN 115278069A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- original
- photographing
- adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000000694 effects Effects 0.000 claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 21
- 238000007499 fusion processing Methods 0.000 claims abstract description 14
- 230000004044 response Effects 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 230000004927 fusion Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000003705 background correction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- -1 gray scale value Chemical compound 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
一种图像处理方法及装置、计算机可读存储介质、终端，所述方法包括：响应于接收到拍照指令，自当前拍照指令所属时刻起确定多帧拍照原始图像，每帧拍照原始图像具有各自的曝光强度；分别计算每帧所述拍照原始图像的图像调整参数；基于所述图像调整参数，对各帧拍照原始图像进行图像信号处理，以得到处理后图像，其中，所述图像调整参数用于表示调整显示效果的直接参数；对所得到的多帧处理后图像进行图像融合处理，得到融合后拍照图像。上述方案通过将图像调整参数与各帧拍照原始图像严格匹配，有助于解决多曝光拍照***中的参数适用准确性问题，提升多曝光成像效果。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、计算机可读存储介质、终端。
背景技术
在多曝光成像/拍照技术领域，往往通过采集同一场景下不同曝光强度的图像，并采用图像调整参数对不同曝光强度的原始图像进行图像信号处理(Image SignalProcessing，ISP)得到多种曝光的YUV(“Y”表示明亮度(Luminance或Luma，也就是灰阶值，“U”和“V”表示色度(Chrominance或Chroma))图像，然后再进行图像融合处理得到最终的拍照图像。上述过程中，图像调整参数使用是否准确会直接影响到最终的拍照图像效果。
在现有技术中，相机***在进入拍照模式(预览模式)后，会统计图像传感器采集的各帧原始图像(或称为预览原始图像)的图像调整统计信息，例如自动曝光(AutoExposure，AE)统计信息、自动白平衡(Auto White Balance，AWB)统计信息、自动对焦(AutoFocus，AF)统计信息(以下简称3A统计信息)，统计完成后会产生中断，然后将3A统计信息送入3A算法模块进行分析计算得到图像调整参数(以下称3A参数)；在接收到拍照指令后，直接复用预览过程中计算得到的3A参数对多帧不同曝光强度的原始图像(或称为拍照原始图像)进行ISP处理得到多种曝光的YUV图像。然而，上述现有技术存在如下缺点：
一方面，为保证预览效果，在预览模式下对各帧原始图像统计3A统计信息后会进行筛选，仅选择处于正常曝光强度内的3A统计信息，例如，剔除掉强曝光和弱曝光图像的3A统计信息)。因此在拍照模式下，直接复用预览模式下的3A统计信息计算出来的3A参数来处理各帧不同曝光强度(可能包含强曝光、正常曝光、弱曝光)的拍照原始图像，会因参数使用不准确导致处理效果不好，影响最终的成像效果(例如可能出现偏色等问题)。另一方面，由于3A参数计算、传输等延时性因素的影响，在进行ISP处理时使用的3A参数往往具有一定的延迟性，对当前帧进行处理时所使用的3A参数可能是基于前一帧或者前两帧的3A统计信息计算出的参数。因此，如果简单复用预览模式的3A参数处理拍照原始图像，受延迟问题影响，也会因参数使用不准确而降低成像效果。
发明内容
本发明实施例解决的技术问题是现有技术在拍照过程中直接复用预览过程中计算出的图像调整参数，对各帧不同曝光强度的拍照原始图像进行图像信号处理，导致因参数使用不准确而降低成像效果。
为实现上述目的，本发明实施例提供一种图像处理方法，包括以下步骤：响应于接收到拍照指令，自当前拍照指令所属时刻起确定多帧拍照原始图像，每帧拍照原始图像具有各自的曝光强度；分别计算每帧所述拍照原始图像的图像调整参数；基于所述图像调整参数，对各帧拍照原始图像进行图像信号处理，以得到处理后图像，其中，所述图像调整参数用于表示调整显示效果的直接参数；对所得到的多帧处理后图像进行图像融合处理，得到融合后拍照图像。
可选的，所述分别计算每帧所述拍照原始图像的图像调整参数包括：确定每帧所述拍照原始图像的图像调整统计信息，所述图像调整统计信息用于表示调整显示效果的间接参数；对于每帧所述拍照原始图像，基于所述图像调整统计信息确定所述图像调整参数。
可选的，所述确定每帧所述拍照原始图像的图像调整统计信息包括：基于每帧所述拍照原始图像的帧编号，获取同一帧编号所属的预览原始图像的预览调整统计信息，作为所述图像调整统计信息；或者，基于每帧所述拍照原始图像的采集时间戳，获取同一采集时间戳所属的预览原始图像的预览调整统计信息，作为所述图像调整统计信息；其中，所述预览原始图像及预览调整统计信息是响应于接收到进入拍照模式指令后确定的。
可选的，所述图像调整统计信息选自以下一项或多项：自动曝光AE统计信息、自动白平衡AWB统计信息、自动对焦AF统计信息。
可选的，所述图像调整统计信息包含AE统计信息以及AWB统计信息，所述图像调整参数包含自动曝光AE调整参数、自动白平衡AWB调整参数以及自动镜头阴影矫正ALSC参数；所述对于每帧所述拍照原始图像，基于所述图像调整统计信息确定所述图像调整参数包括：采用自动曝光算法，基于该帧拍照原始图像的AE统计信息确定AE调整参数；采用自动白平衡算法，基于该帧拍照原始图像的AWB统计信息、所述AE调整参数确定AWB调整参数；基于所述AE调整参数和所述AWB调整参数，确定所述ALSC参数。
可选的，所述自当前拍照指令所属时刻起确定多帧拍照原始图像包括：自当前拍照指令所属时刻起的预设时长内，确定多帧所述拍照原始图像；或者，自当前拍照指令所属时刻起确定预设帧数的所述拍照原始图像。
可选的，所述对所得到的多帧处理后图像进行图像融合处理包括：采用多曝光图像融合算法，对所得到的多帧处理后图像进行图像融合处理。
可选的，所述处理后图像选自：YUV图像、RGB图像以及YIQ图像。
本发明实施例还提供一种图像处理装置，包括：拍照原始图像确定模块，用于响应于接收到拍照指令，自当前拍照指令所属时刻起确定多帧拍照原始图像，每帧拍照原始图像具有各自的曝光强度；图像调整参数确定模块，用于分别计算每帧所述拍照原始图像的图像调整参数；图像信号处理模块，用于基于所述图像调整参数，对各帧拍照原始图像进行图像信号处理，以得到处理后图像，其中，所述图像调整参数用于表示调整显示效果的直接参数；融合成像模块，用于对所得到的多帧处理后图像进行图像融合处理，得到融合后拍照图像。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图像处理方法的步骤。
本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图像处理方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
在本发明实施例中，响应于接收到拍照指令，自当前拍照指令所属时刻起确定多帧拍照原始图像，每帧拍照原始图像具有各自的曝光强度；分别计算每帧所述拍照原始图像的图像调整参数；基于所述图像调整参数，对各帧拍照原始图像进行图像信号处理，以得到处理后图像，其中，所述图像调整参数用于表示调整显示效果的直接参数。相比于现有技术在拍照过程中直接复用预览模式下统计的图像调整统计信息计算得到的图像调整参数，对各帧不同曝光强度的拍照原始图像进行ISP处理，导致因参数使用不准确而降低成像效果。本发明实施例通过对图像调整参数的进行帧级控制，在接收到拍照指令后，分别计算每帧拍照原始图像的图像调整参数，而非直接复用预览流程中确定的图像调整参数。由此，确保图像调整参数与各帧拍照原始图像严格匹配，有助于解决多曝光拍照***中的参数适用准确性问题，提升多曝光成像效果。
进一步，所述分别计算每帧所述拍照原始图像的图像调整参数包括：确定每帧所述拍照原始图像的图像调整统计信息(例如3A统计信息)，所述图像调整统计信息用于表示调整显示效果的间接参数；对于每帧所述拍照原始图像，基于所述图像调整统计信息确定所述图像调整参数。其中，所述3A统计信息可以直接复用预览流程中确定的与所述拍照原始图像的帧编号相同或者采集时间戳相同的预览原始图像的3A统计信息，而无需再重新计算每帧拍照原始图像的3A统计信息，从而可以提高3A参数的计算效率，从而提高成像效率、降低运算开销。
附图说明
图1是本发明实施例中一种图像处理方法的流程图；
图2是图1中步骤S12的一种具体实施方式的流程图；
图3是本发明实施例中一种图像处理装置的结构示意图。
具体实施方式
如前所述，在多曝光成像/拍照技术领域，在对不同曝光强度的原始图像进行图像信号处理(Image Signal Processing，ISP)过程中，图像调整参数使用是否准确会直接影响到最终的拍照图像效果。
在现有技术中，相机***在进入拍照模式(预览模式)后，会统计图像传感器采集的各帧原始图像(或称为预览原始图像)的图像调整统计信息，例如自动曝光(AutoExposure，AE)统计信息、自动白平衡(Auto White Balance，AWB)统计信息、自动对焦(AutoFocus，AF)统计信息(以下简称3A统计信息)，统计完成后会产生中断，然后将3A统计信息送入3A算法模块进行分析计算得到图像调整参数(以下称3A参数)；在接收到拍照指令后，直接复用预览过程中计算得到的3A参数对多帧不同曝光强度的原始图像(或称为拍照原始图像)进行ISP处理得到多种曝光的YUV图像。
本发明的发明人经研究发现，上述现有技术存在如下缺点：一方面，为保证预览效果，在预览模式下对各帧原始图像统计3A统计信息后会进行筛选，仅选择处于正常曝光强度内的3A统计信息(不包含强曝光和弱曝光图像的3A统计信息)。因此，在拍照模式下，直接复用预览模式下的3A统计信息计算出来的3A参数来处理各帧不同曝光强度(可能包含强曝光、正常曝光、弱曝光)的拍照原始图像，会因参数使用不准确导致处理效果不好，影响最终的成像效果(例如可能出现偏色等问题)。另一方面，由于3A参数计算、传输等延时性因素的影响，在进行ISP处理时使用的3A参数往往具有一定的延迟性，对当前帧进行处理时所使用的3A参数可能是基于前一帧或者前两帧的3A统计信息计算出的参数。因此，如果简单复用预览模式的3A参数处理拍照原始图像，受延迟问题影响，也会因参数使用不准确而降低成像效果。
为解决上述技术问题，本发明实施例提供一种图像处理方法，具体包括：响应于接收到拍照指令，自当前拍照指令所属时刻起确定多帧拍照原始图像，每帧拍照原始图像具有各自的曝光强度；分别计算每帧所述拍照原始图像的图像调整参数；基于所述图像调整参数，对各帧拍照原始图像进行图像信号处理，以得到处理后图像，其中，所述图像调整参数用于表示调整显示效果的直接参数。
由上，本发明实施例通过对图像调整参数的进行帧级控制，在接收到拍照指令后，分别计算每帧拍照原始图像的图像调整参数，而非直接复用预览流程中确定的图像调整参数，从而确保图像调整参数与当前拍照帧严格匹配，有助于解决多曝光拍照***中的参数适用准确性问题，提升多曝光成像效果。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细说明。
参照图1，图1是本发明实施例中一种图像处理方法的流程图。所述方法可以包括步骤S11至步骤S14：
步骤S11：响应于接收到拍照指令，自当前拍照指令所属时刻起确定多帧拍照原始图像，每帧拍照原始图像具有各自的曝光强度；
步骤S12：分别计算每帧所述拍照原始图像的图像调整参数；
步骤S13：基于所述图像调整参数，对各帧拍照原始图像进行图像信号处理，以得到处理后图像，其中，所述图像调整参数用于表示调整显示效果的直接参数；
步骤S14：对所得到的多帧处理后图像进行图像融合处理，得到融合后拍照图像。
在具体实施中，上述图像处理方法可以由终端执行，具体可以是现有的各种具有图像处理能力的终端，例如各种类型的相机，也可以是安装有拍照软件的手机、计算机、平板电脑和穿戴式设备(如智能手表)等，但并不限于此。具体而言，所述图像处理方法可以应用于上述列举的各类终端的多曝光拍照***，例如：高动态范围(High Dynamic RangeImaging，HDR)拍照、夜景拍照等模式，并且主要依赖相机基础软件的流程优化加以实现。
可以理解的是，在具体实施中，上述图像处理方法可以采用软件程序的方式实现，该软件程序运行于芯片或芯片模组内部集成的处理器中；或者，该方法可以采用硬件或者软硬结合的方式来实现。
在步骤S11的具体实施中，所述多帧拍照原始图像可以是在相机或拍照***实时缓存的原始图像(RAW图)数据流中选取的曝光强度不同的若干帧图像，所述RAW图可以图像传感器实时采集的未经处理的图像数据。
进一步地，所述自当前拍照指令所属时刻起确定多帧拍照原始图像包括：自当前拍照指令所属时刻起的预设时长内，确定多帧所述拍照原始图像；或者，自当前拍照指令所属时刻起确定预设帧数的所述拍照原始图像。
具体地，可以自当前拍照指令所属时刻起往前预设时长内图像传感器采集的RAW图中选取的曝光强度不同的若干帧图像作为多帧所述拍照原始图像。其中，多帧所述拍照原始图像具体包含的曝光强度级别、所述预设时长或预设帧数均可以根据具体应用场景不同而存在区别，例如可以根据后续多曝光融合算法的需要而确定，此处不做限制。
在步骤S12的具体实施中，所述图像调整参数可以用于表示调整显示效果的直接参数，可以被理解为相机设置、图像处理设置或其组合。其中，作为相机设置的图像调整参数可以是与相机的焦点、曝光时间、增益、光圈或景深的变化有关的参数。作为图像处理设置的图像调整参数可以是改变颜色方案、信噪比或对比度的参数。
作为一个非限制性的实施例，所述图像调整参数可以包括3A参数，其中，3A参数可以包括：自动对焦(Auto Focus，AF)参数、自动曝光(Auto Exposure，AE)参数以及自动白平衡(Auto White Balance，AWB)参数，还可以包括自动镜头阴影矫正(Auto Lens ShadingCorrection，ALSC)参数。上述图像调整参数获取后，可以用于直接调整图像的显示效果，改善拍照成像质量。
可以理解的是，在具体实施中，考虑到软硬件处理和网络传输等过程中的延迟性，为保证所述图像调整参数严格对应于拍照原始图像(图像调整参数的帧级对准)，可以采用离线方式计算每帧所述拍照原始图像的图像调整参数，并且在后续步骤中也采用离线方式基于所述图像调整参数对各帧拍照原始图像进行图像信号处理。
参照图2，图2是图1中步骤S12的一种具体实施方式的流程图。所述分别计算每帧所述拍照原始图像的图像调整参数可以包括步骤S21至步骤S22，以下对各个步骤进行说明。
在步骤S21中，确定每帧所述拍照原始图像的图像调整统计信息，所述图像调整统计信息用于表示调整显示效果的间接参数。
进一步地，所述图像调整统计信息可以选自以下一项或多项：自动曝光AE统计信息、自动白平衡AWB统计信息、自动对焦AF统计信息。
其中，所述图像调整统计信息可以是硬件分析模块对拍照原始图像中一些与图像信号处理有关的信息等进行数学统计(例如直方图统计)后得到的统计结果。需要指出的是，作为用于表示调整显示效果的间接参数，该统计结果可以作为后续软件计算模块的输入数据，经过相关算法处理后可以得到可具体应用于进行相机设置和图像处理设置的图像调整参数，也即用于表示调整显示效果的直接参数可以是经过相关算法处理后得到的。
作为一个非限制性示例，相机的镜头(Lens)会首先把被摄景物投影在图像传感器(Sensor)上，与此同时，影像处理器(ISP)的硬件模块会通过测光、测距等得到图像调整统计信息，然后软件模块分析计算出合适的图像调整统计参数并指示镜头对焦，随着用户按下拍照键，图像传感器(Sensor)会完成一次曝光，并通过影像处理器(ISP)变成图片，再经应用程序的后期处理(例如多曝光融合处理)，最终呈现在屏幕上。
进一步地，所述确定每帧所述拍照原始图像的图像调整统计信息包括：基于每帧所述拍照原始图像的帧编号，获取同一帧编号所属的预览原始图像的预览调整统计信息，作为所述图像调整统计信息；或者，基于每帧所述拍照原始图像的采集时间戳，获取同一采集时间戳所属的预览原始图像的预览调整统计信息，作为所述图像调整统计信息。
其中，所述预览原始图像及预览调整统计信息是响应于接收到进入拍照模式(或预览模式)指令后确定的。
需要指出的是，对于图像传感器采集得到的每一帧RAW图，均可以采用拍照原始图像和预览原始图像的方式进行存取。
在具体实施中，除了上述列举的方法，还可以采用其他方法确定每帧所述拍照原始图像的调整统计信息，本发明实施例对此不做限制。
可以理解的是，在具体实施中，相机或拍照***除了具有上述图像处理方法包括的拍照流程(对应于拍照模式)，还可以包括一个预览流程(对应于预览模式)。其中，预览流程可以采用在线方式进行执行，主要可以包括如下过程：
相机或拍照***进入拍照开启模式/预览模式时，通常会实时接收图像传感器采集的原始图像流(或称为预览原始图像流)并统计每帧预览原始图像的图像调整统计信息，例如3A统计信息(与此同时，还可以将接收到的原始图像流及其3A统计信息存入内存中供拍照模式使用)。然后相机或拍照***选取合适的3A统计信息计算图像调整参数供ISP进行图像信号处理得到处理后初步预览图像(例如YUV图像)，再输入预览算法模块进行处理得到最终的预览图像。
可以理解的是，在本发明实施例中，通过直接采用预览流程中确定的与所述拍照原始图像的帧编号相同或者采集时间戳相同的预览原始图像的3A统计信息。由于无需再重新计算每帧拍照原始图像的3A统计信息，因而可以提高3A参数的计算效率，从而提高成像效率、降低运算开销。
在步骤S22中，对于每帧所述拍照原始图像，基于所述图像调整统计信息确定所述图像调整参数。
进一步地，所述图像调整统计信息包含AE统计信息以及AWB统计信息，所述图像调整参数包含自动曝光AE调整参数、自动白平衡AWB调整参数以及自动镜头阴影矫正ALSC参数；所述对于每帧所述拍照原始图像，基于所述图像调整统计信息确定所述图像调整参数包括：采用自动曝光算法，基于该帧拍照原始图像的AE统计信息确定AE调整参数；采用自动白平衡算法，基于该帧拍照原始图像的AWB统计信息、所述AE调整参数确定AWB调整参数；基于所述AE调整参数和所述AWB调整参数，确定所述ALSC参数。
其中，所述自动曝光算法、自动白平衡算法均属于3A算法中的算法类型。
自动曝光算法可以对拍照原始图像的自动曝光AE统计信息进行分析计算，输出可以用来调整快门速度、光圈值以及感光度等的自动曝光AE参数，供ISP调节拍照原始图像的亮度或明暗度，以改善图像中某些区域过曝光而另一些区域曝光不足的问题。
自动白平衡算法则可以对拍照原始图像的自动白平衡AWB统计信息进行分析计算，输出自动白平衡AWB参数，用来供ISP修正拍照原始图像的色温，以使最终成像尽可能还原拍摄场景/对象的真实色彩。例如，由于色温较低，图像传感器捕捉黄昏为黄色色调，而在日光充足的环境下，会呈现较高的蓝色色调，通过使用AWB算法输出合适的AWB参数，可以使摄像机不仅在低光照环境下拍摄更好的图像，还能够提供更好的色彩还原和偏色补偿功能。
继续参照图1，在步骤S13的具体实施中，所述图像信号处理可以是运用在相机或者具备拍摄功能设备上的一种芯片——影像处理器或图像信号处理器(Image SignalProcessor，ISP)对图像传感器输出的原始图像数据进行信号处理的过程。图像信号处理过程的主要功能例如是线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等。依赖于图像信号处理才能在不同的光学条件下都能较好的还原现场细节，图像信号处理技术在很大程度上决定了摄像机的成像质量。
在具体实施中，图像信号处理器ISP支持预览数据实时处理的同时，还可以将图像传感器输出的RAW图写入内存中。并且ISP支持对于拍照流数据的单独离线处理，从内存读取RAW图进行完整流水线流程的处理，即ISP至少两路流程，预览流程可以工作在在线模式，拍照流程可以工作在离线模式。相机软件支持在保存RAW图序列的同时，对齐保存相应数据帧的3A统计信息。3A控制软件支持对拍照数据帧的单独离线链路处理，实现3A参数的帧级准确对齐。
进一步地，经过ISP处理后所得到的多帧处理后图像可以被称为多重曝光(multiple exposure)图像(通常是多种曝光强度级别下的YUV图像)。在另一些实施例中，也可以为多种曝光强度级别下的RGB图像、YIQ图像等，本发明实施例对ISP输出的处理后图像的格式不做限制。
在步骤S14的具体实施中，可以采用多曝光图像融合算法，对所得到的多帧处理后图像进行图像融合处理。
其中，多曝光融合(multiple exposure fusion)技术是摄影中一种采用两次或者更多次独立曝光，然后将结果按照某种图像处理算法进行融合得到单张高动态范围拍照图像的技术。所述多曝光图像融合算法可以根据具体应用场景的不同进行选择。例如，拉普拉斯金字塔Laplace Pyramid Blending融合算法等传统的多曝光图像融合算法，以及深度融合DeepFuse等基于机器学习的多曝光图像融合算法。
在本发明实施例中，相比于现有技术在拍照过程中直接复用预览模式下统计的图像调整统计信息计算得到的图像调整参数，对各帧不同曝光强度的拍照原始图像进行ISP处理，导致因参数使用不准确而降低成像效果；本发明实施例通过对图像调整参数的进行帧级控制，在接收到拍照指令后，分别计算每帧拍照原始图像的图像调整参数，而非直接复用预览流程中确定的图像调整参数。由此，确保图像调整参数与当前拍照帧严格匹配，有助于解决多曝光拍照***中的参数适用准确性问题，提升多曝光成像效果。
参照图3，图3是本发明实施例中一种图像处理装置的结构示意图。所述图像处理装置可以包括：
拍照原始图像确定模块31，用于响应于接收到拍照指令，自当前拍照指令所属时刻起确定多帧拍照原始图像，每帧拍照原始图像具有各自的曝光强度；
图像调整参数确定模块32，用于分别计算每帧所述拍照原始图像的图像调整参数；
图像信号处理模块33，用于基于所述图像调整参数，对各帧拍照原始图像进行图像信号处理，以得到处理后图像，其中，所述图像调整参数用于表示调整显示效果的直接参数；
融合成像模块34，用于对所得到的多帧处理后图像进行图像融合处理，得到融合后拍照图像。
关于该图像处理装置的原理、具体实现和有益效果请参照前文及图1至图2示出的关于图像处理方法的相关描述，此处不再赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图1和图2所示的图像处理方法的步骤。所述计算机可读存储介质可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。
具体地，在本发明实施例中，所述处理器可以为中央处理单元(centralprocessing unit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，简称DSP)、专用集成电路(application specificintegrated circuit，简称ASIC)、现成可编程门阵列(fieldprogrammable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double datarate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，简称DR RAM)。
本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图1和图2所示的图像处理方法的步骤。所述终端可以包括但不限于手机、计算机、平板电脑等终端设备，还可以为服务器、云平台等。或者，所述终端可以包括上述图3所示图像处理装置。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
响应于接收到拍照指令，自当前拍照指令所属时刻起确定多帧拍照原始图像，每帧拍照原始图像具有各自的曝光强度；
分别计算每帧所述拍照原始图像的图像调整参数；
基于所述图像调整参数，对各帧拍照原始图像进行图像信号处理，以得到处理后图像，其中，所述图像调整参数用于表示调整显示效果的直接参数；对所得到的多帧处理后图像进行图像融合处理，得到融合后拍照图像。
2.根据权利要求1所述的方法，其特征在于，所述分别计算每帧所述拍照原始图像的图像调整参数包括：
确定每帧所述拍照原始图像的图像调整统计信息，所述图像调整统计信息用于表示调整显示效果的间接参数；
对于每帧所述拍照原始图像，基于所述图像调整统计信息确定所述图像调整参数。
3.根据权利要求2所述的方法，其特征在于，所述确定每帧所述拍照原始图像的图像调整统计信息包括：
基于每帧所述拍照原始图像的帧编号，获取同一帧编号所属的预览原始图像的预览调整统计信息，作为所述图像调整统计信息；
或者，
基于每帧所述拍照原始图像的采集时间戳，获取同一采集时间戳所属的预览原始图像的预览调整统计信息，作为所述图像调整统计信息；
其中，所述预览原始图像及预览调整统计信息是响应于接收到进入拍照模式指令后确定的。
4.根据权利要求2所述的方法，其特征在于，所述图像调整统计信息选自以下一项或多项：
自动曝光AE统计信息、自动白平衡AWB统计信息、自动对焦AF统计信息。
5.根据权利要求2所述的方法，其特征在于，所述图像调整统计信息包含AE统计信息以及AWB统计信息，所述图像调整参数包含自动曝光AE调整参数、自动白平衡AWB调整参数以及自动镜头阴影矫正ALSC参数；
所述对于每帧所述拍照原始图像，基于所述图像调整统计信息确定所述图像调整参数包括：
采用自动曝光算法，基于该帧拍照原始图像的AE统计信息确定AE调整参数；
采用自动白平衡算法，基于该帧拍照原始图像的AWB统计信息、所述AE调整参数确定AWB调整参数；
基于所述AE调整参数和所述AWB调整参数，确定所述ALSC参数。
6.根据权利要求1所述的方法，其特征在于，所述自当前拍照指令所属时刻起确定多帧拍照原始图像包括：
自当前拍照指令所属时刻起的预设时长内，确定多帧所述拍照原始图像；或者，
自当前拍照指令所属时刻起确定预设帧数的所述拍照原始图像。
7.根据权利要求1所述的方法，其特征在于，所述对所得到的多帧处理后图像进行图像融合处理包括：
采用多曝光图像融合算法，对所得到的多帧处理后图像进行图像融合处理。
8.根据权利要求1或7所述的方法，其特征在于，所述处理后图像选自：
YUV图像、RGB图像以及YIQ图像。
9.一种图像处理装置，其特征在于，包括：
拍照原始图像确定模块，用于响应于接收到拍照指令，自当前拍照指令所属时刻起确定多帧拍照原始图像，每帧拍照原始图像具有各自的曝光强度；图像调整参数确定模块，用于分别计算每帧所述拍照原始图像的图像调整参数；
图像信号处理模块，用于基于所述图像调整参数，对各帧拍照原始图像进行图像信号处理，以得到处理后图像，其中，所述图像调整参数用于表示调整显示效果的直接参数；
融合成像模块，用于对所得到的多帧处理后图像进行图像融合处理，得到融合后拍照图像。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至8任一项所述图像处理方法的步骤。
11.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至8任一项所述图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210868040.2A CN115278069A (zh) | 2022-07-22 | 2022-07-22 | 图像处理方法及装置、计算机可读存储介质、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210868040.2A CN115278069A (zh) | 2022-07-22 | 2022-07-22 | 图像处理方法及装置、计算机可读存储介质、终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115278069A true CN115278069A (zh) | 2022-11-01 |
Family
ID=83768302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210868040.2A Pending CN115278069A (zh) | 2022-07-22 | 2022-07-22 | 图像处理方法及装置、计算机可读存储介质、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115278069A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115589539A (zh) * | 2022-11-29 | 2023-01-10 | 荣耀终端有限公司 | 一种图像调节的方法、设备及存储介质 |
| CN117156293A (zh) * | 2023-01-19 | 2023-12-01 | 荣耀终端有限公司 | 拍照方法和相关装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105578042A (zh) * | 2015-12-18 | 2016-05-11 | 深圳市金立通信设备有限公司 | 一种图像数据的传输方法及终端 |
| CN109167930A (zh) * | 2018-10-11 | 2019-01-08 | Oppo广东移动通信有限公司 | 图像显示方法、装置、电子设备和计算机可读存储介质 |
| WO2019071613A1 (zh) * | 2017-10-13 | 2019-04-18 | 华为技术有限公司 | 一种图像处理方法及装置 |
| CN113810593A (zh) * | 2020-06-15 | 2021-12-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
-
2022
- 2022-07-22 CN CN202210868040.2A patent/CN115278069A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105578042A (zh) * | 2015-12-18 | 2016-05-11 | 深圳市金立通信设备有限公司 | 一种图像数据的传输方法及终端 |
| WO2019071613A1 (zh) * | 2017-10-13 | 2019-04-18 | 华为技术有限公司 | 一种图像处理方法及装置 |
| CN109167930A (zh) * | 2018-10-11 | 2019-01-08 | Oppo广东移动通信有限公司 | 图像显示方法、装置、电子设备和计算机可读存储介质 |
| CN113810593A (zh) * | 2020-06-15 | 2021-12-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115589539A (zh) * | 2022-11-29 | 2023-01-10 | 荣耀终端有限公司 | 一种图像调节的方法、设备及存储介质 |
| CN117156293A (zh) * | 2023-01-19 | 2023-12-01 | 荣耀终端有限公司 | 拍照方法和相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110225248B (zh) | 图像采集方法和装置、电子设备、计算机可读存储介质 | |
| CN109089047B (zh) | 控制对焦的方法和装置、存储介质、电子设备 | |
| CN108322669B (zh) | 图像获取方法及装置、成像装置和可读存储介质 | |
| CN109862269B (zh) | 图像采集方法、装置、电子设备和计算机可读存储介质 | |
| CN108337445B (zh) | 拍照方法、相关设备及计算机存储介质 | |
| CN107846556B (zh) | 成像方法、装置、移动终端和存储介质 | |
| CN110166705B (zh) | 高动态范围hdr图像生成方法和装置、电子设备、计算机可读存储介质 | |
| CN108337446B (zh) | 基于双摄像头的高动态范围图像获取方法、装置及设备 | |
| CN110213494B (zh) | 拍摄方法和装置、电子设备、计算机可读存储介质 | |
| CN115278069A (zh) | 图像处理方法及装置、计算机可读存储介质、终端 | |
| CN110049240B (zh) | 摄像头控制方法、装置、电子设备和计算机可读存储介质 | |
| CN108156369B (zh) | 图像处理方法和装置 | |
| CN110290325B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US9071766B2 (en) | Image capturing apparatus and control method thereof | |
| CN110213498B (zh) | 图像生成方法和装置、电子设备、计算机可读存储介质 | |
| US20190347776A1 (en) | Image processing method and image processing device | |
| CN110430370B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110881108B (zh) | 图像处理方法及图像处理装置 | |
| CN112991245B (zh) | 双摄虚化处理方法、装置、电子设备和可读存储介质 | |
| CN109005346B (zh) | 控制方法、装置、电子设备和计算机可读存储介质 | |
| JP2015144475A (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
| CN101998059A (zh) | 摄影设备及方法 | |
| CN108881876B (zh) | 对图像进行白平衡处理的方法、装置和电子设备 | |
| CN110266965B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110266967B (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |