CN117135469A - 一种图像处理方法及电子设备 - Google Patents

一种图像处理方法及电子设备 Download PDF

Info

Publication number
CN117135469A
CN117135469A CN202310193943.XA CN202310193943A CN117135469A CN 117135469 A CN117135469 A CN 117135469A CN 202310193943 A CN202310193943 A CN 202310193943A CN 117135469 A CN117135469 A CN 117135469A
Authority
CN
China
Prior art keywords
image
exposure image
long
exposure
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310193943.XA
Other languages
English (en)
Other versions
CN117135469B (zh
Inventor
王宇
肖润宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310193943.XA priority Critical patent/CN117135469B/zh
Publication of CN117135469A publication Critical patent/CN117135469A/zh
Application granted granted Critical
Publication of CN117135469B publication Critical patent/CN117135469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种图像处理方法及电子设备，涉及图像技术领域。该方法用于得到信噪比、清晰度均衡的图像。该方法包括：响应于用户开启摄像头的操作，利用摄像头交替采集长曝光图像和短曝光图像得到图像序列，图像序列包括相邻的两帧短曝光图像及至少一帧长曝光图像，至少一帧长曝光图像包括两帧短曝光图像之间的第一长曝光图像，短曝光图像的曝光时间小于长曝光图像的曝光时间；根据两帧短曝光图像及第一时间占比，得到第一时刻对应的插值图像及第一时刻对应的纹理图像；其中，第一时刻为第一长曝光图像的采集时刻，第一时间占比与第一时刻对应；对插值图像、纹理图像及第一长曝光图像进行融合处理，得到融合图像。

Description

一种图像处理方法及电子设备
技术领域
本申请涉及图像技术领域，尤其涉及一种图像处理方法及电子设备。
背景技术
随着电子设备和半导体技术的发展，手机、平板电脑等电子设备一般都被配置有摄像头。用户在拍摄图像或者视频(包括多个图像帧)的过程中，时常会得到模糊的图像。例如，在拍摄设备拍摄运动物体时，或者拍摄设备在拍摄过程中移动(例如手抖等原因)时，由于被摄对象和拍摄设备之间的相对运动，更容易导致拍摄得到模糊的图像。
发明内容
本申请提供一种图像处理方法及电子设备，用于得到信噪比、清晰度均衡的图像。
为达到上述目的，本申请的实施例采用如下技术方案：
第一方面，本申请提供一种图像处理方法，应用于电子设备，电子设备包括摄像头，方法包括：响应于用户开启摄像头的操作，利用摄像头交替采集长曝光图像和短曝光图像得到图像序列，图像序列包括相邻的两帧短曝光图像及至少一帧长曝光图像，至少一帧长曝光图像包括两帧短曝光图像之间的第一长曝光图像，短曝光图像的曝光时间小于长曝光图像的曝光时间；根据两帧短曝光图像及第一时间占比，得到第一时刻对应的插值图像及第一时刻对应的纹理图像；其中，第一时刻为第一长曝光图像的采集时刻，第一时间占比与第一时刻对应；对插值图像、纹理图像及第一长曝光图像进行融合处理，得到融合图像。
可以理解地，通过第一长曝光图像提供噪声先验，以去除插值图像及纹理图像中噪声，并融合去除噪声后的插值图像以及纹理图像，由于插值图像以及纹理图像是以不同角度反映图像的清晰度信息，结合高信噪比第一长曝光图像，最终得到的融合图像清晰且信噪比高。
在第一方面提供的一种实施方式中，两帧短曝光图像包括第一短曝光图像和第二短曝光图像，插值图像包括第一插值图像，根据两帧短曝光图像及第一时间占比，得到第一时刻对应的插值图像，包括：将第一短曝光图像、第二短曝光图像及第一时间占比输入光流估计网络，得到第一光流及第二光流；基于第一光流和第二光流对第一短曝光图像、第二短曝光图像进行图像数字化变形处理得到第一插值图像。其中，这种光流算法的适用场景比较广、鲁棒性高，得到的第一插值图像比较稳定。
在第一方面提供的一种实施方式中，根据两帧短曝光图像及第一时间占比，得到第一时刻对应的纹理图像，纹理图像包括第三纹理图像，包括：将第一短曝光图像和第二短曝光图像输入纹理估计网络，得到第一纹理图像及第二纹理图像；基于第一光流和第二光流对第一纹理图像、第二纹理图像进行图像数字化变形处理得到第三纹理图像。
在第一方面提供的一种实施方式中，插值图像还包括第二插值图像，根据两帧短曝光图像及第一时间占比，得到第一时刻对应的插值图像，包括：将第一短曝光图像和第二短曝光图像输入核估计网络，得到时域插值核；对第一短曝光图像、第二短曝光图像和时域插值核进行卷积得到第二插值图像。考虑到光流算法对于一些图像中存在遮挡的情况并不是很适用，通过核估计网络进行弥补，即采用不同的方式对中间帧进行预测，得到的中间帧的信息也更加丰富。
在第一方面提供的一种实施方式中，方法还包括：对齐至少一帧长曝光图像；对插值图像、纹理图像及第一长曝光图像进行融合处理，得到融合图像，包括：对插值图像、纹理图像及对齐后的至少一帧长曝光图像进行融合处理，得到融合图像。通过对齐至少一帧长曝光图像，以使起提供更加丰富、可靠的噪声先验信息。
在第一方面提供的一种实施方式中，对齐至少一帧长曝光图像，包括：分别对至少一帧长曝光图像中的长曝光图像进行分区处理；以第一长曝光图像为参考图像，确定第一长曝光图像中每个分区在第二长曝光图像中的匹配分区，以及确定第一长曝光图像中每个分区在第三长曝光图像中的匹配分区；对于第二长曝光图像、第三长曝光图像中的任意一个分区，根据任意一个分区及任意一个分区所匹配的分区确定配准矩阵；根据第二长曝光图像中每个分区对应的配准矩阵对第二长曝光图像对应的分区进行单应性变换，根据第三长曝光图像中每个分区对应的配准矩阵对第三长曝光图像中对应的分区进行单应性变换。
在第一方面提供的一种实施方式中，以第一长曝光图像为参考图像，确定第一长曝光图像中每个分区在第二长曝光图像中的匹配分区，以及确定第一长曝光图像中每个分区在第三长曝光图像中的匹配分区，包括：提取每个分区的特征点；对于第一长曝光图像中的任意一个分区，确定任意一个分区的所有关键点在第二长曝光图像中的匹配关键点，以及确定任意一个分区的所有关键点在第三长曝光图像中的匹配关键点，匹配关键点为与关键点具有最小距离的关键点；将第二长曝光图像中包含匹配关键点最多的分区确定为任意一个分区在第二长曝光图像中的匹配分区；将第三长曝光图像中包含匹配关键点最多的分区确定为任意一个分区在第三长曝光图像中的匹配分区。
在第一方面提供的一种实施方式中，方法还包括：在摄像头最新采集的一帧长曝光图像或最新采集到的一帧短曝光图像中存在运动模糊的情况下，降低摄像头采集短曝光图像所采用的曝光时间。
在第一方面提供的一种实施方式中，第一占比为第一时间间隔与第二时间间隔的比值，第一时间间隔为第一采集时刻与两帧短曝光图像中的前一帧短曝光图像的采集时刻的差值，第二时间间隔为两帧短曝光图像之间的采集时刻的差值。
第二方面，本申请还提供一种电子设备，电子设备包括：存储器和处理器；处理器与存储器耦合；其中，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令；当计算机指令被处理器执行时，使得电子设备执行如第一方面中任意一项实施方式的方法。
第三方面，本申请还一种计算机可读存储介质，包括计算机指令；当计算机指令在电子设备上运行时，使得电子设备执行如第一方面中任意一项实施方式的方法。
第四方面，本申请还提供一种计算机可读存储介质，包括计算机指令；当计算机指令在电子设备上运行时，使得电子设备执行如第一方面中任一实施方式的方法。
第五方面，本申请提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如第一方面中任一实施方式的方法。
第六方面，本申请提供一种芯片***，该芯片***包括一个或多个接口电路和一个或多个处理器。该接口电路和处理器通过线路互联。上述芯片***可以应用于包括通信模块和存储器的终端设备。该接口电路用于从终端设备的存储器接收信号，并向处理器发送接收到的信号，该信号包括存储器中存储的计算机指令。当处理器执行该计算机指令时，终端设备可以执行如第一方面及其任一种可能的设计方式的方法。
其中，第二方面至第六方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。
附图说明
图1为本申请实施例提供的一种拍摄场景示意图；
图2为一种高动态范围(high-dynamic range，HDR)的出帧方式示意图；
图3为一种交错高动态范围(stagger high-dynamic range，stagger HDR)的出帧方式示意图；
图4为另一种stagger HDR的出帧方式示意图；
图5为本申请实施例提供的一种像素阵列的示意图；
图6为本申请实施例提供的一种电子设备的结构示意图；
图7为本申请实施例提供的一种图像处理方法的流程示意图一；
图8为本申请实施例提供的一种图像处理方法的流程示意图二；
图9为本申请实施例提供的一种图像处理方法的流程示意图三；
图10为本申请实施例提供的一种图像处理方法的流程示意图四；
图11为本申请实施例提供的一种芯片***的结构示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
在具体介绍本申请实施例之前，先对本申请涉及的技术术语做简单介绍：
1、运动模糊
可理解，在拍摄运动的物体或人时，若物体或人移动的速度过快，而拍摄设备拍摄图像时的曝光时间过长，拍摄的图像容易出现运动模糊(motion blur)。运动模糊是景物图像中的移动效果，一般是由于拍摄设备与被摄对象之间相对运动而造成的。运动模糊会使得获取的图像中存在明显的模糊拖动痕迹。可以理解的是，拍摄设备可指数码相机、手机等电子设备；被摄对象为拍摄设备进行拍摄的对象。
示例性的，如图1所示，被摄对象正在走路，用户在利用电子设备进行拍摄时会发现该电子设备上显示的被摄对象比较模糊。在这种情况下进行拍摄无法获得清晰的图像或视频。
需要说明的是，该运动模糊也可以称为“拖影”、“鬼影”等，在此不做具体限制。
2、光流
一般而言，光流是在被摄对象和拍摄设备(例如，手机、平板等电子设备)之间有相对运动的情况下产生的。在拍摄过程中，随着被摄对象和拍摄设备之间的相对运动，被摄对象在成像平面上会形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”成像平面，好像一种光的“流”，故称之为光流。
光流具体是被摄对象在成像平面上的像素运动的瞬时速度，在时间间隔很小(比如视频的连续前后两帧之间)时，光流也可等同于像素运动的位移。在本申请实施例中，主要以位移来表示光流。
3、高动态范围(high-dynamic range，HDR)
HDR可以理解为将在不同采集周期内采集到的具有不同曝光度的多帧低动态范围(low-dynamic range，LDR)图像融合为一帧HDR图像的技术。在该HDR图像中可以包括更多画面细节。具体的，图2为本申请实施例提供的一种拍照过程中的时序图。其中，该时序图中包括两条时间轴，上方的时间轴用于反映摄像头中感光元件进行图像曝光的时间，下方的时间轴用于反映摄像头读取感光数据的时间。
其中，电子设备在t1时间点接收用户的拍照操作。电子设备在接收到拍照操作后，需要一段时间来生成曝光参数、将曝光参数发送至摄像头以及使摄像头执行该曝光参数。具体的，假设电子设备生成曝光参数、将曝光参数发送至摄像头以及使摄像头执行该曝光参数所占用时间为一个采集周期T，则如图2所示电子设备在虚线框中的6个采集周期中依次采集4帧EV0图像、一帧EV-2图像、一帧EV-4图像。之后，电子设备再根据采集到的6帧图像，合成HDR图像。
需要说明的是，为了描述简洁，本申请实施例中将正常曝光的曝光度的表示为EV0，将曝光度EV0×2n表示为EVn。例如，EV-1表示曝光度为EV0的一半，EV-2表示曝光度为EV-1的一半；再例如，EV1表示曝光度为EV0的二倍，EV2表示曝光度为EV1的二倍。EVn图像即为曝光度为EVn的图像。
4、交错高动态范围(stagger high-dynamic range，stagger HDR)
stagger HDR可以理解为通过提高传感器的帧率，可以在一个采集周期内，采集不同曝光度的多帧图像的技术。例如，stagger HDR可以在一个采集周期内采集长曝光图像和短曝光图像，例如图3所示，电子设备在一个采集周期T内可以采集EV0和EV-4两帧图像。再例如，stagger HDR可以在一个采集周期内采集长曝光图像、中曝光图像和短曝光图像，例如图4所示，电子设备在一个采集周期T内可以采集EV0、EV-2和EV-4三帧图像。相比较而言，在stagger HDR的场景下，由于在一个采集周期内要采集多种曝光参数的图像，因此相邻两帧图像之间的间隔时间(可以称为帧间隔)相比于非stagger HDR的场景下的帧间隔会更短。其中，长曝光图像的曝光时间大于中曝光图像的曝光时间，中曝光图像的曝光时间大于短曝光图像的曝光时间。
一般来说，电子设备可以采取降低曝光时间来减弱运动模糊。示例性的，图5为对被摄对象(以三角形指示被摄对象)进行拍摄时像素阵列的采样示意图。其中，图5中的(a)为曝光时间较长时像素阵列的采样情况，图5中的(b)为曝光时间较短时像素阵列的采样情况。可以看出，在图5的(a)中，由于曝光时间较长，有4个像素点对被摄对象进行采样(图中黑色填充的像素点)；在图5的(b)中，由于曝光时间较短，有2个像素点对被摄对象进行采样。也即，拍摄一帧图像的曝光时间越短，拍摄这一帧图像的过程中被摄对象的位移越小。这样可以减少拍摄得到的一帧图像中由于被摄对象移动而产生的模糊拖动痕迹，从而获得较为清晰的图像。
相关技术提供的一种技术方案中，可以通过降低图像的曝光时间来减轻图像的模糊现象。例如降低图2中EV0图像的曝光时间，或者图3、图4中EV0图像的曝光时间。但在采集图像过程中，噪声与运动模糊是相互耦合的两种因素。即在运动模糊减小的情况下，噪声会增大；反之，在运动模糊情况比较严重时，噪声较小。也就是说，很难做到同时去除噪声和运动模糊这两种情况。
本申请提供了一种图像处理方法，应用于包括摄像头的电子设备。该电子设备可以获取图像序列，该图像序列包括相邻的两帧短曝光图像及至少一帧长曝光图像，然后根据所述相邻的两帧短曝光图像及第一时间占比，得到第一时刻对应的插值图像及第一时刻对应的纹理图像，所述第一时刻为所述第一长曝光图像对应的采集时刻，以及对所述插值图像、所述纹理图像及所述第一长曝光图像进行融合处理，得到融合图像。如此通过第一长曝光图像提供噪声先验，以去除插值图像中的噪声，同时结合纹理图像提供的清晰纹理以及插值图像自带的清晰度，可以得到清晰、信噪比高的融合图像。
其中，本申请实施例提供的电子设备可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificial intelligence，AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备等具有摄像头的设备，或者相机、摄像机等具有拍摄功能的设备，本申请实施例对该电子设备的具体类型不作特殊限制。
图6为本申请实施例提供的一种电子设备的结构示意图。如图6所示，电子设备可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。
其中，上述传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器和骨传导传感器等传感器。
可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备的结构限定。在另一些实施例中，电子设备也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
电子设备可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。摄像头193用于捕获静态图像或视频。在一些实施例中，电子设备可以包括1个或N个摄像头193，N为大于1的正整数。例如，在接收到用户的拍摄操作或者录像操作时，电子设备可生成拍摄指令或录像指令。该摄像头193可响应于该拍摄指令或录像指令而交替采集长曝光图像和短曝光图像，以得到图像序列。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备的各种功能应用以及数据处理。例如，在本申请实施例中，处理器110可以通过执行存储在内部存储器121中的指令，内部存储器121可以包括存储程序区和存储数据区。
其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flashstorage，UFS)等。
下面结合附图详细说明本申请提供的图像处理方法。
本申请提供一种图像处理方法，可应用于拍照场景以及录像场景等。图7示出了本申请实施例提供的一种图像处理方法的流程示意图一。如图7所示，该图像处理方法包括：
S710，获取图像序列。
其中，该图像序列包括交替的长曝光图像和短曝光图像，长曝光图像的曝光时间大于短曝光图像的曝光时间。在一种可选的实施方式中，电子设备可以在接收到用户的拍照操作或录像操作的情况下，利用摄像头获取图像序列。其中，拍照操作可包括但不限于用户点击拍摄按钮(控件)，录像操作可以包括但不限于用户点击录制按钮(控件)的操作等，在此不做具体限制。
S720，从图像序列中选取相邻的两帧短曝光图像，及至少一帧长曝光图像。
其中，该至少一帧长曝光图像中，包含相邻的两帧短曝光图像之间的长曝光图像。示例性，如图7所示，相邻的两帧短曝光图像分别为短曝光图像i-1和短曝光图像i，则该至少一帧长曝光图像包括短曝光图像i-1和短曝光图像i之间的长曝光图像i，其中i∈[2，n]。
此外，在该至少一帧长曝光图像不止包括长曝光图像i时，其他长曝光图像的采集时间是以长曝光图像i的采集时间为轴对称的，例如至少一帧长曝光图像还可以包括位于长曝光图像i之前的长曝光图像i-1以及位于长曝光图像i之后的长曝光图像i+1(在采集时间上，长曝光图像i+1与长曝光图像i-1以该长曝光图像i为轴对称)，位于长曝光图像i之前的长曝光图像i-2以及位于长曝光图像i之后的长曝光图像i+2等，在此不做具体限制。
在一种可选的实施方式中，该相邻的两帧短曝光图像包括摄像头最新采集到的两帧短曝光图像，该至少一帧长曝光图像包括摄像头最新采集到的长曝光图像。又或者，该至少一帧长曝光图像包括摄像头最近三个采集周期内采集到的长曝光图像，该相邻的两帧短曝光图像包括摄像头倒数第二、三个采集周期内采集到的短曝光图像。
在另一种可选的实施方式中，该相邻的两帧短曝光图像也可以是图像序列中随机的、相邻的两帧短曝光图像，该至少一帧长曝光图像包括该相邻的两帧短曝光图像之间的长曝光图像即可。或者也可以基于其它原则选取相邻的两帧短曝光图像和至少一帧长曝光图像，本申请实施例不做具体限定。
在一种可选的实施方式中，当图像序列中包括相邻的两帧短曝光图像，及至少一帧长曝光图像时，电子设备便可从中选取相邻的两帧短曝光图像，及至少一帧长曝光图像，并执行S730～S750。
在另一种可选的实施方式中，在确定摄像头最新采集到的长曝光图像或最新采集到的短曝光图像中存在运动模糊的情况下，电子设备从图像序列中选取相邻的两帧短曝光图像，及至少一帧长曝光图像，并执行S730～S750，这样可以避免不必要的去模糊处理。
后文将以第一目标图像指代摄像头最新采集到的长曝光图像或最新采集到的短曝光图像，并说明确定摄像头最新采集到的长曝光图像或最新采集到的短曝光图像中是否存在运动模糊的具体实现方式。
其中，电子设备识别第一目标图像中是否存在运动模糊的方式有多种。
在一种可选的实施方式中，电子设备可以将第一目标图像输入识别模型，该识别模型可用于识别图像的模糊程度。示例性的，服务器或电子设备可以将大量存在运动模糊的图像作为训练样本，并结合每个训练样本对应的模糊标签(用于标识模糊程度的标签)进行训练，得到该识别模型。如此，将第一目标图像输入识别模型后，便可确定第一目标图像是否存在运动模糊。
在另一种可选的实施方式中，电子设备可将第一目标图像划分为多个区域，并计算第一目标图像中每个区域的光流，光流用于反映该区域内的像素点的位移；以及，根据该多个区域的光流确定第一目标图像是否存在运动模糊。
其中，第一目标图像中每个区域的光流需要参照图像序列中的第二目标图像确定。该第二目标图像与第一目标图像为连续的两帧长曝光图像，或者为连续的两帧短曝光图像。具体的，电子设备可以将第二目标图像划分为对应的多个区域，第二目标图像的多个区域与第一目标图像的多个区域一一对应。电子设备可计算第二目标图像中的多个区域向第一目标图像中对应的区域运动的光流，该光流可以(u,v)表示。
需要说明的是，关于光流的具体计算，可以使用稀疏光流(Lucas-kanade)算法，并使用OpenCV中的calcOpticalFlowPyrLK、calcOpticalFlowFarneback、CalcOpticalFlowBM、CalcOpticalFlowHS、calcOpticalFlowSF等函数来实现，本申请对此不作具体限定。
示例性的，电子设备可按照预设的尺寸[H，W]分别将第一目标图像和第二目标图像划分为多个区域。其中，H为每个区域的长，W为每个区域的宽。例如，第一目标图像和第二目标图像的分辨率为3840×2160，若预设的尺寸为[160,90]，则电子设备可以将第一目标图像划分为24个区域，以及将第二目标图像划分为24个区域。需要说明的是，该H、W也可以为其他正整数，在此不做具体限制。特别的，当H和W均为1时，每个像素点即为一个区域，这种情况下，区域的数量为第一目标图像中像素点的数量。
其中，多个区域的光流可分别为(u1,v1)，(u2,v2)……(ui,vi)……(um,vm)。其中，(ui,vi)表示多个区域中第i个区域从第二目标图像向第一目标图像运动的光流，m为区域的数量，m为正整数。
如果光流(u,v)中的u和v越接近于0，则表明区域内像素点的运动幅度较小。如果多个区域中大部分区域的运动幅度都较小，则表明采集图像的过程中，被摄对象与电子设备之间相对运动的幅度较小，从而第一目标图像的模糊程度也较小，可以认为第一目标图像不存在运动模糊的情况。反之，如果多个区域中大部分区域的运动幅度都较大，则表明采集图像的过程中，被摄对象与电子设备之间相对运动的幅度较大，从而第一目标图像的模糊程度也较大，可以认为第一目标图像存在运动模糊的情况。
在一些实施例中，电子设备可以基于u+v、|u|+|v|或者等值来衡量光流(u,v)中u和v是否都接近于0。那么，多个光流(u,v)中，u+v、|u|+|v|或者/>等值等于或约等于0的数量(记为sum，下文中相同)越多，则模糊程度越低；多个光流(u,v)中，u+v、|u|+|v|或者/>等值等于或约等于0的数量越少，则模糊程度越高。
以模糊程度包括清晰和模糊两种为例，如果sum≥M1，则电子设备确定第一目标图像比较清晰(即不存在运动模糊)；如果sum＜M1，则电子设备确定第一目标图像存在运动模糊，其中M1为预设的阈值，该预设的阈值是大于0且接近于0的数，例如为0.01、0.02、0.2、0.5等，在此不做具体限制。
S730，根据相邻的两帧短曝光图像及第一时间占比，得到第一时刻对应的插值图像及第一时刻对应的纹理图像。
其中，第一时刻为相邻的两帧短曝光图像之间的长曝光图像(例如为第一长曝光图像)对应的采集时刻(可以理解为采集该图像的时刻)。该第一时间占比与第一时刻对应。其中，第一时间占比与第一时刻对应可以理解为，通过第一时间占比及采集周期可以确定该第一长曝图像在一个采集周期内的采集时刻。
具体的，第一时间占比为第一时间间隔与第二时间间隔的比值，第一时间间隔为第一时刻与相邻的两帧短曝光图像中采集时刻靠前的短曝光图像对应的采集时刻的差值，第二时间间隔为相邻的两帧短曝光图像对应的采集时刻的差值，即一个采集周期。
以摄像头依次采集长曝光图像1、短曝光图像1、长曝光图像2、短曝光图像2为例，其中短曝光图像1与短曝光图像2为相邻的两帧短曝光图像，长曝光图像2为短曝光图像1与短曝光图像2之间的长曝光图像。若短曝光图像1、长曝光图像2、短曝光图像2的采集时刻分别为t1、t2、t3，则第一时间间隔为t2-t1，第二时间间隔为t3-t1(即为采集周期T)，该第一时间占比δ满足：
δ＝(t2-t1)/(t3-t1)
也就是说，通过S730电子设备可以得到与第一长曝光图像在时域上对齐的中间帧及纹理图像，便于后续进行融合操作。
需要说明的是，第一时刻对应的插值图像可包括利用不同方式得到的多个插值图像，例如包括利用光流估计网络得到的插值图像、利用核估计网络得到的插值图像等。其中，S730的具体过程可参见S810～S860，在此暂不描述。
S740，对齐至少一帧长曝光图像。
其中，该至少一帧长曝光图像包括相邻的两帧短曝光图像之间的长曝光图像，即第一长曝光图像，以便于与待***的中间帧对齐。
对齐图像也可以称为图像配准，具体是指以参考图像为基准，对图像进行单应性变换，使得图像与参考图像在空间上对齐的过程。电子设备可基于图像配准算法对齐至少一帧长曝光图像。该图像配准算法可包括基于特征图像进行配准、基于灰度图像进行配准、基于变换域图像配准等。其中关于进行图像配准的过程可参见S910～S940，在此暂不描述。
需要说明的是，该至少一帧长曝光图像可包括1、3、5、7等奇数数量帧长曝光图像。
在一种可选的实施方式中，在至少一帧长曝光图像仅包括1帧长曝光图像时，电子设备可以无需进行对齐操作，即可以无需执行S740。
S750，对插值图像、纹理图像及对齐后的至少一帧长曝光图像进行融合处理，得到融合图像。
在一种可选的实施方式中，电子设备可直接将插值图像、纹理图像及对齐后的至少一帧长曝光图像输入融合网络，通过对齐后的至少一帧长曝光图像提供噪声先验，该融合网络可以去除插值图像中的噪声，同时结合纹理图像提供的清晰纹理以及插值图像自带的清晰度，可以得到清晰、信噪比高的融合图像。
在一种可选的实施方式中，电子设备在进行去噪去模糊处理(即执行S720～750)的同时，还可以根据场景亮度自动调整采集长曝光图像所采用的曝光时间，以及根据摄像头最新采集到的一帧图像的清晰度来降低采集短曝光图像所采用的曝光时间，这能有效提升待采集的下一帧短曝光图像的清晰度，同样能达到去模糊的效果。
下面以相邻的两帧短曝光图像包括第一短曝光图像和第二短曝光图像，且第一短曝光图像和第二短曝光图像分别为第一长曝光图像前、后两帧短曝光图像为例，说明电子设备确定第一时刻对应的插值图像及第一时刻对应的纹理图像的过程。
示例性的，图8示出了本申请实施例提供的图像处理方法的流程示意图二，其示出了电子设备根据相邻的两帧短曝光图像及第一时间占比，得到第一时刻对应的插值图像及第一时刻对应的纹理图像的过程。如图8所示，本申请实施例提供的图像处理方法包括：S810～S860。
S810，将第一短曝光图像、第二短曝光图像及第一时间占比输入光流估计网络，得到第一光流及第二光流。
光流估计网络是以连续两帧图像I0、I1以及时间t为输入，预测中间帧It的神经网络。该光流估计网络可以先通过连续两帧图像I0、I1估计得到光流F1→0和F0→1。其中，光流F1→0用于表征图像I1上每个像素点相对于图像I0上每个像素点的位移，F0→1用于表征图像I0上每个像素点相对于图像I1上每个像素点的位移。
接着，光流估计网络利用线性估计的方法，结合时间t来估计得到光流Ft→0和Ft→1。其中，光流Ft→0用于表征中间帧It上每个像素点相对于图像I0上每个像素点的位移，光流Ft→1用于表征中间帧It上每个像素点相对于图像I1上每个像素点的位移。其中，Ft→0和Ft→1分别满足算式：
Ft→0＝﹣(1-t)tF0→1+t2F1→0
Ft→1＝(1-t)2F0→1﹣t(1-t)F1→0
也即，基于该第一时间占比及连续的第一短曝光图像、第二短曝光图像，光流估计网络可以得到第一时刻对应的两个光流，分别为第一光流和第二光流。该第一光流用于表征中间帧It(即第一时刻对应的中间帧)上每个像素点相对于第一短曝光图像上每个像素点的位移，该第二光流用于表征中间帧It上每个像素点相对于第二短曝光图像上每个像素点的位移。
S820，将第一短曝光图像和第二短曝光图像输入纹理估计网络，得到第一纹理图像及第二纹理图像。
其中，第一纹理图像为第一短曝光图像对应的纹理图像，第二纹理图像为第二短曝光图像对应的纹理图像。纹理图像通过像素及其周围空间邻域的灰度分布来表现，用于反映图像中同质现象的视觉特征，体现物体表面的具有缓慢变换或周期性变化的表面组织结构排列属性。
其中，该纹理估计网络可基于灰度共生矩阵、Tamura纹理特征、自回归纹理模型(simultaneous auto-regressive,SAR)、小波变换等方式得到纹理图像。
S830，将第一短曝光图像和第二短曝光图像输入核估计网络，得到第一时域插值核及第二时域插值核。
该核估计网络可以为预先训练至收敛的神经网络模型，通过向该核估计网络输入相连两帧图像，该核估计网络可用于输出该两帧图像对应的时域插值核，便于后续计算该两帧图像的中间帧。
S840，基于第一光流和第二光流对第一短曝光图像、第二短曝光图像进行扭曲(warping)得到第一插值图像。
其中，warping是指图像数字化变形处理的过程。如此，得到的第一插值图像即为第一时刻对应的中间帧It。
S850，基于第一光流和第二光流对第一纹理图像、第二纹理图像进行扭曲(warping)得到第三纹理图像。
可以理解地，该第三纹理图像理论上为第一时刻对应的中间帧It的纹理图像。
S860，将第一短曝光图像与第一时域插值核的卷积结果与第二短曝光图像与第二时域插值的卷积结果相加得到第二插值图像。
在本实施例中，具体计算公式可以为：
I(x,y)＝K1(x,y)*P1(x,y)+K2(x,y)*P2(x,y)
其中，I(x,y)为第二插值图像，K1(x,y)为第一时域插值核，K2(x,y)为第二时域插值核，P1(x,y)为第一短曝光图像，P2(x,y)为第二短曝光图像。
其中，利用光流估计网络得到的插值图像具有整体性高、通用性强、鲁棒性高的优点，但其对于画面中有阻挡、边缘模糊的情况，无法得到比较准确的插值图像。而核估计网络则能够很好地弥补这一点。同时，纹理图像可以提供清晰的纹理细节，也有利于得到清晰的融合图像。也即，第一插值图像、第二插值图像以及第三插值图像综合起来能够很好地反映第一时刻对应的中间帧It的真实情况。
下面以至少一帧长曝光图像包括第一长曝光图像、第二长曝光图像及第三长曝光图像为例，说明电子设备对齐至少一帧长曝光图像的过程。其中，第一长曝光图像为参考图像，第二长曝光图像为与第一长曝光图像相邻的前一帧长曝光图像，第三长曝光图像为与第一长曝光图像相邻的后一帧长曝光图像。对齐至少一帧长曝光图像的过程，即为对第二长曝光图像进行单应性变换以使得第二长曝光图像对齐第一长曝光图像，以及对第三长曝光图像进行单应性变换以使得第三长曝光图像对齐第一长曝光图像的过程。
示例性的，图9示出了本申请实施例提供的图像处理方法的流程示意图三，其示出了电子设备对齐至少一帧长曝光图像的过程。如图9所示，本申请实施例提供的图像处理方法包括：S910～S940。
S910，分别对第一长曝光图像、第二长曝光图像及第三长曝光图像进行分区处理。
在一种可选的实施方式中，电子设备可按照预设的尺寸[H，W]分别将第一长曝光图像、第二长曝光图像及第三长曝光图像划分为m个区域。又或者，可以预先设置多种不同尺寸，按照不同的尺寸将第一长曝光图像、第二长曝光图像及第三长曝光图像划分为多个区域。总之，本申请实施例不限制分区方式，只需要以相同的分区方式对第一长曝光图像、第二长曝光图像及第三长曝光图像进行分区操作即可。
示例性的，如图9所示，电子设备将第一长曝光图像、第二长曝光图像及第三长曝光图像划分为12个面积相同的区域。
S920，确定第一长曝光图像中每个分区在第二长曝光图像中的匹配分区，以及确定第一长曝光图像中每个分区在第三长曝光图像中的匹配分区。
在一种可选的实施方式中，电子设备可以提取每个分区的关键点。例如，电子设备可以利用尺度不变特征变换(Scale-invariant feature transform，SIFT)算法、加速稳健特征(speeded up robust features，SURF)算法、定向快速旋转简报(Oriented Fast andRotated Brief，ORB)算法等提取每个分区的关键点。关键点是指在图像变换(例如移位、缩放或旋转)下是稳定的点。另外，在提取关键点的同时，还可以确定每个关键点的特征描述符。该特征描述符用于描述关键点在不同维度的特征。
对于第一长曝光图像中的每个区域，电子设备可确定该区域中所有关键点在第二长曝光图像/中第三长曝光图像的匹配关键点，并根据所有匹配关键点所在的区域确定该区域在第二长曝光图像中的匹配分区/该区域在第三长曝光图像中的匹配分区。
在一种实施方式中，对于关键点j，电子设备可计算该关键点j与第二长曝光图像/第三长曝光图像中所有关键点的距离，并将其中与该关键点j之间具有最小距离的关键点作为其匹配关键点。其中，该距离可以为两个特征描述符之间的欧氏距离、余弦距离等，在此不做具体限制。在另一种实施方式中，电子设备可利用BFMatcher.knnMatch()算式对关键点进行匹配。
示例性的，电子设备将第一长曝光图像和第二长曝光图像划分为N个分区，其中第i个分区包括m个关键点。对于第i个分区，电子设备可确定该m个关键点在第二长曝光图像中的匹配关键点，并统计该m个匹配关键点所在的区域。电子设备将第二长曝光图图像中包含最多匹配关键点的区域确定为第i个分区的匹配分区。
在其他实施方式中，电子设备确定第一长曝光图像中每个分区，与第二长曝光图像、第三长曝光图像中所有分区的灰度信息的相似度，将第二长曝光图像、第三长曝光图像中与其具有最高的相似度的区域确定为其对应的匹配分区。
S930，对于第二长曝光图像、第三长曝光图像中的任意一个分区，根据该任意一个分区及该分区所匹配的分区确定配准矩阵。
在本实施例中，电子设备可以基于匹配的两个分区的关键点进行单应性估计(homography estimation)，以确定对应的配准矩阵(也可称为单应性矩阵)。该配准矩阵为3x3的矩阵，用于描述对该任意一个分区进行何种移位、缩放或旋转后能够与其对应的匹配分区在空间上对齐。
S940，根据第二长曝光图像中每个分区对应的配准矩阵对第二长曝光图像对应的分区进行单应性变换，根据第三长曝光图像中每个分区对应的配准矩阵对第三长曝光图像中对应的分区进行单应性变换。
该单应性变换是指将一个平面内的点映射到另一个平面内的二维投影变换。
示例性的，如图9所示，电子设备可根据区域A5对应的配准矩阵，对区域A5中的每个像素点进行单应性变换得到区域A5'；根据区域A8对应的配准矩阵，对区域A8中的每个像素点进行单应性变换得到区域A8'；依次类推，直至对第二长曝光图像中的所有区域进行单应性变换后，可将第二长曝光图像变换为与第一长曝光图像对齐后的第二长曝光图像。
仍然如图9所示，电子设备可根据区域C5对应的配准矩阵，对区域C5中的每个像素点进行单应性变换得到区域C6'；根据区域C8对应的配准矩阵，对区域C8中的每个像素点进行单应性变换得到区域C8'；依次类推，直至对第三长曝光图像中的所有区域进行单应性变换后，可将第三长曝光图像变换为与第一长曝光图像对齐后的第三长曝光图像。
可以看出，与第一长曝光图像对齐后的第二长曝光图像及第三长曝光图像具有相同的拍摄角度，并在空间上对齐。
下面将详细说明本申请提供的图像处理方法的具体流程。图10示出了本申请实施例提供的图像处理方法的流程示意图四。如图10所示，电子设备可以从图像序列中提取2帧相邻的短曝光图像，以及3帧长曝光图像。对于2帧相邻的短曝光图像，电子设备可将2帧相邻的短曝光图像及第一时间占比输入光流估计网络得到第一光流和第二光流，以及将2帧相邻的短曝光图像输入纹理估计网络得到第一纹理图像和第二纹理图像，以及将2帧相邻的短曝光图像输入核估计网络得到时域插值核。接着，电子设备可以将第一光流、第二光流以及2帧相邻的短曝光图像输入warping层，得到第一插值图像；将第一光流、第二光流、第一纹理图像和第二纹理图像输入warping层，得到第三纹理图像；将2帧相邻的短曝光图像与时域插值核进行卷积得到第二插值图像。对于3帧长曝光图像，电子设备可分别提取3帧长曝光图像中每个分区的SIFT关键点，并以位于中间的长曝光图像为参考图像，基于SIFT关键点的特征描述符进行分区匹配；然后基于匹配的两个分区确定配准矩阵，基于每个分区的配准矩阵对分区内的像素点进行单应性变换，得到两帧对齐后的长曝光图像。最后，将第一插值图像、第二插值图像、第三纹理图像、两帧对齐后的长曝光图像以及参考图像concatenate(连接)后输入融合网络，得到融合图像。
综上所述，本申请通过对齐后的至少一帧长曝光图像提供噪声先验，以去除第一插值图像、第二插值图像以及第三纹理图像中的噪声，并融合去除噪声后的第一插值图像、第二插值图像以及第三纹理图像，由于第一插值图像、第二插值图像以及第三插值图像是以不同角度反映图像的信息，三者综合起来能够很好地反映图像的真实情况，因此最终得到的融合图像清晰且信噪比高。
本申请实施例还提供了一种电子设备，该电子设备可以包括：存储器和一个或多个处理器。存储器和处理器耦合。该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令。当处理器执行计算机指令时，电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种芯片***，如图11所示，该芯片***1100包括至少一个处理器1101和至少一个接口电路1102。处理器1101和接口电路1102可通过线路互联。例如，接口电路1102可用于从其它装置(例如电子设备的存储器)接收信号。又例如，接口电路1102可用于向其它装置(例如处理器1101)发送信号。示例性的，接口电路1102可读取存储器中存储的指令，并将该指令发送给处理器1101。当所述指令被处理器1101执行时，可使得电子设备或者服务器执行上述实施例中的各个步骤。当然，该芯片***还可以包含其他分立器件，本申请实施例对此不作具体限定。
本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备或者服务器执行上述方法实施例中的各个功能或者步骤。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例中的各个功能或者步骤。
另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述方法实施例中手机执行的各个功能或者步骤。
其中，本实施例提供的电子设备、通信***、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (11)

1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备包括摄像头，所述方法包括：
响应于用户开启所述摄像头的操作，利用所述摄像头交替采集长曝光图像和短曝光图像得到图像序列，所述图像序列包括相邻的两帧短曝光图像及至少一帧长曝光图像，所述至少一帧长曝光图像包括所述两帧短曝光图像之间的第一长曝光图像，所述短曝光图像的曝光时间小于所述长曝光图像的曝光时间；
根据所述两帧短曝光图像及第一时间占比，得到第一时刻对应的插值图像及第一时刻对应的纹理图像；其中，所述第一时刻为所述第一长曝光图像的采集时刻，所述第一时间占比与所述第一时刻对应；
对所述插值图像、所述纹理图像及所述第一长曝光图像进行融合处理，得到融合图像。
2.根据权利要求1所述的方法，其特征在于，所述两帧短曝光图像包括第一短曝光图像和第二短曝光图像，所述插值图像包括第一插值图像，所述根据所述两帧短曝光图像及第一时间占比，得到第一时刻对应的插值图像，包括：
将所述第一短曝光图像、所述第二短曝光图像及所述第一时间占比输入光流估计网络，得到第一光流及第二光流；
基于所述第一光流和所述第二光流对所述第一短曝光图像、所述第二短曝光图像进行图像数字化变形处理得到所述第一插值图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述两帧短曝光图像及第一时间占比，得到第一时刻对应的纹理图像，所述纹理图像包括第三纹理图像，包括：
将所述第一短曝光图像和所述第二短曝光图像输入纹理估计网络，得到所述第一纹理图像及所述第二纹理图像；
基于所述第一光流和所述第二光流对所述第一纹理图像、所述第二纹理图像进行图像数字化变形处理得到所述第三纹理图像。
4.根据权利要求2或3所述的方法，其特征在于，所述插值图像还包括第二插值图像，所述根据所述两帧短曝光图像及第一时间占比，得到第一时刻对应的插值图像，包括：
将所述第一短曝光图像和所述第二短曝光图像输入核估计网络，得到时域插值核；
对所述第一短曝光图像、所述第二短曝光图像和所述时域插值核进行卷积得到所述第二插值图像。
5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述方法还包括：
对齐所述至少一帧长曝光图像；
所述对所述插值图像、所述纹理图像及所述第一长曝光图像进行融合处理，得到融合图像，包括：
对所述插值图像、所述纹理图像及对齐后的至少一帧长曝光图像进行融合处理，得到所述融合图像。
6.根据权利要求5所述的方法，其特征在于，所述对齐所述至少一帧长曝光图像，包括：
分别对所述至少一帧长曝光图像中的长曝光图像进行分区处理；
以所述第一长曝光图像为参考图像，确定所述第一长曝光图像中每个分区在第二长曝光图像中的匹配分区，以及确定第一长曝光图像中每个分区在第三长曝光图像中的匹配分区；
对于所述第二长曝光图像、所述第三长曝光图像中的任意一个分区，根据所述任意一个分区及所述任意一个分区所匹配的分区确定配准矩阵；
根据所述第二长曝光图像中每个分区对应的配准矩阵对所述第二长曝光图像对应的分区进行单应性变换，根据所述第三长曝光图像中每个分区对应的配准矩阵对所述第三长曝光图像中对应的分区进行单应性变换。
7.根据权利要求6所述的方法，其特征在于，所述以所述第一长曝光图像为参考图像，确定所述第一长曝光图像中每个分区在所述第二长曝光图像中的匹配分区，以及确定第一长曝光图像中每个分区在第三长曝光图像中的匹配分区，包括：
提取每个分区的特征点；
对于所述第一长曝光图像中的任意一个分区，确定所述任意一个分区的所有关键点在所述第二长曝光图像中的匹配关键点，以及确定所述任意一个分区的所有关键点在所述第三长曝光图像中的匹配关键点，所述匹配关键点为与所述关键点具有最小距离的关键点；
将所述第二长曝光图像中包含所述匹配关键点最多的分区确定为所述任意一个分区在所述第二长曝光图像中的匹配分区；
将所述第三长曝光图像中包含所述匹配关键点最多的分区确定为所述任意一个分区在所述第三长曝光图像中的匹配分区。
8.根据权利要求1-7中任意一项所述的方法，其特征在于，所述方法还包括：
在所述摄像头最新采集的一帧长曝光图像或最新采集到的一帧短曝光图像中存在运动模糊的情况下，降低所述摄像头采集短曝光图像所采用的曝光时间。
9.根据权利要求1-8中任意一项所述的方法，其特征在于，所述第一占比为第一时间间隔与第二时间间隔的比值，所述第一时间间隔为所述第一采集时刻与所述两帧短曝光图像中的前一帧短曝光图像的采集时刻的差值，所述第二时间间隔为所述两帧短曝光图像之间的采集时刻的差值。
10.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器；所述处理器与所述存储器耦合；其中，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述计算机指令被所述处理器执行时，使得所述电子设备执行如权利要求1-9中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，包括计算机指令；当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-9中任一项所述的方法。
CN202310193943.XA 2023-02-23 2023-02-23 一种图像处理方法及电子设备 Active CN117135469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310193943.XA CN117135469B (zh) 2023-02-23 2023-02-23 一种图像处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310193943.XA CN117135469B (zh) 2023-02-23 2023-02-23 一种图像处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN117135469A true CN117135469A (zh) 2023-11-28
CN117135469B CN117135469B (zh) 2024-07-12

Family

ID=88861641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310193943.XA Active CN117135469B (zh) 2023-02-23 2023-02-23 一种图像处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN117135469B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242133A1 (en) * 2012-03-08 2013-09-19 Aptina Imaging Corporation Systems and methods for generating interpolated high-dynamic-range images
CN106254782A (zh) * 2016-09-28 2016-12-21 北京旷视科技有限公司 图像处理方法及装置和相机
CN109167931A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
US20200014836A1 (en) * 2018-07-06 2020-01-09 Samsung Electronics Co., Ltd. Method and apparatus for capturing dynamic images
WO2022141418A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种图像处理方法以及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242133A1 (en) * 2012-03-08 2013-09-19 Aptina Imaging Corporation Systems and methods for generating interpolated high-dynamic-range images
CN106254782A (zh) * 2016-09-28 2016-12-21 北京旷视科技有限公司 图像处理方法及装置和相机
US20200014836A1 (en) * 2018-07-06 2020-01-09 Samsung Electronics Co., Ltd. Method and apparatus for capturing dynamic images
CN109167931A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
WO2022141418A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种图像处理方法以及装置

Also Published As

Publication number Publication date
CN117135469B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
CN108898567B (zh) 图像降噪方法、装置及***
CN110248048B (zh) 一种视频抖动的检测方法及装置
TWI543610B (zh) 電子裝置及其影像選擇方法
WO2021223500A1 (zh) 一种拍摄方法及设备
Tompkin et al. Towards moment imagery: Automatic cinemagraphs
CN116324878A (zh) 针对图像效果的分割
CN105427263A (zh) 一种实现图像配准的方法及终端
CN109816694B (zh) 目标跟踪方法、装置及电子设备
CN111669502B (zh) 目标对象显示方法、装置及电子设备
CN114339102B (zh) 一种录像方法及设备
WO2022160857A1 (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
Dutta et al. Stacked deep multi-scale hierarchical network for fast bokeh effect rendering from a single image
CN115061770A (zh) 显示动态壁纸的方法和电子设备
CN110992395A (zh) 图像训练样本的生成方法及装置、运动跟踪方法及装置
CN113283319A (zh) 人脸模糊度的评价方法及装置、介质和电子设备
CN110717452B (zh) 图像识别方法、装置、终端及计算机可读存储介质
CN114520886A (zh) 一种慢动作录像方法及设备
WO2022247630A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN113658065B (zh) 图像降噪方法及装置、计算机可读介质和电子设备
CN112598571B (zh) 一种图像缩放方法、装置、终端及存储介质
CN117135469B (zh) 一种图像处理方法及电子设备
CN115908120A (zh) 图像处理方法和电子设备
CN114979458B (zh) 一种图像的拍摄方法及电子设备
WO2019075644A1 (zh) 人像照片的搜索方法和终端
Li Super-resolution for synthetic zooming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant