CN117119292A - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN117119292A
CN117119292A CN202311067594.3A CN202311067594A CN117119292A CN 117119292 A CN117119292 A CN 117119292A CN 202311067594 A CN202311067594 A CN 202311067594A CN 117119292 A CN117119292 A CN 117119292A
Authority
CN
China
Prior art keywords
image
images
dynamic
determining
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311067594.3A
Other languages
English (en)
Inventor
钟锦鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202311067594.3A priority Critical patent/CN117119292A/zh
Publication of CN117119292A publication Critical patent/CN117119292A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法及装置，属于图像处理技术领域。图像处理方法包括：通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像，其中，第一图像根据第一曝光策略采集，第一曝光策略对应的曝光时长为第一时长，第二图像根据第二曝光策略采集，第二曝光策略对应的曝光时长为第二时长；根据多帧第一图像，生成第一动态图像；根据多帧第二图像，生成第二动态图像；将第一动态图像和第二动态图像进行融合，得到第三动态图像。

Description

图像处理方法及装置
技术领域
本申请属于图像处理技术领域，具体涉及一种图像处理方法及装置。
背景技术
在传统的动态图像拍摄方法中，通过在拍摄图像的同时保存下拍摄前后的预览帧图像，并将预览帧图像作为视频与拍摄图像一起保存的方式，得到动态图像。然而，在通过传统的动态图像拍摄方法拍摄动态图像时，动态图像只能保存一种拍摄参数对应的图像和预览视频，这使得拍摄得到的动态图像也仅能提供图像参数单一的图像帧。
在拍摄动态图像时，动态图像的显示效果会受到动态图像中图像帧的图像参数的限制，因此，通过上述动态图像拍摄方法拍摄得到的动态图像的图像效果也较为单一，且动态图像中图像帧显示的清晰度会较低，降低了动态图像的显示效果。
发明内容
本申请实施例的目的是提供一种图像处理方法及装置，能够增加动态图像的图像效果，提升动态图像中图像帧的显示清晰度，从而提升动态图像的显示效果。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像，其中，第一图像根据第一曝光策略采集，第一曝光策略对应的曝光时长为第一时长，第二图像根据第二曝光策略采集，第二曝光策略对应的曝光时长为第二时长；根据多帧第一图像，生成第一动态图像；根据多帧第二图像，生成第二动态图像；将第一动态图像和第二动态图像进行融合，得到第三动态图像。
第二方面，本申请实施例提供了一种图像处理装置，该装置包括：采集单元，用于通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像，其中，第一图像根据第一曝光策略采集，第一曝光策略对应的曝光时长为第一时长，第二图像根据第二曝光策略采集，第二曝光策略对应的曝光时长为第二时长；处理单元，用于根据多帧第一图像，生成第一动态图像；处理单元，还用于根据多帧第二图像，生成第二动态图像；处理单元，还用于将第一动态图像和第二动态图像进行融合，得到第三动态图像。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的图像处理方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储有程序或指令，程序或指令被处理器执行时实现如第一方面的图像处理方法的步骤。
第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的图像处理方法的步骤。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的图像处理方法的步骤。
本申请实施例提供的图像处理方法，由电子设备执行，图像处理方法包括：通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像，其中，第一图像根据第一曝光策略采集，第一曝光策略对应的曝光时长为第一时长，第二图像根据第二曝光策略采集，第二曝光策略对应的曝光时长为第二时长；根据多帧第一图像，生成第一动态图像；根据多帧第二图像，生成第二动态图像；将第一动态图像和第二动态图像进行融合，得到第三动态图像。通过上述图像处理方法，在生成动态图像的过程中，基于不同的曝光时长分别采集多帧图像，进而基于不同曝光时长的多帧图像，分别生成不同曝光时长的两个动态图像，进而基于不同曝光时长的两个动态图像，确定最终的动态图像。这样，增加了动态图像的图像效果，提高了动态图像中图像帧显示的清晰度，提升了动态图像的显示效果。
附图说明
图1为本申请实施例提供的图像处理方法的流程示意图之一；
图2为本申请实施例提供的图像处理方法的流程示意图之二；
图3为本申请实施例提供的图像处理方法的流程示意图之三；
图4为本申请实施例提供的图像处理方法的流程示意图之四；
图5为本申请实施例提供的图像处理方法的流程示意图之五；
图6为本申请实施例提供的图像处理方法的流程示意图之六；
图7为本申请实施例提供的图像处理方法的流程示意图之七；
图8为本申请实施例提供的图像处理方法的流程示意图之八；
图9为本申请实施例提供的图像处理方法的流程示意图之九；
图10为本申请实施例提供的图像处理方法的原理图之一；
图11为本申请实施例提供的图像处理方法的原理图之二；
图12为本申请实施例提供的图像处理方法的原理图之三；
图13为本申请实施例提供的图像处理方法的原理图之四；
图14为本申请实施例提供的图像处理方法的原理图之五；
图15为本申请实施例提供的图像处理方法的原理图之六；
图16为本申请实施例提供的图像处理方法的原理图之七；
图17为本申请实施例提供的图像处理装置的结构框图；
图18为本申请实施例提供的电子设备的结构框图；
图19为本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
如图1所示，本申请实施例提供一种图像处理方法，该方法可以包括下述S102至S108：
S102：通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像。
本申请实施例提出的图像处理方法，由电子设备执行，该电子设备具体可为智能手机、平板电脑、笔记本电脑以及智能手表等智能电子设备，在此不作具体限制。
其中，第一图像根据第一曝光策略采集，第一曝光策略对应的曝光时长为第一时长，第二图像根据第二曝光策略采集，第二曝光策略对应的曝光时长为第二时长。
进一步地，第一时长大于第二时长，或者第一时长小于第二时长，在此不作具体限制。
进一步地，上述多帧第一图像为以第一时长为曝光时长，在拍摄时刻前后的第一时段内采集到的图像。上述多帧第二图像为以第二时长为曝光时长，在拍摄时刻前后的第一时段内采集到的图像。
进一步地，上述第一摄像头支持双串流技术，第一摄像头具体可包括双串流传感器。
具体地，在本申请实施例提供的图像处理方法中，在生成动态图像的过程中，基于双串流技术将长曝光时长和短曝光时长两种不同的曝光时长下发给双串流传感器，双串流传感器进而再分别根据两种不同的曝光时长，同时对拍摄时刻的短曝光帧图像以及长曝光帧图像进行采集，并对拍摄时刻前后的第一时段内的多帧图像进行采集，从而得到曝光时长为第一时长的多帧第一图像以及曝光时长为第二时长的多帧第二图像。
其中，上述短曝光时长会根据拍摄主体的运动情况，在长曝光时长的基础上进行倍数降低。进一步地，相较于长曝光时长，对应短曝光时长的感光度会以相同倍数增加，以保证短曝光帧图像和长曝光帧图像亮度的一致性。
进一步地，在双串流传感器进行图像采集的过程中，具体可采用时域双串流传感器采集方式和空域双串流传感器采集方式等，本领域技术人员可根据实际情况对图像采集方式进行选择，在此不作具体限制。
进一步地，上述第一时段具体可为1.5秒、2秒等时长，在实际的应用过程中，本领域技术人员可根据实际情况，对上述第一时段的具体时长进行设置，在此不作具体限制。
S104：根据多帧第一图像，生成第一动态图像。
其中，上述多帧第一图像为以第一时长为曝光时长，在拍摄时刻前后的第一时段内采集到的图像。也即，上述多帧第一图像包括传感器在拍摄时刻采集到的一帧曝光时长为第一时长的拍摄图像，上述多帧第一图像还包括传感器在拍摄时刻前后的第一时段内所采集到的多帧曝光时长为第一时长的预览图像。
在此基础上，在本申请实施例提供的图像处理方法中，在采集到多帧第一图像之后，基于多帧第一图像中的多帧预览图像，对多帧第一图像中的拍摄图像进行多帧融合处理，并在对多帧融合处理后的图像进行ISP(Image Signal Processing，图像信号处理)之后，将处理后的图像信息确定为拍摄时刻的图像信息。进一步地，对多帧第一图像中的多帧预览图像进行视频编码处理，得到相应的曝光时长为第一时长的视频，进而再基于得到的视频以及图像信息生成第一动态图像。
S106：根据多帧第二图像，生成第二动态图像。
其中，上述多帧第二图像为以第二时长为曝光时长，在拍摄时刻前后的第一时段内采集到的图像。也即，上述多帧第二图像包括传感器在拍摄时刻采集到的一帧曝光时长为第二时长的拍摄图像，上述多帧第二图像还包括传感器在拍摄时刻前后的第一时段内所采集到的多帧曝光时长为第二时长的预览图像。
在此基础上，在本申请实施例提供的图像处理方法中，在采集到多帧第二图像之后，基于多帧第二图像中的多帧预览图像，对多帧第二图像中的拍摄图像进行多帧融合处理，并在对多帧融合处理后的图像进行ISP之后，将处理后的图像信息确定为拍摄时刻的图像信息。进一步地，对多帧第二图像中的多帧预览图像进行视频编码处理，得到相应的曝光时长为第二时长的视频，进而再基于得到的视频以及图像信息生成第二动态图像。
S108：将第一动态图像和第二动态图像进行融合，得到第三动态图像。
其中，第一动态图像的曝光时长为第一时长，第二动态图像的曝光时长为第二时长。
具体地，在本申请实施例提供的图像处理方法中，在得到第一动态图像和第二动态图像之后，对第一动态图像和第二动态图像进行融合处理，得到第三动态图像。可以理解的是，长曝光图像的背景区域的图像细节较多，长曝光图像与短曝光图像融合后，能够提升短曝光图像的清晰度，而短曝光图像的运动区域的图像较为清晰，短曝光图像与长曝光图像融合后，能够提升长曝光图像在运动区域的清晰度。这样，通过融合不同曝光时长的第一动态图像和第二动态图像得到第三动态图像，一方面，第三动态图像能够同时提供两种不同曝光和运动状态的图像，提升了第三动态图像的图像效果，提升了用户选择的灵活性；另一方面，第三动态图像能够综合第一动态图像和第二动态图像的图像细节，提升了第三动态图像中图像帧的清晰度，从而提升了第三动态图像的显示效果。
本申请实施例提供的图像处理方法，通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像，其中，第一图像根据第一曝光策略采集，第一曝光策略对应的曝光时长为第一时长，第二图像根据第二曝光策略采集，第二曝光策略对应的曝光时长为第二时长；根据多帧第一图像，生成第一动态图像；根据多帧第二图像，生成第二动态图像；将第一动态图像和第二动态图像进行融合，得到第三动态图像。通过上述图像处理方法，在生成动态图像的过程中，基于不同的曝光时长分别采集多帧图像，进而基于不同曝光时长的多帧图像，分别生成不同曝光时长的两个动态图像，并基于不同曝光时长的两个动态图像，确定最终的动态图像。这样，增加了动态图像的图像效果，提高了动态图像中图像帧显示的清晰度，提升了动态图像的显示效果。
在本申请实施例中，第一摄像头包括图像传感器，图像传感器包括多个第一像素区域和多个第二像素区域，在此基础上，如图2所示，上述S102具体可包括下述的S110和S112：
S110：通过第一摄像头同时采集多个第一像素区域和多个第二像素区域在第一时段内的像素信息，得到多帧第十图像和多帧第十一图像。
在本申请实施例中，第一摄像头包括图像传感器，该图像传感器具体可为双串流传感器，在此不作具体限制。
进一步地，图像传感器包括多个第一像素区域和多个第二像素区域。
其中，第一像素区域的曝光时长为第一时长，第二像素区域的曝光时长为第二时长。
进一步地，在实际的应用过程中，上述第一像素区域以及第二像素区域可均匀分布于图像传感器上，在此不作具体限制。
具体地，在本申请实施例提供的图像处理方法中，在生成动态图像的过程中，基于双串流技术将长曝光时长和短曝光时长两种不同的曝光时长下发给第一摄像头中的图像传感器，图像传感器进而再根据两种不同的曝光时长，设置不同曝光时长的多个第一像素区域和多个第二像素区域。在此基础上，通过第一摄像头采集多个第一像素区域在第一时段内的像素信息，得到多帧第十图像，以及采集多个第二像素区域在第一时段内的像素信息，得到多帧第十一图像。
S112：对多帧第十图像进行插值处理，得到多帧第一图像，以及对多帧第十一图像进行插值处理，得到多帧第二图像。
具体地，在基于多个第一像素区域和多个第二像素区域在第一时段内的像素信息，分别得到多帧第十图像和多帧第十一图像之后，对多帧第十图像进行插值处理，得到多帧第一图像，以及对多帧第十一图像进行插值处理，得到多帧第二图像。
示例性地，如图10所示，图像传感器202上均匀设置有多个第一像素区域204和多个第二像素区域206。其中，第一像素区域204的曝光时长为第一时长，第二像素区域206的曝光时长为第二时长。在此基础上，在生成每帧第一图像212的过程中，对图像传感器202上的多个第一像素区域204的像素信息进行提取，得到第十图像208，进而通过对第十图像208进行插值处理，得到第一图像212。同理，在生成每帧第二图像214的过程中，对图像传感器202上的多个第二像素区域206的像素信息进行提取，得到第十一图像210，进而通过对第十一图像210进行插值处理，得到第二图像214。
本申请提供的上述实施例，第一摄像头包括图像传感器，图像传感器包括多个第一像素区域和多个第二像素区域，在通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像的过程中，具体地，通过电子设备的第一摄像头同时采集多个第一像素区域和多个第二像素区域在第一时段内的像素信息，得到多帧第十图像和多帧第十一图像，其中，第一像素区域的曝光时长为第一时长，第二像素区域的曝光时长为第二时长；对多帧第十图像进行插值处理，得到多帧第一图像，以及对多帧第十一图像进行插值处理，得到多帧第二图像。这样，在生成动态图像的过程中，基于不同的曝光时长分别采集多帧图像，增加了后续基于不同曝光时长的多帧图像生成得到的动态图像的图像效果，提升了动态图像的显示效果。
在本申请实施例中，如图3所示，上述S104具体可包括下述的S114至S118：
S114：将在拍摄时刻采集的第一图像确定为第八图像，并根据多帧第一图像中除第八图像之外的第一图像，对第八图像进行图像增强处理。
其中，上述多帧第一图像为以第一时长为曝光时长，在拍摄时刻前后的第一时段内采集到的图像。也即，上述多帧第一图像包括传感器在拍摄时刻采集到的一帧曝光时长为第一时长的拍摄图像，上述多帧第一图像还包括传感器在拍摄时刻前后的第一时段内所采集到的多帧曝光时长为第一时长的预览图像。
在此基础上，在本申请实施例提供的图像处理方法中，在采集到多帧第一图像之后，将多帧第一图像中的拍摄图像即在拍摄时刻采集到的第一图像确定为第八图像，并根据多帧第一图像中除第八图像之外的第一图像即多帧第一图像中的多帧预览图像，对第八图像进行多帧融合处理以及ISP处理，得到处理后的第八图像，并将处理后的第八图像确定为拍摄时刻的图像信息。
S116：根据多帧第一图像中除第八图像之外的第一图像，确定第一视频。
具体地，在本申请实施例提供的图像处理方法中，在采集到多帧第一图像之后，对多帧第一图像中除第八图像之外的第一图像即多帧第一图像中的多帧预览图像进行视频编码处理，得到相应的第一视频，该第一视频为短曝光视频或者长曝光视频。
S118：根据第一视频和处理后的第八图像，生成第一动态图像。
具体地，在本申请实施例提供的图像处理方法中，在采集到多帧第一图像之后，基于多帧第一图像中的多帧预览图像，对多帧第一图像中的拍摄图像即上述第八图像进行多帧融合处理，并在对多帧融合处理后的第八图像进行ISP之后，将处理后的第八图像确定为拍摄时刻的图像信息。进一步地，对多帧第一图像中的多帧预览图像进行视频编码处理，得到相应的短曝光视频或者长曝光视频即第一视频，进而再基于得到的第一视频以及处理后的第八图像生成第一动态图像。
同理，在本申请实施例提供的图像处理方法中，在采集到多帧第二图像之后，将在拍摄时刻采集的第二图像确定为第九图像，并根据多帧第二图像中除第九图像之外的第二图像，对第九图像进行图像增强处理。进一步地，根据多帧第二图像中除第九图像之外的第二图像，确定第二视频，进而根据第二视频和处理后的第九图像，生成第二动态图像。
本申请提供的上述实施例，在根据多帧第一图像，生成第一动态图像的过程中，具体地，将在拍摄时刻采集的第一图像确定为第八图像，并根据多帧第一图像中除第八图像之外的第一图像，对第八图像进行图像增强处理；根据多帧第一图像中除第八图像之外的第一图像，确定第一视频；根据第一视频和处理后的第八图像，生成第一动态图像。这样，保证了第一动态图像生成的准确性，提升了图像效果。
在本申请实施例中，第一动态图像包括多个第三图像，第二动态图像包括多个第四图像，多个第三图像为对多帧第一图像进行处理得到的，多个第四图像为对多帧第二图像进行处理得到的，在此基础上，如图4所示，在S108之后，上述图像处理方法具体还可包括下述的S120至S124：
S120：根据第一模型，确定多个第三图像和多个第四图像的图像分数。
其中，多个第三图像为构成第一动态图像的多帧图像，第三图像的曝光时长为第一时长，多个第三图像为对多帧第一图像进行处理得到的。
进一步地，多个第四图像为构成第二动态图像的多帧图像，第四图像的曝光时长为第二时长，多个第四图像为对多帧第二图像进行处理得到的。
进一步地，上述第一模型为采用全监督学习方法训练得到的AI(ArtificialIntelligence，人工智能)模型，该第一模型具体可为CNN(Convolutional NeuralNetworks，卷积神经网络)模型。在实际的应用过程中，本领域技术人员可根据实际情况对上述第一模型的具体类型进行选择，在此不作具体限制。
进一步地，第一模型能够对输入其中的图像帧的图像质量、拍摄主体的运动效果进行分析评价，并输出相应的图像分数。其中，图像分数越高，表示对应的图像帧的图像质量以及运动效果越好。
在此基础上，在本申请实施例提供的图像处理方法中，在得到第一动态图像以及第二图像之后，提取第一动态图像中的多个第三图像，以及提取第二动态图像中的多个第四图像。进一步地，将提取到的多个第三图像和多个第四图像输入第一模型，以通过第一模型对多个第三图像和多个第四图像进行评价，得到多个第三图像和多个第四图像的图像分数。
另外，需要说明的是，如图12所示，在对上述第一模型进行训练的过程中，具体可将同一时刻的短曝光图像帧和长曝光图像帧作为第一模型的训练集，训练第一模型为不同图像中的多种不同运动的各个运动姿态进行打分和标记，使得第一模型对训练集中的数据匹配相对应的标签值，并输出相应的推荐分数即图像分数。
S122：根据图像分数，从多个第三图像和多个第四图像中确定第五图像。
其中，图像分数越高，表示对应的图像帧的图像质量以及运动效果越好。
具体地，在本申请实施例提供的图像处理方法中，在确定多个第三图像和多个第四图像的图像分数之后，可自动将图像分数最高的第三图像或第四图像确定为第五图像，并基于该第五图像确定动态图像显示时的封面图像。
进一步地，在本申请实施例提供的图像处理方法中，在确定多个第三图像和多个第四图像的图像分数之后，还可基于多个第三图像和多个第四图像的图像分数，向用户推荐至少一个图像分数较高的图像帧，进而再将用户选择的图像帧确定为第五图像，并基于该第五图像确定动态图像显示时的封面图像。
在实际的应用过程中，对于上述第五图像的确定方式，本领域技术人员可根据实际情况进行设置，在此不作具体限制。
S124：根据第五图像和第六图像，确定第三动态图像的封面图像。
其中，第六图像和第五图像分别为第一动态图像和第二动态图像中同一时刻的图像帧。例如，在上述第五图像为第一动态图像中第M时刻的第三图像的情况下，上述第六图像即为第二动态图像中第M时刻的第四图像，其中，M为正整数。
具体地，在本申请实施例提供的图像处理方法中，在确定第五图像之后，从不包含第五图像的另一动态图像中选取与该第五图像处于同一时刻的图像帧作为第六图像，进而通过对第五图像以及第六图像进行多帧合成、超分算法处理以及尺寸调整等处理，确定第三动态图像的封面图像，并显示该封面图像。
也就是说，在本申请实施例提供的图像处理方法中，在将第一动态图像和第二动态图像进行融合从而得到第三动态图像之后，对构成第一动态图像以及第二动态图像的每帧图像的图像质量以及拍摄主体的运动姿态进行分析，选择图像质量以及运动姿态较好的一帧图像，并通过对该帧图像进行多帧合成、超分算法处理以及尺寸调整等处理，确定第三动态图像的封面图像，并显示该封面图像。
另外，在实际的应用过程中，用户还可手动选择第三动态图像的封面图像。具体地，在生成第三动态图像之后，在用户对第三动态图像进行编辑的过程中，如图11中的(a)和(b)所示，在图像编辑界面302会分别显示构成第一动态图像的多帧图像以及构成第二动态图像的多帧图像。在此基础上，如图11中的(a)所示，用户可从显示的多帧图像中选择一帧长曝光时长图像304作为封面图像进行显示。进一步地，如图11中的(b)所示，用户还可从显示的多帧图像中选择一帧短曝光时长图像306作为封面图像进行显示。其中，相较于短曝光时长图像306，长曝光时长图像304在背景等区域的细节更多，噪声更少，信噪比和清晰度更好，而相较于长曝光时长图像304，短曝光时长图像306采集到的运动模糊更少，短曝光时长图像306在运动区域更加清晰。
本申请提供的上述实施例，第一动态图像包括多个第三图像，第二动态图像包括多个第四图像，在将第一动态图像和第二动态图像进行融合，得到第三动态图像的过程中之后，还可根据第一模型，确定多个第三图像和多个第四图像的图像分数；根据图像分数，从多个第三图像和多个第四图像中确定第五图像；根据第五图像和第六图像，确定第三动态图像的封面图像，其中，第六图像和第五图像分别为第一动态图像和第二动态图像中同一时刻的图像帧。这样，提高了第三动态图像显示时的封面图像的清晰度，提升了动态图像的显示效果。
在本申请实施例中，如图5所示，上述S112具体可包括下述的S126或者S128：
S126：将多个第三图像和多个第四图像中图像分数最高的图像帧确定为第五图像。
具体地，在本申请实施例提供的图像处理方法中，在确定多个第三图像和多个第四图像的图像分数之后，可按照图像分数从高至低的顺序，对多个第三图像和多个第四图像进行排序，并将图像分数最高的第三图像或第四图像确定为第五图像，并基于该第五图像确定动态图像显示时的封面图像。
S128：在显示多个第三图像和多个第四图像的情况下，在图像分数大于第一阈值的第三图像和/或多个第四图像上显示第一标记，并根据用户对第一标记的选择输入，确定第五图像。
其中，第一阈值为评判图像质量的标准，在图像分数大于第一阈值的情况下，说明对应的第三图像或第四图像的图像质量较高，而在图像分数小于或等于第一阈值的情况下，则说明对应的第三图像或第四图像的图像质量较低。
在实际的应用过程中，对于上述第一阈值的具体取值，本领域技术人员可根据实际情况进行设置，在此不作具体限制。
进一步地，上述第一标记用于指示对应的第三图像或第四图像的图像质量较高，以便用户选择图像质量较高的图像帧作为封面图像。
具体地，在本申请实施例提供的图像处理方法中，在确定多个第三图像和多个第四图像的图像分数之后，还可将多个第三图像和多个第四图像的图像分数与第一阈值进行比较。在此基础上，在显示多个第三图像和多个第四图像的情况下，如在图像编辑界面，再根据视频分数与第一阈值的比较结果，向用户推荐至少一个图像分数较高的图像帧。具体地，在图像分数大于第一阈值的第三图像和/或多个第四图像上显示第一标记，并根据用户对第一标记的选择输入，将用户选择的图像帧确定为第五图像，并基于该第五图像确定动态图像显示时的封面图像。
其中，如图13所示，第一标记308具体可采用星星符号的形式。在实际的应用过程中，上述第一标记具体还可采用红点、圆圈、三角形等形式，在此不作具体限制。
本申请提供的上述实施例，在根据图像分数，从多个第三图像和多个第四图像中确定第五图像的过程中，具体地，将多个第三图像和多个第四图像中图像分数最高的图像帧确定为第五图像；或者在显示多个第三图像和多个第四图像的情况下，在图像分数大于第一阈值的第三图像和/或多个第四图像上显示第一标记，并根据用户对第一标记的选择输入，确定第五图像。这样，保证了第五图像确定的准确性，进而保证了后续封面图像确定的准确性，提高了封面图像的清晰度，提升了动态图像的显示效果。
在本申请实施例中，如图6所示，上述S124具体可包括下述的S130至S134：
S130：对第五图像和第六图像进行融合处理，得到第七图像。
其中，第六图像和第五图像分别为第一动态图像和第二动态图像中同一时刻的图像帧。
具体地，在本申请实施例提供的图像处理方法中，在确定第五图像之后，从不包含第五图像的另一动态图像中选取与该第五图像处于同一时刻的图像帧作为第六图像，并通过对第五图像以及第六图像进行特征提取、对齐处理、特征匹配以及偏移量计算等操作，对第五图像和第六图像进行融合处理，得到第七图像。
S132：对第七图像进行上采样，以将第七图像的尺寸调整为第一尺寸。
其中，第一尺寸为通过第一摄像头拍摄图像的过程中，第一摄像头对应的图像预览界面的界面尺寸。
其中，上述图像预览界面的界面尺寸与拍摄图像时采用的图像比例相关，在实际的应用过程中，上述图像比例具体可为1：1、4：3以及16：9等比例，在此不作具体限制。
具体地，在得到第七图像之后，基于通过第一摄像头拍摄图像的过程中，第一摄像头对应的图像预览界面的界面尺寸，对第七图像进行超分算法处理，以将第七图像的尺寸上采样到第一尺寸。
S134：将调整后的第七图像确定为封面图像，显示封面图像。
其中，调整后的第七图像的图像尺寸与拍摄界面相同，将该第七图像作为动态图像的封面图像进行显示。
本申请提供的上述实施例，在根据第五图像和第六图像，确定第三动态图像的封面图像的过程中，具体地，对第五图像和第六图像进行融合处理，得到第七图像；对第七图像进行上采样，以将第七图像的尺寸调整为第一尺寸；将调整后的第七图像确定为封面图像，显示封面图像。这样，保证了封面图像确定的准确性，提高了封面图像的清晰度，提升了动态图像的显示效果。
在本申请实施例中，如图7所示，上述S130具体可包括下述的S136至S144：
S136：对第五图像和第六图像进行特征点提取，得到第一特征点集和第二特征点集。
其中，第六图像和第五图像分别为第一动态图像和第二动态图像中同一时刻的图像帧。
具体地，在本申请实施例提供的图像处理方法中，在确定第五图像和第六图像之后，如图14所示，可将第六图像312和第五图像310分别分割为多个网格，一个网格对应一个图像区域。在此基础上，再对每个网格中的图像进行特征点314的提取，得到第五图像310的第一特征点集和第六图像312的第二特征点集。
其中，在对每个网格中的图像进行特征点提取的过程中，对于每个网格，如图15所示，在网格中选择一定大小的移动窗口316，使得移动窗口316在网格中沿着网格边缘的方向移动。在此基础上，再根据移动窗口316内的像素值变化情况，计算得到两个特征值λ1和λ2，并基于两个特征值λ1和λ2确定移动窗口316对应的角点响应函数R，进而再基于网格内各个移动窗口316的角点响应函数R获得网格内的特征点。如此，通过对第六图像和第五图像中每个网格中的图像进行特征点提取，即可得到上述第一特征点集和第二特征点集。
其中，移动窗口对应的角点响应函数R具体可通过下述公式(1)确定：
R＝min(λ1，λ2)， (1)
其中，λ1和λ2为根据移动窗口内的像素值变化情况确定的特征值。
在实际的应用过程中，在进行特征点提取的过程中，具体可采用Harris角点检测、FAST角点检测以及Shi-Tomasi角点检测等特征提取算法，在此不作具体限制。
S138：根据第一特征点集和第二特征点集，对第五图像和第六图像进行对齐处理。
具体地，根据第一特征点集和第二特征点集，确定第五图像和第六图像之间的Homography矩阵即单应矩阵，简称H矩阵。在此基础上，再通过第五图像和第六图像之间的H矩阵，对第五图像和第六图像进行对齐处理。
其中，第五图像和第六图像之间的H矩阵具体可通过下述的公式(2)进行确定：
其中，(x0，y0)为第五图像的特征点坐标，(X0，Y0)为第六图像的特征点坐标。
S140：对处理后的第五图像和第六图像进行特征点匹配。
具体地，在对第五图像和第六图像进行对齐处理之后，确定第五图像和第六图像由网格所分割成的图像区域之间的SAD(Sum of Absolute Difference，绝对误差)，并基于第五图像和第六图像的图像区域之间的SAD，对第五图像和第六图像进行特征点匹配。
具体地，对于第五图像中的每个图像区域中的每个特征点，如图16中的(a)所示，以该特征点为中心构建一个4×4或者8×8的图像块318。并且，如图16中的(b)所示，以上述特征点的像素坐标在第六图像中所对应的像素点为中心，以8像素大小为半径确定一个匹配搜索范围320。在此基础上，计算图像块中的特征点与匹配搜索范围中的像素点之间SAD值，并将SAD值最小的像素点确定为与该特征点相匹配的像素点。
其中，在计算图像块中的特征点与匹配搜索范围中的像素点之间SAD值的过程中，具体可采用下述的公式(3)：
SAD＝sum(tar[i]-ref[i])， (3)
其中，tar[i]为第五图像中的特征点所对应的图像块信息，ref[i]为第六图像中的像素点信息，sum表示求和。
另外，在实际的应用过程中，上述图像块以及匹配搜索范围还可采用其他尺寸，在此不作具体限制。
S142：根据匹配结果确定权重参数。
具体地，对处理后的第五图像和第六图像进行特征点匹配，基于第五图像和第六图像中相匹配的特征点以及像素点，计算第五图像和第六图像由网格所分割成的图像区域之间的MV(Motion Vector，运动量)即偏移量，进而再基于偏移量确定第六图像中每个图像区域的权重参数。
其中，第五图像和第六图像的图像区域之间的运动量越大，对应的图像区域的权重参数越小。
进一步地，第六图像和第五图像中对应图像区域的权重参数的和为1。
S144：根据权重参数融合第五图像和第六图像，得到第七图像。
具体地，在根据匹配结果确定权重参数之后，即可按照下述公式(4)，根据确定的权重参数对第五图像和第六图像进行融合，从而得到第七图像：
I＝(1-weight)×I1+weight×I2， (4)
其中，I表示第七图像的图像信息，weight表示权重参数，I1表示第五图像的图像信息，I2表示第六图像的图像信息。
本申请提供的上述实施例，在对第五图像和第六图像进行融合处理，得到第七图像的过程中，具体地，对第五图像和第六图像进行特征点提取，得到第一特征点集和第二特征点集；根据第一特征点集和第二特征点集，对第五图像和第六图像进行对齐处理；对处理后的第五图像和第六图像进行特征点匹配；根据匹配结果确定权重参数；根据权重参数融合第五图像和第六图像，得到第七图像。这样，保证了第七图像确定的准确性，进而保证了后续封面图像确定的准确性，提高了封面图像的清晰度，提升了动态图像的显示效果。
在本申请实施例中，如图8所示，上述S142具体可包括下述的S146至S150：
S146：根据匹配结果确定第六图像中与第五图像的多个图像区域中的特征点相匹配的像素点。
具体地，根据对第五图像和第六图像进行特征点匹配的匹配结果，针对第五图像中每个图像区域中的特征点，从第六图像对应的图像区域中确定与上述特征点相匹配的像素点。
S148：根据每个特征点和像素点的坐标信息，确定每个特征点与匹配的像素点之间的偏移量。
具体地，针对每组相匹配的特征点以及像素点，获取特征点和像素点的坐标信息，并根据特征点和像素点之间的坐标距离，确定特征点与匹配的像素点之间的偏移量。
S150：根据偏移量，确定与第六图像中每个图像区域对应的权重参数。
其中，第五图像和第六图像的图像区域之间的运动量越大，对应的图像区域的权重参数越小。
进一步地，第六图像和第五图像中对应图像区域的权重参数的和为1。
本申请提供的上述实施例，在根据匹配结果确定权重参数的过程中，具体地，根据匹配结果确定第六图像中与第五图像的多个图像区域中的特征点相匹配的像素点；根据每个特征点和像素点的坐标信息，确定每个特征点与匹配的像素点之间的偏移量；根据偏移量，确定与第六图像中每个图像区域对应的权重参数。这样，保证了权重参数的准确性，进而保证了融合得到的第七图像的准确性，提高了封面图像的清晰度，提升了动态图像的显示效果。
在本申请实施例中，如图9所示，在上述S124之后，上述图像处理方法具体还可包括下述的S152和S154：
S152：接收用户对封面图像的第一输入。
其中，上述第一输入具体可为用户对上述封面图像的触控输入，该触控输入具体可为单击输入、长按输入、双击输入、滑动输入、沿预设轨迹输入等，本领域技术人员可根据实际情况，对上述第一输入的具体形式进行设置，在此不作具体限制。
S154：响应于第一输入，在封面图像来源于第一动态图像的情况下，播放第一动态图像，在封面图像来源于第二动态图像的情况下，播放第二动态图像。
具体地，在得到上述第三动态图像并显示上述封面图像之后，电子设备可接收并响应于用户对封面图像的第一输入，在封面图像来源于第一动态图像的情况下，预览播放第一动态图像，在封面图像来源于第二动态图像的情况下，预览播放第二动态图像。
本申请提供的上述实施例，在确定第三动态图像的封面图像之后，接收用户对封面图像的第一输入；响应于第一输入，在封面图像来源于第一动态图像的情况下，播放第一动态图像，在封面图像来源于第二动态图像的情况下，播放第二动态图像。这样，增加了动态图像的显示效果，提升了动态图像的选择灵活性。
本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行上述图像处理方法为例，说明本申请实施例提供的图像处理装置。
如图17所示，本申请实施例提供一种图像处理装置900，该装置可以包括下述的采集单元902和处理单元904。
采集单元902，用于通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像，其中，第一图像根据第一曝光策略采集，第一曝光策略对应的曝光时长为第一时长，第二图像根据第二曝光策略采集，第二曝光策略对应的曝光时长为第二时长；
处理单元904，用于根据多帧第一图像，生成第一动态图像；
处理单元904，还用于根据多帧第二图像，生成第二动态图像；
处理单元904，还用于将第一动态图像和第二动态图像进行融合，得到第三动态图像。
本申请实施例提供的图像处理装置900，通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像，其中，第一图像根据第一曝光策略采集，第一曝光策略对应的曝光时长为第一时长，第二图像根据第二曝光策略采集，第二曝光策略对应的曝光时长为第二时长；根据多帧第一图像，生成第一动态图像；根据多帧第二图像，生成第二动态图像；将第一动态图像和第二动态图像进行融合，得到第三动态图像。通过上述图像处理装置900，在生成动态图像的过程中，基于不同的曝光时长分别采集多帧图像，进而基于不同曝光时长的多帧图像，分别生成不同曝光时长的两个动态图像，并基于不同曝光时长的两个动态图像，确定最终的动态图像。这样，增加了动态图像的图像效果，提高了动态图像中图像帧显示的清晰度，提升了动态图像的显示效果。
在本申请实施例中，第一摄像头包括图像传感器，图像传感器包括多个第一像素区域和多个第二像素区域，采集单元902具体用于：通过第一摄像头同时采集多个第一像素区域和多个第二像素区域在第一时段内的像素信息，得到多帧第十图像和多帧第十一图像，其中，第一像素区域的曝光时长为第一时长，第二像素区域的曝光时长为第二时长；处理单元904还用于：对多帧第十图像进行插值处理，得到多帧第一图像，以及对多帧第十一图像进行插值处理，得到多帧第二图像。
本申请提供的上述实施例，第一摄像头包括图像传感器，图像传感器包括多个第一像素区域和多个第二像素区域，在通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像的过程中，具体地，通过第一摄像头同时采集多个第一像素区域和多个第二像素区域在第一时段内的像素信息，得到多帧第十图像和多帧第十一图像，其中，第一像素区域的曝光时长为第一时长，第二像素区域的曝光时长为第二时长；对多帧第十图像进行插值处理，得到多帧第一图像，以及对多帧第十一图像进行插值处理，得到多帧第二图像。这样，在生成动态图像的过程中，基于不同的曝光时长分别采集多帧图像，增加了后续基于不同曝光时长的多帧图像生成得到的动态图像的图像效果，提升了动态图像的显示效果。
在本申请实施例中，处理单元904具体用于：将在拍摄时刻采集的第一图像确定为第八图像，并根据多帧第一图像中除第八图像之外的第一图像，对第八图像进行图像增强处理；根据多帧第一图像中除第八图像之外的第一图像，确定第一视频；根据第一视频和处理后的第八图像，生成第一动态图像。
本申请提供的上述实施例，在根据多帧第一图像，生成第一动态图像的过程中，具体地，将在拍摄时刻采集的第一图像确定为第八图像，并根据多帧第一图像中除第八图像之外的第一图像，对第八图像进行图像增强处理；根据多帧第一图像中除第八图像之外的第一图像，确定第一视频；根据第一视频和处理后的第八图像，生成第一动态图像。这样，保证了第一动态图像生成的准确性，提升了图像效果。
在本申请实施例中，第一动态图像包括多个第三图像，第二动态图像包括多个第四图像，多个第三图像为对多帧第一图像进行处理得到的，多个第四图像为对多帧第二图像进行处理得到的，处理单元904还用于：根据第一模型，确定多个第三图像和多个第四图像的图像分数；根据图像分数，从多个第三图像和多个第四图像中确定第五图像；根据第五图像和第六图像，确定第三动态图像的封面图像，其中，第六图像和第五图像分别为第一动态图像和第二动态图像中同一时刻的图像帧。
本申请提供的上述实施例，第一动态图像包括多个第三图像，第二动态图像包括多个第四图像，多个第三图像为对多帧第一图像进行处理得到的，多个第四图像为对多帧第二图像进行处理得到的，在将第一动态图像和第二动态图像进行融合，得到第三动态图像之后，还可根据第一模型，确定多个第三图像和多个第四图像的图像分数；根据图像分数，从多个第三图像和多个第四图像中确定第五图像；根据第五图像和第六图像，确定第三动态图像的封面图像，其中，第六图像和第五图像分别为第一动态图像和第二动态图像中同一时刻的图像帧。这样，提高了第三动态图像显示时的封面图像的清晰度，提升了动态图像的显示效果。
在本申请实施例中，处理单元904具体用于：将多个第三图像和多个第四图像中图像分数最高的图像帧确定为第五图像；或者，图像处理装置900还包括：显示单元906，用于在显示多个第三图像和多个第四图像的情况下，在图像分数大于第一阈值的第三图像和/或多个第四图像上显示第一标记；处理单元904具体用于：根据用户对第一标记的选择输入，确定第五图像。
本申请提供的上述实施例，在根据图像分数，从多个第三图像和多个第四图像中确定第五图像的过程中，具体地，将多个第三图像和多个第四图像中图像分数最高的图像帧确定为第五图像；或者在显示多个第三图像和多个第四图像的情况下，在图像分数大于第一阈值的第三图像和/或多个第四图像上显示第一标记，并根据用户对第一标记的选择输入，确定第五图像。这样，保证了第五图像确定的准确性，进而保证了后续封面图像确定的准确性，提高了封面图像的清晰度，提升了动态图像的显示效果。
在本申请实施例中，处理单元904具体用于：对第五图像和第六图像进行融合处理，得到第七图像；对第七图像进行上采样，以将第七图像的尺寸调整为第一尺寸；将调整后的第七图像确定为封面图像。
本申请提供的上述实施例，在根据第五图像和第六图像，确定第三动态图像的封面图像的过程中，具体地，对第五图像和第六图像进行融合处理，得到第七图像；对第七图像进行上采样，以将第七图像的尺寸调整为第一尺寸；将调整后的第七图像确定为封面图像。这样，保证了封面图像确定的准确性，提高了封面图像的清晰度，提升了动态图像的显示效果。
在本申请实施例中，处理单元904具体用于：对第五图像和第六图像进行特征点提取，得到第一特征点集和第二特征点集；根据第一特征点集和第二特征点集，对第五图像和第六图像进行对齐处理；对处理后的第五图像和第六图像进行特征点匹配；根据匹配结果确定权重参数；根据权重参数融合第五图像和第六图像，得到第七图像。
本申请提供的上述实施例，在对第五图像和第六图像进行融合处理，得到第七图像的过程中，具体地，对第五图像和第六图像进行特征点提取，得到第一特征点集和第二特征点集；根据第一特征点集和第二特征点集，对第五图像和第六图像进行对齐处理；对处理后的第五图像和第六图像进行特征点匹配；根据匹配结果确定权重参数；根据权重参数融合第五图像和第六图像，得到第七图像。这样，保证了第七图像确定的准确性，进而保证了后续封面图像确定的准确性，提高了封面图像的清晰度，提升了动态图像的显示效果。
在本申请实施例中，处理单元904具体用于：根据匹配结果确定第六图像中与第五图像的多个图像区域中的特征点相匹配的像素点；根据每个特征点和像素点的坐标信息，确定每个特征点与匹配的像素点之间的偏移量；根据偏移量，确定与第六图像中每个图像区域对应的权重参数。
本申请提供的上述实施例，在根据匹配结果确定权重参数的过程中，具体地，根据匹配结果确定第六图像中与第五图像的多个图像区域中的特征点相匹配的像素点；根据每个特征点和像素点的坐标信息，确定每个特征点与匹配的像素点之间的偏移量；根据偏移量，确定与第六图像中每个图像区域对应的权重参数。这样，保证了权重参数的准确性，进而保证了融合得到的第七图像的准确性，提高了封面图像的清晰度，提升了动态图像的显示效果。
在本申请实施例中，图像处理装置900还包括：接收单元908，用于接收用户对封面图像的第一输入；显示单元906还用于：响应于第一输入，在封面图像来源于第一动态图像的情况下，播放第一动态图像，在封面图像来源于第二动态图像的情况下，播放第二动态图像。
本申请提供的上述实施例，在确定第三动态图像的封面图像之后，接收用户对封面图像的第一输入；响应于第一输入，在封面图像来源于第一动态图像的情况下，播放第一动态图像，在封面图像来源于第二动态图像的情况下，播放第二动态图像。这样，增加了动态图像的显示效果，提升了动态图像的选择灵活性。
本申请实施例中的图像处理装置900可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置900可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为iOS操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置900能够实现图1至图9的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图18所示，本申请实施例还提供一种电子设备1000，包括处理器1002和存储器1004，存储器1004上存储有可在处理器1002上运行的程序或指令，该程序或指令被处理器1002执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图19为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109以及处理器1110等部件。
本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器1110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图19中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，输入单元1104，用于通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像，其中，第一图像根据第一曝光策略采集，第一曝光策略对应的曝光时长为第一时长，第二图像根据第二曝光策略采集，第二曝光策略对应的曝光时长为第二时长。
处理器1110，用于根据多帧第一图像，生成第一动态图像。
处理器1110，还用于根据多帧第二图像，生成第二动态图像。
处理器1110，还用于将第一动态图像和第二动态图像进行融合，得到第三动态图像。
在本申请实施例中，在生成动态图像的过程中，通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像，其中，第一图像根据第一曝光策略采集，第一曝光策略对应的曝光时长为第一时长，第二图像根据第二曝光策略采集，第二曝光策略对应的曝光时长为第二时长；根据多帧第一图像，生成第一动态图像；根据多帧第二图像，生成第二动态图像；将第一动态图像和第二动态图像进行融合，得到第三动态图像。在本申请实施例中，在生成动态图像的过程中，基于不同的曝光时长分别采集多帧图像，进而基于不同曝光时长的多帧图像，分别生成不同曝光时长的两个动态图像，并基于不同曝光时长的两个动态图像，确定最终的动态图像。这样，增加了动态图像的图像效果，提高了动态图像中图像帧显示时的清晰度，提升了动态图像的显示效果。
可选地，第一摄像头包括图像传感器，图像传感器包括多个第一像素区域和多个第二像素区域，输入单元1104具体用于：通过电子设备的第一摄像头同时采集多个第一像素区域和多个第二像素区域在第一时段内的像素信息，得到多帧第十图像和多帧第十一图像，其中，第一像素区域的曝光时长为第一时长，第二像素区域的曝光时长为第二时长；处理器1110还用于：对多帧第十图像进行插值处理，得到多帧第一图像，以及对多帧第十一图像进行插值处理，得到多帧第二图像。
本申请提供的上述实施例，第一摄像头包括图像传感器，图像传感器包括多个第一像素区域和多个第二像素区域，在通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像的过程中，具体地，通过电子设备的第一摄像头同时采集多个第一像素区域和多个第二像素区域在第一时段内的像素信息，得到多帧第十图像和多帧第十一图像，其中，第一像素区域的曝光时长为第一时长，第二像素区域的曝光时长为第二时长；对多帧第十图像进行插值处理，得到多帧第一图像，以及对多帧第十一图像进行插值处理，得到多帧第二图像。这样，在生成动态图像的过程中，基于不同的曝光时长分别采集多帧图像，增加了后续基于不同曝光时长的多帧图像生成得到的动态图像的图像效果，提升了动态图像的显示效果。
可选地，处理器1110具体用于：将在拍摄时刻采集的第一图像确定为第八图像，并根据多帧第一图像中除第八图像之外的第一图像，对第八图像进行图像增强处理；根据多帧第一图像中除第八图像之外的第一图像，确定第一视频；根据第一视频和处理后的第八图像，生成第一动态图像。
本申请提供的上述实施例，在根据多帧第一图像，生成第一动态图像的过程中，具体地，将在拍摄时刻采集的第一图像确定为第八图像，并根据多帧第一图像中除第八图像之外的第一图像，对第八图像进行图像增强处理；根据多帧第一图像中除第八图像之外的第一图像，确定第一视频；根据第一视频和处理后的第八图像，生成第一动态图像。这样，保证了第一动态图像生成的准确性，提升了图像效果。
可选地，第一动态图像包括多个第三图像，第二动态图像包括多个第四图像，多个第三图像为对多帧第一图像进行处理得到的，多个第四图像为对多帧第二图像进行处理得到的，处理器1110还用于：根据第一模型，确定多个第三图像和多个第四图像的图像分数；根据图像分数，从多个第三图像和多个第四图像中确定第五图像；根据第五图像和第六图像，确定第三动态图像的封面图像，其中，第六图像和第五图像分别为第一动态图像和第二动态图像中同一时刻的图像帧。
本申请提供的上述实施例，第一动态图像包括多个第三图像，第二动态图像包括多个第四图像，多个第三图像为对多帧第一图像进行处理得到的，多个第四图像为对多帧第二图像进行处理得到的，在将第一动态图像和第二动态图像进行融合，得到第三动态图像之后，还可根据第一模型，确定多个第三图像和多个第四图像的图像分数；根据图像分数，从多个第三图像和多个第四图像中确定第五图像；根据第五图像和第六图像，确定第三动态图像的封面图像，其中，第六图像和第五图像分别为第一动态图像和第二动态图像中同一时刻的图像帧。这样，提高了动态图像显示时的封面图像的清晰度，提升了动态图像的显示效果。
可选地，处理器1110具体用于：将多个第三图像和多个第四图像中图像分数最高的图像帧确定为第五图像；或者，显示单元1106用于：在显示多个第三图像和多个第四图像的情况下，在图像分数大于第一阈值的第三图像和/或多个第四图像上显示第一标记；处理器1110具体用于：根据用户对第一标记的选择输入，确定第五图像。
本申请提供的上述实施例，在根据图像分数，从多个第三图像和多个第四图像中确定第五图像的过程中，具体地，将多个第三图像和多个第四图像中图像分数最高的图像帧确定为第五图像；或者在显示多个第三图像和多个第四图像的情况下，在图像分数大于第一阈值的第三图像和/或多个第四图像上显示第一标记，并根据用户对第一标记的选择输入，确定第五图像。这样，保证了第五图像确定的准确性，进而保证了后续封面图像确定的准确性，提高了封面图像的清晰度，提升了动态图像的显示效果。
可选地，处理器1110具体用于：对第五图像和第六图像进行融合处理，得到第七图像；对第七图像进行上采样，以将第七图像的尺寸调整为第一尺寸；将调整后的第七图像确定为封面图像。
本申请提供的上述实施例，在根据第五图像和第六图像，确定第三动态图像的封面图像的过程中，具体地，对第五图像和第六图像进行融合处理，得到第七图像；对第七图像进行上采样，以将第七图像的尺寸调整为第一尺寸；将调整后的第七图像确定为封面图像。这样，保证了封面图像确定的准确性，提高了封面图像的清晰度，提升了动态图像的显示效果。
可选地，处理器1110具体用于：对第五图像和第六图像进行特征点提取，得到第一特征点集和第二特征点集；根据第一特征点集和第二特征点集，对第五图像和第六图像进行对齐处理；对处理后的第五图像和第六图像进行特征点匹配；根据匹配结果确定权重参数；根据权重参数融合第五图像和第六图像，得到第七图像。
本申请提供的上述实施例，在对第五图像和第六图像进行融合处理，得到第七图像的过程中，具体地，对第五图像和第六图像进行特征点提取，得到第一特征点集和第二特征点集；根据第一特征点集和第二特征点集，对第五图像和第六图像进行对齐处理；对处理后的第五图像和第六图像进行特征点匹配；根据匹配结果确定权重参数；根据权重参数融合第五图像和第六图像，得到第七图像。这样，保证了第七图像确定的准确性，进而保证了后续封面图像确定的准确性，提高了封面图像的清晰度，提升了动态图像的显示效果。
可选地，处理器1110具体用于：根据匹配结果确定第六图像中与第五图像的多个图像区域中的特征点相匹配的像素点；根据每个特征点和像素点的坐标信息，确定每个特征点与匹配的像素点之间的偏移量；根据偏移量，确定与第六图像中每个图像区域对应的权重参数。
本申请提供的上述实施例，在根据匹配结果确定权重参数的过程中，具体地，根据匹配结果确定第六图像中与第五图像的多个图像区域中的特征点相匹配的像素点；根据每个特征点和像素点的坐标信息，确定每个特征点与匹配的像素点之间的偏移量；根据偏移量，确定与第六图像中每个图像区域对应的权重参数。这样，保证了权重参数的准确性，进而保证了融合得到的第七图像的准确性，提高了封面图像的清晰度，提升了动态图像的显示效果。
可选地，用户输入单元1107，用于接收用户对封面图像的第一输入；显示单元1106还用于：响应于第一输入，在封面图像来源于第一动态图像的情况下，播放第一动态图像，在封面图像来源于第二动态图像的情况下，播放第二动态图像。
本申请提供的上述实施例，在确定第三动态图像的封面图像之后，接收用户对封面图像的第一输入；响应于第一输入，在封面图像来源于第一动态图像的情况下，播放第一动态图像，在封面图像来源于第二动态图像的情况下，播放第二动态图像。这样，增加了动态图像的显示效果，提升了动态图像的选择灵活性。
应理解的是，本申请实施例中，输入单元1104可以包括图形处理器(GraphicsProcessing Unit，GPU)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072中的至少一种。触控面板11071，也称为触摸屏。触控面板11071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器1109可用于存储软件程序以及各种数据。存储器1109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1109可以包括易失性存储器或非易失性存储器，或者，存储器1109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1109包括但不限于这些和任意其它适合类型的存储器。
处理器1110可包括一个或多个处理单元；可选的，处理器1110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作***、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。
本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像，其中，所述第一图像根据第一曝光策略采集，所述第一曝光策略对应的曝光时长为第一时长，所述第二图像根据第二曝光策略采集，所述第二曝光策略对应的曝光时长为第二时长；
根据所述多帧第一图像，生成第一动态图像；
根据所述多帧第二图像，生成第二动态图像；
将所述第一动态图像和所述第二动态图像进行融合，得到第三动态图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述第一动态图像包括多个第三图像，所述第二动态图像包括多个第四图像，所述多个第三图像为对所述多帧第一图像进行处理得到的，所述多个第四图像为对所述多帧第二图像进行处理得到的，在所述得到第三动态图像之后，所述图像处理方法还包括：
根据第一模型，确定所述多个第三图像和所述多个第四图像的图像分数；
根据所述图像分数，从所述多个第三图像和所述多个第四图像中确定第五图像；
根据所述第五图像和第六图像，确定所述第三动态图像的封面图像，其中，所述第六图像和所述第五图像分别为所述第一动态图像和所述第二动态图像中同一时刻的图像帧。
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述第五图像和第六图像，确定所述第三动态图像的封面图像，包括：
对所述第五图像和第六图像进行融合处理，得到第七图像；
对所述第七图像进行上采样，以将所述第七图像的尺寸调整为第一尺寸；
将调整后的所述第七图像确定为所述封面图像。
4.根据权利要求3所述的图像处理方法，其特征在于，所述对所述第五图像和第六图像进行融合处理，得到第七图像，包括：
对所述第五图像和所述第六图像进行特征点提取，得到第一特征点集和第二特征点集；
根据所述第一特征点集和所述第二特征点集，对所述第五图像和所述第六图像进行对齐处理；
对处理后的所述第五图像和所述第六图像进行特征点匹配；
根据匹配结果确定权重参数；
根据所述权重参数融合所述第五图像和所述第六图像，得到所述第七图像。
5.根据权利要求4所述的图像处理方法，其特征在于，所述根据匹配结果确定权重参数，包括：
根据匹配结果确定所述第六图像中与所述第五图像的多个图像区域中的特征点相匹配的像素点；
根据每个所述特征点和所述像素点的坐标信息，确定每个特征点与匹配的像素点之间的偏移量；
根据所述偏移量，确定与所述第六图像中每个图像区域对应的权重参数。
6.一种图像处理装置，其特征在于，所述装置包括：
采集单元，用于通过电子设备的第一摄像头同时采集多帧第一图像和多帧第二图像，其中，所述第一图像根据第一曝光策略采集，所述第一曝光策略对应的曝光时长为第一时长，所述第二图像根据第二曝光策略采集，所述第二曝光策略对应的曝光时长为第二时长；
处理单元，用于根据所述多帧第一图像，生成第一动态图像；
所述处理单元，还用于根据所述多帧第二图像，生成第二动态图像；
所述处理单元，还用于将所述第一动态图像和所述第二动态图像进行融合，得到第三动态图像。
7.根据权利要求6所述的图像处理装置，其特征在于，所述第一动态图像包括多个第三图像，所述第二动态图像包括多个第四图像，所述多个第三图像为对所述多帧第一图像进行处理得到的，所述多个第四图像为对所述多帧第二图像进行处理得到的，所述处理单元还用于：
根据第一模型，确定所述多个第三图像和所述多个第四图像的图像分数；
根据所述图像分数，从所述多个第三图像和所述多个第四图像中确定第五图像；
根据所述第五图像和第六图像，确定所述第三动态图像的封面图像，其中，所述第六图像和所述第五图像分别为所述第一动态图像和所述第二动态图像中同一时刻的图像帧。
8.根据权利要求7所述的图像处理装置，其特征在于，所述处理单元具体用于：
对所述第五图像和第六图像进行融合处理，得到第七图像；
对所述第七图像进行上采样，以将所述第七图像的尺寸调整为第一尺寸；
将调整后的所述第七图像确定为所述封面图像。
9.根据权利要求8所述的图像处理装置，其特征在于，所述处理单元具体用于：
对所述第五图像和所述第六图像进行特征点提取，得到第一特征点集和第二特征点集；
根据所述第一特征点集和所述第二特征点集，对所述第五图像和所述第六图像进行对齐处理；
对处理后的所述第五图像和所述第六图像进行特征点匹配；
根据匹配结果确定权重参数；
根据所述权重参数融合所述第五图像和所述第六图像，得到所述第七图像。
10.根据权利要求9所述的图像处理装置，其特征在于，所述处理单元具体用于：
根据匹配结果确定所述第六图像中与所述第五图像的多个图像区域中的特征点相匹配的像素点；
根据每个所述特征点和所述像素点的坐标信息，确定每个特征点与匹配的像素点之间的偏移量；
根据所述偏移量，确定与所述第六图像中每个图像区域对应的权重参数。
CN202311067594.3A 2023-08-23 2023-08-23 图像处理方法及装置 Pending CN117119292A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311067594.3A CN117119292A (zh) 2023-08-23 2023-08-23 图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311067594.3A CN117119292A (zh) 2023-08-23 2023-08-23 图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN117119292A true CN117119292A (zh) 2023-11-24

Family

ID=88803307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311067594.3A Pending CN117119292A (zh) 2023-08-23 2023-08-23 图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN117119292A (zh)

Similar Documents

Publication Publication Date Title
CN113286194A (zh) 视频处理方法、装置、电子设备及可读存储介质
CN104583902A (zh) 改进的手势的识别
KR20130025944A (ko) 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
CN113128368B (zh) 一种人物交互关系的检测方法、装置及***
CN104508680A (zh) 改善之视讯追踪
CN112561973A (zh) 训练图像配准模型的方法、装置和电子设备
CN112084959B (zh) 一种人群图像处理方法及装置
CN113160231A (zh) 一种样本生成方法、样本生成装置及电子设备
CN111951192A (zh) 一种拍摄图像的处理方法及拍摄设备
Xiong et al. Snap angle prediction for 360 panoramas
CN115482523A (zh) 轻量级多尺度注意力机制的小物体目标检测方法及***
Sun et al. Learning adaptive patch generators for mask-robust image inpainting
CN114125226A (zh) 图像拍摄方法、装置、电子设备和可读存储介质
CN113688820A (zh) 频闪条带信息识别方法、装置和电子设备
CN117152660A (zh) 图像显示方法及其装置
WO2023001110A1 (zh) 神经网络训练方法、装置及电子设备
CN115439386A (zh) 图像融合方法、装置、电子设备和存储介质
CN115660969A (zh) 图像处理方法、模型训练方法、装置、设备和存储介质
CN117119292A (zh) 图像处理方法及装置
CN111967436B (zh) 图像处理方法及装置
CN114049473A (zh) 图像处理方法及装置
CN114565777A (zh) 数据处理方法和装置
CN118097521B (zh) 对象识别方法、装置、设备、介质及程序产品
CN112333388B (zh) 图像显示方法、装置和电子设备
CN112367470B (zh) 图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination