CN116320792A - 多帧图像中增强分辨率和降低噪声的方法 - Google Patents

多帧图像中增强分辨率和降低噪声的方法 Download PDF

Info

Publication number
CN116320792A
CN116320792A CN202310370299.9A CN202310370299A CN116320792A CN 116320792 A CN116320792 A CN 116320792A CN 202310370299 A CN202310370299 A CN 202310370299A CN 116320792 A CN116320792 A CN 116320792A
Authority
CN
China
Prior art keywords
frames
frame
image
main frame
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310370299.9A
Other languages
English (en)
Inventor
黄德召
段宇波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Technology Co
Original Assignee
Black Sesame Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Technology Co filed Critical Black Sesame Technology Co
Publication of CN116320792A publication Critical patent/CN116320792A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Abstract

一种通过具有一个或多个处理器和存储器的电子设备执行的方法，包括：接收图像的多个帧；选择所述多个帧中的一帧作为主帧，将所述多个帧中的剩余帧作为参考帧；将所述参考帧与所述主帧对齐；将所述主帧与所述参考帧中的每一参考帧进行比较，确定各个参考帧的融合权重；以及基于所述融合权重获得所述主帧和所述参考帧的加权组合。还公开了一种被配置为执行所述方法的电子设备和一种存储用于执行所述方法的指令的计算机可读存储介质。

Description

多帧图像中增强分辨率和降低噪声的方法
技术领域
本公开涉及图像处理方法，具体地涉及用于图像处理的电子设备和方法，以在多帧图像中增强分辨率和降低噪声。
背景技术
近年来广受欢迎的数码相机通常包括一系列光学传感器(例如，电荷耦合器件(Charge-Coupled Device，CCD)传感器或互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor，CMOS)传感器)。诸如光学传感器之类的硬件部件通常决定了这种数码相机的性能，例如分辨率和信噪比。
随着对更高质量图像的需求持续增加，具有增强硬件特性的传感器或相机模块得到越来越多的使用。
发明内容
除了使用/替代使用具有增强性能规格的相机模块，图像处理操作可以用于增强使用特定相机设备获得的图像的分辨率和/或信噪比。这种操作可以与具有低性能规格的相机模块一起使用，以提供原本可以从具有高性能规格的相机模块获得的图像质量。这种操作还可以与具有高性能规格的相机模块一起使用，以提供增强质量(例如，更高分辨率和/或更低噪声)的图像。然而，某些图像处理操作可能需要大量的计算资源，因此可能较慢。
因此，需要能够增强图像的分辨率和/或信噪比的方法和设备。本公开所述的方法和电子设备满足了这些需求。此外，本公开所述的方法和电子设备可以实现计算上高效和快速的图像处理操作，以提供具有增强的分辨率和信噪比的图像。
根据一些实施方式，在具有一个或多个处理器和存储器的电子设备上执行一种方法。所述方法包括接收图像的多个帧；选择所述多个帧中的一帧作为主帧，将所述多个帧中的剩余帧作为参考帧；将所述参考帧与所述主帧对齐；将所述主帧和所述参考帧中的每一参考帧进行比较，确定各个参考帧的融合权重；以及基于所述融合权重获得所述主帧和所述参考帧的加权组合。
根据一些实施方式，电子设备包括一个或多个处理器和存储指令的存储器，当所述指令由所述一个或多个处理器执行时，使得所述一个或多个处理器：接收图像的多个帧；选择所述多个帧中的一帧作为主帧，将所述多个帧中的剩余帧作为参考帧；将所述参考帧与所述主帧对齐；将所述主帧与所述参考帧中的每一参考帧进行比较，确定各个参考帧的融合权重；以及基于所述融合权重获得所述主帧和所述参考帧的加权组合。
在一些实施方式中，所述存储指令由所述一个或多个处理器执行时，还使得所述一个或多个处理器在选择所述一帧之前锐化所述多个帧。
在一些实施方式中，所述存储指令由所述一个或多个处理器执行时，还使得所述一个或多个处理器放大(upscale)所述参考帧。
在一些实施方式中，所述存储指令由所述一个或多个处理器执行时，还使得所述一个或多个处理器放大所述主帧。
在一些实施方式中，确定各个参考帧的融合权重包括确定各个像素的融合权重。
在一些实施方式中，所述存储指令由所述一个或多个处理器执行时，还使得所述一个或多个处理器放大所述加权组合。
在一些实施方式中，放大所述加权组合包括对所述加权组合应用自适应各向异性三角形内核，以获得放大图像。
根据一些实施方式，计算机可读存储介质存储一个或多个程序，供电子设备的一个或多个处理器执行。所述一个或多个程序包括用于执行以下操作的指令：接收图像的多个帧；选择所述多个帧中的一帧作为主帧，将所述多个帧中的剩余帧作为参考帧；将所述参考帧与所述主帧对齐；将所述主帧与所述参考帧中的每一参考帧进行比较，确定各个参考帧的融合权重；以及基于所述融合权重获得所述主帧和所述参考帧的加权组合。
因此，所述方法和电子设备以降低内存消耗和计算复杂性的方式应用操作，从而降低功耗、提高处理速度，并延长电池寿命。这种方法和电子设备可以取代用于图像采集和/或处理的常规方法和电子设备。或者，这种方法和电子设备可以补充用于图像采集和/或处理的常规方法和电子设备。
附图说明
为了更好地理解所描述的各种实施方式，应结合以下附图参考以下对实施方式的说明，其中相同的附图标记表示所有附图中的相应部件。
图1示出了一些实施方式的图像的多个帧；
图2是一些实施方式的电子部件的框图；
图3是一些实施方式的图像处理流水线的框图；
图4是一些实施方式的运动检测操作的示意图；
图5是一些实施方式的融合操作的示意图；
图6是一些实施方式的放大操作的示意图；
图7是一些实施方式的图像处理方法的流程图；
除另有说明，这些附图未按比例绘制。
具体实施方式
请参考实施方式，其示例如附图所示。以下描述中阐述了具体细节，以便提供对所述的各种实施方式的透彻理解。然而，对于本领域普通技术人员来说显而易见的是，可以在没有这些特定细节的情况下实践各种所述实施方式。在其他情况下，本领域普通技术人员公知的方法、过程、部件、电路和网络未进行详细描述，以避免不必要地模糊(obscure)所述实施方式的各方面。
图1示出了一些实施方式的图像的多个帧。
如本公开所述，图像的多个帧(multiple frames，也称，多个图像帧，apluralityof frames)是指由成像设备(例如，相机或相机模块)连续采集的一组两个或多个图像。如图1所示，所述多个帧包括在T1时刻采集的帧102-1、在T2时刻(T1之后)采集的帧102-2以及在T3时刻(T2之后)收集到的帧102-3，直到在Tn时刻(T3及帧102-3和102-n之间的帧被采集的时间点之后)采集的帧102-n。
所述图像的多个帧通常在短时间内(例如，小于1秒)采集。例如，Tn和T1之间的差值可以小于1秒。
在一些实施方式中，以相同的间隔采集多个帧(在这种情况下，所述多个帧被称为同步帧)。例如，可以以0.1秒的间隔采集所述多个帧。在一些实施方式中，以非均匀间隔采集多个帧(在这种情况下，所述多个帧被称为异步帧)。例如，可以交替以0.1秒和0.2秒的间隔采集所述多个帧。在另一示例中，可以以随机或伪随机间隔采集所述多个帧。
在一些情况下，所述图像的多个帧中的每一帧包含共同对象(例如，人)的图像或其一部分的图像。在一些情况下，所述图像的多个帧中的至少大部分包含共同对象(例如，人)的图像或其一部分的图像。
图2是一些实施方式的电子设备200的电子部件的框图。电子设备200包括一个或多个处理单元202(中央处理单元、应用处理单元、专用集成电路等，这些也称为处理器)、一个或多个网络或其他通信接口204、存储器206以及用于互连这些部件的一个或多个通信总线208。在一些实施方式中，通信总线208包括互连和控制***部件之间的通信的电路(有时称为芯片组)。在一些实施方式中，电子设备200包括用户界面254(例如，具有显示设备的用户界面，其可用于显示一个或多个获取的图像或经处理的图像、一个或多个按钮和/或其他输入设备)。在一些实施方式中，电子设备200还包括***控制器252，其被配置为控制传感器和/或执行器(actuator)的操作，例如用于采集图像或图像的多个帧的图像传感器256(例如，光学传感器阵列)。
在一些实施方式中，通信接口204包括有线通信接口和/或无线通信接口(例如，Wi-Fi、蓝牙等)。
电子设备200的存储器206包括高速随机存取存储器，例如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且可以包括非易失性存储器，例如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失固态存储设备。存储器206可以可选地包括远程位于处理器202的一个或多个存储设备。存储器206或存储器206内的非易失性存储设备包括计算机可读存储介质(其包括非暂时性计算机可读存储介质和/或暂时性计算机可读取存储介质)。在一些实施方式中，存储器206包括可移动存储设备(例如，安全数字存储卡、通用串行总线存储设备等)。在一些实施方式中，存储器206或存储器206的计算机可读存储介质存储以下程序、模块和数据结构或其子集：
●操作***210，其包括用于处理各种基本***服务和用于执行硬件相关任务的进程(procedure)；
·通信模块(或指令)212，用于经由一个或多个通信接口204和一个或多个通信网络(如因特网、其他广域网、局域网、城域网等)将电子设备200连接到其他电子设备(例如，计算机，如客户端和/或服务器)；
·相机应用程序214，其控制图像传感器256的操作并从图像传感器256(例如，经由***控制器252)采集信息，所述信息表明(indicating)由图像传感器256采集的一个或多个图像；
·图像处理应用程序218，处理一个或多个图像(或图像的一个或多个帧)(例如，增强分辨率和信噪比)；
·用户输入模块240，被配置为处理电子设备200上的用户输入(例如，按压电子设备200的按钮或按压与电子设备200相通信或直接位于电子设备200的用户接口，例如键盘、鼠标或者触敏显示器的按钮)；
·存储图像(如多帧图像244和经处理的图像246)的一个或多个数据库242。
在一些实施方式中，图像处理应用程序218被实施为相机应用程序214使用的图像处理模块216(例如，图像处理模块216包含在相机应用程序214中，或由相机应用程序214启动)。
在一些实施方式中，图像处理应用程序218或图像处理模块216包括以下程序、模块和数据结构，或其子集或超集：
·帧接收模块220，被配置为接收图像的多个帧(例如，从图像传感器256或数据库242接收)；
·图像锐化模块222，用于锐化各个帧(或图像)；
·帧选择模块224，用于从图像的多个帧中选择特定帧；
·对齐模块226，用于对齐图像的多个帧；
·融合模块228，用于组合图像的多个帧(形成单帧图像)，其可以包括以下一个或多个:
o权重确定模块230，被配置为确定用于组合图像的多个帧的权重；
o加权和模块232，被配置为基于所确定的权重组合图像的多个帧；
·放大模块234，被配置为增加图像的分辨率，其可以包括以下内容：
o自适应各向异性三角形核模块236，被配置为，为分辨率经增加的图像中的各个像素提供预估的颜色分量；
·显示模块238，被配置为呈现一个或多个图像(例如，多帧图像244和/或经处理的图像246呈现在用户界面254上)。
上述确定的(identified)各模块和应用程序对应于一组指令，用于执行上述一种或多种功能。这些模块(即指令集)无需以单独的软件程序、进程或模块实施，因此这些模块的各个子集可以在各种实施方式中被组合或以其他方式重新排列。此外，存储器206可以存储以上未描述的附加模块和数据结构。例如，存储器206可以存储用于将经处理的图像存储到数据库242中的指令。
尽管图2中有离散块，但这些图旨在作为一些实施方式的功能描述。尽管在一些实施方式中，图2中的离散块可以是实施方式中功能元素的结构性描述。本领域普通技术人员可以认识到，实际实施方式可能具有在各种部件之间分组或分割的功能元素。在实践中，如本领域普通技术人员所认识到的，单独显示的项目可以组合，一些项目可以分开(separated)。例如，在一些实施方式中，权重确定模块230和加权和模块232可以在单个模块中实施。在一些实施方式中，存储器206可以存储上述确定的模块和数据结构的子集。在其他实施方式中，融合模块228和放大模块234可以以单独的应用实施。在一些实施方式中，可以在***控制器252中实施一个或多个程序、模块或指令(例如，***控制器252可以是专用于处理来自图像传感器256的图像的集成电路)。
图3是一些实施方式的图像处理流水线的框图。
在图3中，提供图像的多个帧302，用于图像锐化和帧选择304。在一些实施方式中，所述多个帧302在帧选择之前被锐化。锐化所述多个帧302可以增强(boost)在图像信号处理(Image Signal Processing，ISP)流水线(pipeline)(例如，由于去噪处理)中可能已被削弱的高频分量。在一些实施方式中，线性锐化滤波器、中值锐化滤波器、双边锐化滤波器、三边锐化滤波器、非局部均值锐化滤波器或边缘保持分解被用于锐化所述多个帧302。在一些实施方式中，单独(例如，串行或并行)锐化所述多个帧302中的每一帧。在一些实施方式中，所述多个帧302中的两个或更多个帧被共同(collectively)锐化。锐化之后，从锐化的多个帧中选择主帧306和参考帧308。在一些实施方式中，选取具有最高清晰度(sharpness)的帧作为主帧306，选取剩余帧作为参考帧308。在一些实施方式中，选取多个帧302中的时间上的第一帧作为主帧306，选取剩余帧作为参考帧308。在一些实施方式中，选取多个帧302中的时间上的最后一帧作为主帧306，选取剩余帧作为参考帧308。在一些实施方式中，选取多个帧302中的时间上的中间帧作为主帧306，选取剩余帧作为参考帧308。主帧306可以用作对齐参考帧308的基准(例如，将参考帧308对齐到主帧306)，和/或用作确定融合权重的基准(如，参考帧308的权重是与主帧306相比确定的)。
在一些实施方式中，参考帧308与主帧306对齐312。在一些实施方式中，利用亚像素(sub-pixel)信息将参考帧308与主帧306对齐，这将对齐精度提高到亚像素级别。在一些实施方式中，参考帧308也被放大(例如，增加参考帧308的分辨率)以提供对齐的和放大的参考帧314。在一些实施方式中，放大因子大于1(例如，放大后图像的分辨率大于放大前图像的分辨率)。例如，放大操作可以接收分辨率为1920×1080的图像，并提供分辨率为3840×2160的图像。缩放因子可以基于图像中的噪声水平、图像信号处理器引起的模糊以及基于各向异性核的上采样的计算平衡来确定。在一些实施方式中，在将参考帧308与主帧对齐后，对参考帧308进行放大。在一些实施方式中，在将参考帧308与主帧对齐之前，对参考帧308进行放大。
在一些实施方式中，主帧306也被放大310。在一些实施方式中，在将参考帧308与主帧306对齐之后，对主帧306进行放大。在一些实施方式中，在将参考帧308与主帧306对齐之前，对主帧306进行放大。在一些实施方式中，使用相同的放大因子放大主帧306和参考帧308。
这些操作增强了多帧图像的高频分量，这有助于后续的融合操作，并提高了图像中弱高频细节的对比度。
在一些实施方式中，提供对齐和放大后的参考帧314以及放大后的主帧316用于确定融合权重318。所述融合权重被用作将(对齐和放大后的)参考帧314与(放大后的)主帧进行组合的权重。在一些实施方式中，将主帧与所述参考帧中的每一帧进行比较，确定各个参考帧的融合权重(例如，通过比较主帧和第一参考帧确定第一参考帧的融合权重，以及通过比较主帧和第二参考帧确定第二参考帧的融合权重)。结合图4进一步描述了确定融合权重的操作(例如，运动检测)。
在一些实施方式中，使用320(对齐和放大后的)参考帧314、(放大后的)主帧和融合权重318获得组合图像322(例如，基于融合权重的主帧和参考帧的加权组合)。结合图5进一步描述了用于获得组合图像322的操作。
在一些实施方式中，组合图像322被进一步放大326以提供输出图像328。两步放大(操作310和312中的第一次放大和操作326中的第二次放大)减少了存储器的使用和计算复杂度，从而带来快速和高效的操作。在一些实施方式中，采用324自适应各向异性三角形核进行放大。结合图6进一步描述了所述放大操作。
将多个帧融合到单个帧中并放大单个帧，而不是联合(jointly)融合和放大多个帧，具有一定的优势。例如，在图像信号处理器已经采用诸如去马赛克、去噪和其他非线性处理的操作处理了多个帧的配置中，这样的操作已经改变并扩展了原始数据中包含的亚像素信息，并且参考帧中的原始YUV数据变得不那么相关。在另一示例中，在执行计算上开销很大的全尺寸放大之前，将多个帧融合成中间(intermediate)大小，可以显著减少处理时间。
尽管多帧融合提供了一些去噪效果，作为时间-空间域中多像素融合的副产品，但与专用去噪操作相比，多帧融合的去噪效果可能不够。通过利用自适应核计算中生成的局部梯度信息作为指导，可以在放大阶段同时执行专用的自适应去噪。在一些实施方式中，非局部均值去噪方法可用于大梯度区域，而简单且快速的去噪方法如高斯滤波器可用于小梯度区域。分层方法可用于进一步提高针对低频噪声的去噪能力。
图4是一些实施方式的运动检测操作的示意图。
在图4中，所述运动检测操作包括比较主帧410和参考帧420(例如，420-1和420-2)以确定融合权重。在一些实施方式中，运动检测操作将参考帧的每个像素与主帧的对应像素进行比较，以确定参考帧的像素的融合权重(例如，将主帧410的像素412-1与参考帧420-1的像素422-1进行比较，以确定参考帧420-1的像素422-1的权重，将主帧410的像素412-2与参考帧420-1的像素422-2进行比较，以确定参考帧420-1的像素422-2的权重，等等)。在一些实施方式中，将参考帧的像素与主帧的对应像素进行比较包括将参考帧的像素的一个或多个强度(例如，在一个或多个颜色通道中)与主帧的对应像素的一个或多个强度(例如，在一个或多个对应的颜色通道中)进行比较。例如，像素可以存储红色、绿色和蓝色分量(或YUV分量等)的颜色强度。在一些实施方式中，使用两个或更多分量进行比较。在一些实施方式中，仅使用一个分量(例如亮度Y)进行比较。在一些实施方式中，基于确定参考帧的像素与主帧的对应像素匹配，为参考帧的该像素分配权重值1。在一些实施方式中，基于确定参考帧的像素与主帧的对应像素不匹配，为参考帧的该像素分配除1之外的权重值(例如，0)。
在一些实施方式中，权重反映在权重图像430中(例如，与参考帧420-1相对应的权重图像430-1和与参考帧420-2相对应的权重图像430-2等)。在一些实施方式中，权重图像(例如430-1)存储权重值(例如，权重图像430-1的像素432-1存储通过比较像素412-1和像素422-1确定的权重值w1)。在一些实施方式中，权重图像(例如，430-1)存储权重值。在一些实施方式中，权重图像存储权重值与参考帧的哈达玛(Hadamard)乘积(例如，权重图像430-1的像素432-1存储(i)像素422-1与(ii)通过比较(ii-1)像素412-1和(ii-2)像素422-1确定的权重值w1的乘积)。在一些实施方式中，尽管权重值w1是通过比较单个通道(例如亮度Y)确定的，但是权重值w1被应用于所有颜色分量(例如YUV)。
图5是一些实施方式的融合操作的示意图。
在图5中，融合操作包括将主帧410与参考帧420相结合。
当权重图像430存储权重值与参考帧420的哈达玛乘积时，所述融合操作包括将权重图像430添加到主帧410(例如，组合图像510的像素532-1是主帧410的像素412-1、权重图像430-1的像素432-1和权重图像430-2的对应像素的总和，以及组合图像510中的像素532-2是主帧410的像素412-2、权重图像430-1的像素432-2和权重图像430-2中的对应像素之和)。
当权重图像430是权重值时，所述融合操作包括获取权重图像430中的权重值与参考帧420的哈达玛乘积，以及将所获得的哈达玛乘积添加到主帧410(例如，组合图像510的像素532-1是(i)主帧410的像素412-1与(ii)即(ii-1)与(ii-2)之和的和，(ii-1)是(ii-1-a)参考帧420-1的像素422-1与(ii-1-b)权重图像430-1中的权重值432-1的乘积，(ii-2)是(ii-2-a)参考帧420-2的对应像素与(ii-2-b)权重图像430-2中相应位置处的权重值的乘积，组合图像510的像素532-2是(i)主帧410的像素412-2与(ii)即(ii-1)与(ii-2)之和的和，(ii-1)是(ii-1-a)参考帧420-1的像素422-2与(ii-1-b)权重图像430-1中的权重值432-2的乘积，(ii-2)是(ii-2-a)参考帧420-2的对应像素与(ii-2-b)权重图像430-2中相应位置处的权重值的乘积)。
在一些实施例中，通过以下运算获得融合输出：
融合输出＝(主×1.0+参考_1×权重_1+…+参考_n×权重_n)/(1.0+权重_1+…+权重_n)
尽管图4和图5描述了基于像素级运算的运动检测和融合操作，但在一些实施方式中，还可以使用基于块(patch-based)的操作(例如，对一组像素，例如2×2像素、3×3像素、4×4像素、5×5像素等，执行运动检测和/或融合)。
这种基于权重图像的融合操作允许恢复高频细节和降噪，同时避免重影伪影，进一步提高了各向异性三角形核计算的性能。
图6是一些实施方式的放大操作的示意图。
在图6中，分辨率为5×5的图像块610被放大以提供分辨率为15×15的对应图像块620。在一些实施方式中，采用最近邻插值、双线性插值、双三次插值、辛克重采样(sincresampling)、兰索斯重采样(Lanczos resampling)、盒采样、多级渐远纹理(mipmap)、傅里叶变换方法、边缘定向插值、像素艺术缩放、矢量化或深度卷积神经网络进行放大。
在一些实施方式中，采用自适应各向异性三角形核进行放大。在自适应各向异性三角形核中，通过对梯度进行结构张量分析估计每个像素位置的局部梯度信息。在一些实施方式中，在具有以目标位置为中心的预定义尺寸(例如，3×3、5×5、7×7像素等)的窗口中计算梯度。在一些实施方式中，基于组合图像的Y分量计算梯度，可以提高信噪比，并提供更准确的放大结果。局部结构张量的特征分析(eigen-analysis)提供了局部强度和方向的梯度信息。具有主特征值的方向表示主梯度方向，正交方向表示边缘方向。像素x(在放大前图像中，例如融合操作获得的组合图像)到输出像素y(在放大后图像中)的权重可以通过三角形核计算：
Figure BDA0004168386760000111
其中，dxy是位置x和y之间的距离向量，H是根据局部梯度结构自适应地修改物理距离的距离修改矩阵。H可以构造为：
Figure BDA0004168386760000112
其中，表示主梯度及其垂直方向的e1和e2来自对局部梯度张量结构的特征分析。参数k1和k2缩放相应的投影距离，并由特征分析后的局部梯度强度控制。在一些实施方式中，通过对预放大图像(例如，图像610)的特征分析获得距离修改矩阵H，所述距离修改矩阵H用于确定像素x到输出像素y的权重Wx,y。
在一些实施方式中，在获得权重Wx,y之后，通过对图像610中每个像素x的强度与相应权重Wx,y的乘积求和确定图像620中像素y的强度。
由于该三角形核的权重随着有效距离的增加而减小，因此各向异性核的形状被调整为沿梯度方向扩大距离并沿边缘方向缩短距离。这种三角形核可以保持尖锐的梯度，同时平滑有噪声的边缘。与高斯核相比，三角形核带来的另一个好处是计算简单。
图7是一些实施方式中处理多帧图像的方法700的流程图。在一些实施方式中，所述方法700由具有一个或多个处理器和存储器的电子设备(例如，电子设备200)执行。
所述方法包括(710)接收图像的多个帧(例如，图像的多个帧302)。
在一些实施方式中，所述方法还包括(720)在选择所述一帧之前锐化所述多个帧(例如，在操作304中锐化)。
所述方法包括(730)选择所述多个帧中的一帧作为主帧，将所述多个帧中的剩余帧作为参考帧(例如，在操作304中选择)。
在一些实施方式中，所述方法还包括(720)在选择所述一帧之后锐化所述多个帧。
在一些实施方式中，所述方法还包括(740)放大所述参考帧(例如，在操作312中放大)。
在一些实施方式中，所述方法还包括(742)放大所述主帧(例如，操作310)。
所述方法包括(750)将所述参考帧与所述主帧对齐(例如，在操作312中对齐)。
所述方法包括(760)将所述主帧与所述参考帧中的每一参考帧进行比较，确定各个参考帧的融合权重(例如，操作316)。
在一些实施方式中，确定各个参考帧的融合权重包括(762)确定各个像素的融合权重(例如，图4)。
所述方法包括(770)基于所述融合权重获得所述主帧和所述参考帧的加权组合(例如，操作320和图5)。
在一些实施方式中，所述方法还包括(780)放大所述加权组合(例如，操作326)。
在一些实施方式中，放大所述加权组合包括(782)在所述加权组合上应用自适应各向异性三角形核以获得放大图像(例如，操作324)。
在一些实施方式中，所述方法还包括(790)提供所述加权组合(例如，在显示器上显示组合图像、存储组合图像或向另一设备提供组合图像)。
还应理解，尽管此处使用术语第一、第二等来描述各种元素，但这些元素不应受到这些术语的限制。这些术语仅用于区分一个元素和另一个元素。例如，可以将第一图像称为第二图像，并且类似地，可以将第二图像称为第一图像，而不偏离各种所描述的实施方式的范围。所述第一图像和第二图像都是图像，但它们不是同一图像。
本公开实施方式描述中使用的术语仅用于描述特定实施方式，并不旨在限制本发明。如在本发明的描述和所附权利要求中所使用的，单数形式“一”、“一个”、“所述”也可以包括复数形式，除非上下文清楚地另有指示。还应理解，此处使用的术语“和/或”是指并包括一个或多个相关列出项目的任何和所有可能的组合。还可以理解，本公开中使用的术语“包括”和/或“包含”指定了所述特征、整数、步骤、操作、元素和/或部件的存在，但不排除一个或多个其他特征、整数，步骤、操作，元素、部件和/或它们的组的存在或添加。
如本公开所用，术语“如果”可解释为“当”或“在”或“响应于确定”或“响应于检测到”，具体取决于上下文。类似地，短语“如果确定”或“如果检测到[所述条件或事件]”可被解释为“在确定时”或“响应于确定”或“在检测到(所述条件或事件)时”或“响应于检测到(所述条件或事件)”，这取决于上下文。
如本公开所用，术语“示例性”是指“作为示例”，并不一定表示优于其他可能的示例或实施方式。
为了便于解释，已经根据具体实施方式说明了上述描述。然而，上述解释性讨论并非旨在穷尽或将本发明限制于所公开的精确形式。鉴于上述教导，存在很多可能的修改和变化。选择和描述这些实施方式是为了最好地解释各种所述的实施方式的原理及其实际应用，从而使本领域的其他技术人员能够最好地利用本发明和具有各种修改的各种所描述实施方式，这些修改适合于预期的特定用途。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (9)

1.一种方法，其特征在于，包括：
在具有一个或多个处理器和存储器的电子设备处，接收图像的多个帧；
选择所述多个帧中的一帧作为主帧，将所述多个帧中的剩余帧作为参考帧；将所述参考帧与所述主帧对齐；
将所述主帧与所述参考帧中的每一参考帧进行比较，确定各个参考帧的融合权重；以及
基于所述融合权重获得所述主帧和所述参考帧的加权组合。
2.根据权利要求1所述的方法，其特征在于，还包括：
在选择所述一帧之前，锐化所述多个帧。
3.根据权利要求1所述的方法，其特征在于，还包括：
放大所述参考帧。
4.根据权利要求1所述的方法，其特征在于，还包括：
放大所述主帧。
5.根据权利要求1所述的方法，其特征在于，其中：
确定各个参考帧的融合权重包括确定各个像素的融合权重。
6.根据权利要求1所述的方法，其特征在于，还包括：
放大所述加权组合。
7.根据权利要求6所述的方法，其特征在于，所述放大所述加权组合包括：在所述加权组合上应用自适应各向异性三角形核以获得放大图像。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
存储指令的存储器，当所述指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述权利要求1至7中任一项所述方法。
9.一种存储一个或多个程序以供电子设备的一个或多个处理器执行的计算机可读存储介质，其特征在于，所述一个或多个程序包括用于上述权利要求1至7中任一项所述方法的操作的指令。
CN202310370299.9A 2022-05-13 2023-04-07 多帧图像中增强分辨率和降低噪声的方法 Pending CN116320792A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/743,888 2022-05-13
US17/743,888 US20230368347A1 (en) 2022-05-13 2022-05-13 Methods for enhancing resolution and reducing noise in multi-frame images

Publications (1)

Publication Number Publication Date
CN116320792A true CN116320792A (zh) 2023-06-23

Family

ID=86797906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310370299.9A Pending CN116320792A (zh) 2022-05-13 2023-04-07 多帧图像中增强分辨率和降低噪声的方法

Country Status (2)

Country Link
US (1) US20230368347A1 (zh)
CN (1) CN116320792A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714836A (zh) * 2023-08-04 2024-03-15 荣耀终端有限公司 图像处理方法及相关装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330827B2 (en) * 2009-11-19 2012-12-11 Eastman Kodak Company Increasing image resolution using combined differential image
US9449374B2 (en) * 2014-03-17 2016-09-20 Qualcomm Incoporated System and method for multi-frame temporal de-noising using image alignment
US10719927B2 (en) * 2017-01-04 2020-07-21 Samsung Electronics Co., Ltd. Multiframe image processing using semantic saliency
US10984545B2 (en) * 2018-11-16 2021-04-20 Nvidia Corporation Estimating depth for a video stream captured with a monocular rgb camera
US11128809B2 (en) * 2019-02-15 2021-09-21 Samsung Electronics Co., Ltd. System and method for compositing high dynamic range images
US11803949B2 (en) * 2020-08-06 2023-10-31 Apple Inc. Image fusion architecture with multimode operations

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714836A (zh) * 2023-08-04 2024-03-15 荣耀终端有限公司 图像处理方法及相关装置

Also Published As

Publication number Publication date
US20230368347A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
KR102163424B1 (ko) 인터리빙된 채널 데이터를 위한 구성가능한 컨볼루션 엔진
US10747843B2 (en) Configurable convolution engine
CN108898567B (zh) 图像降噪方法、装置及***
CN110574025B (zh) 用于合并交错通道数据的卷积引擎
CN110637297B (zh) 卷积引擎、数据处理方法和电子设备
CN113508416B (zh) 图像融合处理模块
US11024006B2 (en) Tagging clipped pixels for pyramid processing in image signal processor
US10769474B2 (en) Keypoint detection circuit for processing image pyramid in recursive manner
US11334961B2 (en) Multi-scale warping circuit for image fusion architecture
CN107147851B (zh) 照片处理方法、装置、计算机可读存储介质及电子设备
US20220122223A1 (en) Kernel-aware super resolution
CN111353955A (zh) 一种图像处理方法、装置、设备和存储介质
CN111028276A (zh) 图像对齐方法、装置、存储介质及电子设备
CN110827336A (zh) 一种图像对齐方法、装置、设备及存储介质
US20100061650A1 (en) Method And Apparatus For Providing A Variable Filter Size For Providing Image Effects
CN116320792A (zh) 多帧图像中增强分辨率和降低噪声的方法
CN112384945B (zh) 使用应用于用户设备的自然手持运动的超分辨率
US20220254050A1 (en) Noise reduction circuit for dual-mode image fusion architecture
CN114862734A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US20220044371A1 (en) Image Fusion Architecture
US11494880B2 (en) Image pyramid generation for image keypoint detection and descriptor generation
Bui-Thu et al. An efficient approach based on Bayesian MAP for video super-resolution
Qian Image enhancement methods and applications in computational photography
CN115174811A (zh) 相机抖动检测方法、装置、设备、存储介质和程序产品
CN117726564A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination