CN115496670A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115496670A
CN115496670A CN202110681297.2A CN202110681297A CN115496670A CN 115496670 A CN115496670 A CN 115496670A CN 202110681297 A CN202110681297 A CN 202110681297A CN 115496670 A CN115496670 A CN 115496670A
Authority
CN
China
Prior art keywords
image
layer
processed
displacement
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110681297.2A
Other languages
English (en)
Inventor
谢朝毅
苏坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202110681297.2A priority Critical patent/CN115496670A/zh
Priority to PCT/CN2022/097077 priority patent/WO2022262599A1/zh
Publication of CN115496670A publication Critical patent/CN115496670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取待处理图像及待处理图像对应的相邻图像；分别构建待处理图像和相邻图像的图像金字塔，待处理图像对应的图像金字塔为第一图像金字塔，相邻图像对应的图像金字塔为第二图像金字塔；计算第一图像金字塔与第二图像金字塔对应每层之间的图像层位移，以及图像层位移对应的衡量指标值；根据各图像层位移以及图像层位移对应的衡量指标值，将相邻图像与待处理图像对齐；融合相邻图像与待处理图像，获取处理后的图像。采用本申请实施例方法，能够有效降低图像噪声，提高图像质量。

Description

图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
随着短视频软件的兴起，人们越来越喜欢使用视频拍摄和记录生活，对视频拍摄的质量要求越来越高。特别是夜晚的能见度比较低，而且光照条件复杂，容易导致视频图像质量不高。因此，出现了针对于夜景的视频拍摄技术，使夜景视频图像质量有所提升。
目前，在针对于夜景的视频拍摄技术中，多采用视频提亮和噪声滤除的方法进行图像降噪，从而提高图像质量。然而，使用这种方法降噪会带来时域上的抖动，例如，车辆灯光存在拖影和地面抖动的情况，导致图像质量低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高图像质量的图像处理方法、装置、计算机设备和存储介质。
一种图像处理方法，所述方法包括：
获取待处理图像及所述待处理图像对应的相邻图像；
分别构建所述待处理图像和所述相邻图像的图像金字塔，所述待处理图像对应的图像金字塔为第一图像金字塔，所述相邻图像对应的图像金字塔为第二图像金字塔；
计算所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移，以及所述图像层位移对应的衡量指标值；
根据各所述图像层位移以及所述图像层位移对应的衡量指标值，将所述相邻图像与所述待处理图像对齐；
融合所述相邻图像与所述待处理图像，获取处理后的图像。
在其中一个实施例中，在所述获取待处理图像及所述待处理图像对应的相邻图像之后，在所述分别构建所述待处理图像和所述相邻图像的图像金字塔之前，还包括：
对所述待处理图像和所述相邻图像进行画质优化处理，得到画质优化处理处理后的待处理图像和相邻图像。
在其中一个实施例中，在所述获取待处理图像及所述待处理图像对应的相邻图像之后，在所述分别构建所述待处理图像和所述相邻图像的图像金字塔之前，还包括：
对所述待处理图像和所述相邻图像进行一次滤波处理，得到一次滤波处理后的待处理图像和相邻图像；
根据所述一次滤波处理后的待处理图像和相邻图像的像素值，确定所述一次滤波处理后的待处理图像和相邻图像中的运动区域；
计算所述一次滤波处理后的待处理图像和相邻图像的边界值；
基于所述边界值，确定所述一次滤波处理后的待处理图像和相邻图像中的非边界的运动区域；
对所述非边界的运动区域进行二次滤波处理，得到噪声处理后的待处理图像和相邻图像。
在其中一个实施例中，所述计算所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移，包括：
计算第一图像层的初始图像块位移，所述初始图像块位移为所述第一图像层中的第一图像块与对应的第二图像层中的第二图像块之间的位移，所述第一图像层为所述第一图像金字塔中的图像层，所述第二图像层为所述第二图像金字塔中的图像层，所述第一图像块为所述第一图像层中预设大小的图像块，所述第二图像块为所述第二图像层中所述预设大小的图像块；
计算所述初始图像块位移对应的初始衡量指标值；
根据所述初始图像块位移和所述初始衡量指标值，确定所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移。
在其中一个实施例中，所述计算第一图像层的初始图像块位移，包括：
对所述第一图像层的前一层图像层的图像层位移进行插值计算，获得插值计算结果，所述前一层图像层为所述第一图像金字塔中，与所述第一图像层相邻、且分辨率低于所述第一图像层的图像层；
根据所述插值计算结果，确定所述第一图像层的第一图像块位移，所述初始图像块位移包括所述第一图像块位移。
在其中一个实施例中，所述计算第一图像层的初始图像块位移，包括：
对所述第一图像层的前一层图像层的图像层位移进行统计计算，获得统计计算结果，所述前一层图像层为所述第一图像金字塔中，与所述第一图像层相邻、且分辨率低于所述第一图像层的第一图像层；
根据所述统计计算结果，确定所述第一图像层的第二图像块位移，所述初始图像块位移包括所述第二图像块位移。
在其中一个实施例中，所述计算第一图像层的初始图像块位移，包括：
确定所述第一图像层中已确定图像块位移的图像块；
根据所述已确定图像块位移的图像块，确定所述第一图像层的第三图像块位移，所述初始图像块位移包括所述第三图像块位移。
在其中一个实施例中，所述计算所述初始图像块位移对应的初始衡量指标值，包括：
确定所述第二图像层中，与所述第一图像层的初始图像块位移相同的第二图像块；
根据所述第一图像层中第一图像块的像素值，以及所述第二图像块的像素值，计算所述初始图像块位移对应的初始衡量指标值。
在其中一个实施例中，所述根据各所述图像层位移以及所述图像层位移对应的衡量指标值，将所述相邻图像与所述待处理图像对齐，包括：
基于所述初始衡量指标值，从所述初始图像块位移中确定所述第一图像层中第一图像块的图像块位移；
基于所述第一图像层中第一图像块的图像块位移，确定所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移，以及所述图像层位移对应的衡量指标值；
根据各所述图像层位移及所述图像层位移对应的衡量指标值，将所述相邻图像与所述待处理图像对齐。
在其中一个实施例中，在所述基于所述第一图像层中第一图像块的图像块位移，确定所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移之后，还包括：
确定所述第一图像层中与所述第一图像块相邻的预设邻域图像块；
根据各所述预设邻域图像块的图像块位移及对应的衡量指标值，更新所述第一图像层中第一图像块的图像块位移，确定更新后的图像层位移。
在其中一个实施例中，所述融合所述相邻图像与所述待处理图像，获取处理后的图像，包括：
根据所述更新后的图像层位移对应的衡量指标值，确定所述相邻图像的初始权重；
将所述待处理图像的预设权重与所述相邻图像的初始权重进行融合，得到所述相邻图像与所述待处理图像的融合权重；
基于所述融合权重，融合所述相邻图像与所述待处理图像，获取处理后的图像。
在其中一个实施例中，在所述获取处理后的图像之后，还包括：
根据预设的像素值波动范围，对所述处理后的图像进行校正。
一种图像处理装置，所述装置包括：
图像获取模块，用于获取待处理图像及所述待处理图像对应的相邻图像；
图像金字塔构建模块，用于分别构建所述待处理图像和所述相邻图像的图像金字塔，所述待处理图像对应的图像金字塔为第一图像金字塔，所述相邻图像对应的图像金字塔为第二图像金字塔；
计算模块，用于计算所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移，以及所述图像层位移对应的衡量指标值；
图像对齐模块，用于根据各所述图像层位移以及所述图像层位移对应的衡量指标值，将所述相邻图像与所述待处理图像对齐；
图像融合模块，用于融合所述相邻图像与所述待处理图像，获取处理后的图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的图像处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法的步骤。
上述图像处理方法、装置、计算机设备和存储介质，通过获取待处理图像及待处理图像对应的相邻图像；分别构建待处理图像和相邻图像的图像金字塔，待处理图像对应的图像金字塔为第一图像金字塔，相邻图像对应的图像金字塔为第二图像金字塔；计算第一图像金字塔与第二图像金字塔对应每层之间的图像层位移，以及图像层位移对应的衡量指标值；根据各图像层位移以及图像层位移对应的衡量指标值，将相邻图像与待处理图像对齐；融合相邻图像与待处理图像，获取处理后的图像。采用上述实施例方法，通过构建待处理图像和相邻图像的图像金字塔之后，计算图像金字塔对应每层之间的图像层位移，能够提高位移计算的准确性；根据各图像层位移将相邻图像与待处理图像对齐，能够提高相邻图像与待处理图像的对齐程度；将对齐后的相邻图像与待处理图像进行融合，得到处理后的图像，能够有效减少图像噪声，提升图像画质，从而提高图像质量。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个具体实施例中图像处理方法的示意图；
图4为一个具体实施例中待处理图像的示意图；
图5为一个具体实施例中画质优化处理的示意图；
图6为一个具体实施例中计算图像层位移的示意图；
图7为一个实施例中图像处理装置的结构框图；
图8为一个实施例中计算机设备的内部结构图；
图9为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在其中一个实施例中，本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。该应用环境同时涉及终端102和服务器104。终端102可以通过网络或协议等其他通信方式与服务器104进行通信。具体地，服务器104通过终端102获取待处理图像及待处理图像对应的相邻图像，分别构建待处理图像和相邻图像的图像金字塔，待处理图像对应的图像金字塔为第一图像金字塔，相邻图像对应的图像金字塔为第二图像金字塔；计算第一图像金字塔与第二图像金字塔对应每层之间的图像层位移，以及图像层位移对应的衡量指标值；根据各图像层位移以及图像层位移对应的衡量指标值，将相邻图像与待处理图像对齐；融合相邻图像与待处理图像，获取处理后的图像。
在其中一个实施例中，本申请提供的图像处理方法，其应用环境可以只涉及终端102。具体地，终端102可以直接获取待处理图像及待处理图像对应的相邻图像，在终端102中对待处理图像和相邻图像进行图像处理，最终获取处理后的图像。
在其中一个实施例中，本申请提供的图像处理方法，其应用环境可以只涉及服务器104。具体地，服务器104可以直接获取待处理图像及待处理图像对应的相邻图像，在服务器104中对待处理图像和相邻图像进行图像处理，最终获取处理后的图像。
其中，终端102可以但不限于是各种相机、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在其中一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的终端102和/或服务器104为例进行说明，包括以下步骤：
步骤S202，获取待处理图像及待处理图像对应的相邻图像。
在其中一个实施例中，图像是指由拍摄装置拍摄得到的图像。其中，拍摄装置可以是相机，也可以是摄像头等。将需要进行处理的图像称为待处理图像，将与待处理图像相邻的图像称为相邻图像，相邻图像可以为一张图像，也可以为多张图像。
在其中一个实施例中，当拍摄装置为相机时，相机可以直接拍摄得到图像，将拍摄得到的、需要进行处理的图像称为待处理图像，将拍摄得到的、待处理图像的前一张或者多张图像称为待处理图像对应的相邻图像，或者，将拍摄得到的、待处理图像的后一张或者多张图像称为待处理图像对应的相邻图像。
在其中一个实施例中，当拍摄装置为摄像机时，摄像机可以拍摄得到视频，需要从视频中提取获得视频帧图像。将提取的、需要进行处理的视频帧图像称为待处理图像，将提取的、待处理图像的前一帧或者多帧图像称为待处理图像对应的相邻图像，或者，将提取的、待处理图像的后一帧或者多帧图像称为待处理图像对应的相邻图像。其中，视频可以是历史视频，也可以是实时视频，图像可以是历史视频帧图像，也可以是实时视频帧图像。
步骤S204，分别构建待处理图像和相邻图像的图像金字塔，待处理图像对应的图像金字塔为第一图像金字塔，相邻图像对应的图像金字塔为第二图像金字塔。
在其中一个实施例中，可以对待处理图像和相邻图像分别进行降采样或上采样，得到图像金字塔，例如高斯金字塔或者拉普拉斯金字塔等。待处理图像对应的图像金字塔为第一图像金字塔，相邻图像对应的图像金字塔为第二图像金字塔。其中，降采样(Downsampling)是指对图像进行下采样。在降采样或者上采样之后，可以得到图像对应的图像金字塔。图像金字塔是一种以多分辨率来描述图像的结构，是一系列以金字塔形状排列的分辨率逐步降低、且来源于同一张图像的集合。图像金字塔的层级越高，则图像越小、分辨率越低。
在其中一个实施例中，降采样的方式有多种，可以任意选取其中的至少一种。具体地，可以使用OpenCV软件库进行降采样，或者，可以直接对图像进行降采样，或者，可以使用改进的加权降采样方式进行降采样。其中，OpenCV软件库是一种计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS等操作***上，可以实现计算机视觉和图像处理等方面的通用算法。
在其中一个实施例中，在对待处理图像和相邻图像进行降采样的方式相同。具体地，对待处理图像进行降采样，得到第一图像金字塔，第一图像金字塔包括各第一图像层。对相邻图像进行降采样，得到第二图像金字塔，第二图像金字塔包括各第二图像层。由于降采样的方式相同，且待处理图像与相邻图像为同一个拍摄装置得到的图像，因此在对待处理图像和相邻图像进行相同方式的降采样后，得到的各第一图像层分别与各第二图像层相对应。
步骤S206，计算第一图像金字塔与第二图像金字塔对应每层之间的图像层位移，以及图像层位移对应的衡量指标值。
在其中一个实施例中，由于待处理图像与相邻图像之间存在偏移，因此需要计算待处理图像与相邻图像之间的位移，根据位移将待处理图像与相邻图像对齐。具体地，在降采样之后，可以将待处理图像与相邻图像之间的偏移，分解成第一图像金字塔与第二图像金字塔对应每层之间的图像层位移，通过图像层位移确定待处理图像与相邻图像之间的位移。
在其中一个实施例中，当待处理图像的相邻图像为一张图像，则将相邻图像与待处理图像对齐时，相邻图像与待处理图像之间的位移只需计算一次。在待处理图像的相邻图像为多张图像，则将相邻图像与待处理图像对齐时，相邻图像与待处理图像之间的位移需计算多次。例如，待处理图像的相邻图像为两张图像，分别是待处理图像的前一张图像和后一张图像，将此三张图像对齐时，则需计算前一张图像与待处理图像的位移，从而将前一张图像与待处理图像对齐，还需计算待处理图像与后一张图像的位移，从而将后一张图像与待处理图像对齐，即，需要计算两次位移。
在其中一个实施例中，在计算第一图像金字塔与第二图像金字塔对应每层之间的图像层位移时，还需计算对应每层之间的图像层位移对应的衡量指标值。其中，衡量指标值可以衡量图像层位移的好坏程度，图像层位移与衡量指标值相对应。衡量指标的数值越小，其对应的图像层位移就越优。当采用不同的计算方式，得到对应每层的不同的图像层位移时，可以根据衡量指标值确定对应每层的最优的图像层位移。
步骤S208，根据各图像层位移以及图像层位移对应的衡量指标值，将相邻图像与待处理图像对齐。
在其中一个实施例中，在获得各图像层位移以及图像层位移对应的衡量指标值之后，可以根据各图像层位移以及图像层位移对应的衡量指标值，将相邻图像与待处理图像对齐。具体地，可以一层一层的将相邻图像与待处理图像对齐，以提高图像的对齐程度，使得对齐后的相邻图像与待处理图像基本一致。
步骤S210，融合相邻图像与待处理图像，获取处理后的图像。
在其中一个实施例中，图像融合是指将处理后的几张图像融合成一张图像，能够提高图像的精度，提升原始图像的分辨率等。在将相邻图像与待处理图像对齐之后，融合相邻图像与待处理图像。具体地，可以基于待处理图像和相邻图像的权重进行融合。融合之后得到一张融合后的图像，称为处理后的图像。
上述图像处理方法中，通过获取待处理图像及待处理图像对应的相邻图像；分别构建待处理图像和相邻图像的图像金字塔，待处理图像对应的图像金字塔为第一图像金字塔，相邻图像对应的图像金字塔为第二图像金字塔；计算第一图像金字塔与第二图像金字塔对应每层之间的图像层位移，以及图像层位移对应的衡量指标值；根据各图像层位移以及图像层位移对应的衡量指标值，将相邻图像与待处理图像对齐；融合相邻图像与待处理图像，获取处理后的图像。采用上述实施例方法，通过构建待处理图像和相邻图像的图像金字塔之后，计算图像金字塔对应每层之间的图像层位移，能够提高位移计算的准确性；根据各图像层位移将相邻图像与待处理图像对齐，能够提高相邻图像与待处理图像的对齐程度；将对齐后的相邻图像与待处理图像进行融合，得到处理后的图像，能够有效减少图像噪声，提升图像画质，从而提高图像质量。
在其中一个实施例中，在步骤S202获取待处理图像及待处理图像对应的相邻图像之后，在步骤S204分别构建待处理图像和相邻图像的图像金字塔之前，还包括：
步骤S302，对待处理图像和相邻图像进行画质优化处理，得到画质优化处理处理后的待处理图像和相邻图像。
在其中一个实施例中，可以采用图像对比度处理、图像锐化等方式，分别对待处理图像和相邻图像进行画质优化处理。具体地，可以采用图像对比度处理的方式。其中，图像对比度是指图像灰度反差的大小。当图像为在夜晚拍摄的图像时，由于夜晚的能见度低，导致图像整体较暗。因此可以降低图像的对比度，以提升图像的暗部区域细节。另外，由于夜晚的光照条件复杂，多存在路灯、霓虹灯等灯光的影响，因此图像中还不可避免的出现亮度高于周边亮度的区域，称为高光区域。在降低图像的对比度，提升图像的暗部区域细节之后，会导致高光区域丢失，因此又需要提升图像的对比度，以对图像高光区域进行还原。
在其中一个实施例中，对待处理图像和相邻图像进行画质优化处理的方式相同。下述实施例以待处理图像的处理过程为例，可以通过曲线映射的方式对待处理图像进行对比度处理。其中，可以使用查找表(Look-up table)改善图像质量，提升暗部区域细节，降低图像的对比度，并对图像高光区域进行还原，提升图像的对比度。具体地，可以使用图像处理软件进行查找表的操作，例如图像处理软件PS中的曝光调节、色阶映射等。其中，还可以通过暗通道去雾方式，对图像高光区域进行还原，提升图像的对比度。
在其中一个实施例中，可以将对比度处理后的待处理图像与原始的待处理图像加权，得到具有更多高光区域细节的待处理图像。具体地，可以加权待处理图像与对比度处理后的待处理图像，获得待处理图像对应的权重图。其中，由于图像的高光区域至普通区域的亮度是渐变的，因此，可以将原始的待处理图像的像素值与预设倍数相乘，并进行模糊处理，得到待处理图像对应的权重图。其中，可以将权重图表示为W，预设倍数可以是1.5倍、2倍或3倍等。模糊处理可以是均值模糊处理，其半径可以是21。还可以使用图像处理软件得到待处理图像对应的权重图。具体地，可以使用图像处理软件PS中的高光提取等。
在其中一个实施例中，可以使用预设公式还原待处理图像对应的权重图的高光区域细节，得到画质优化处理后的待处理图像。具体地，预设公式如下：
Figure BDA0003122666950000101
式中，W(y,x)表示待处理图像对应的权重图W中像素点(y,x)处的值，r、g、b表示原始的待处理图像的红绿蓝三通道的像素值，rnew、gnew、bnew表示对比度处理后的待处理图像的红绿蓝三通道的像素值。
在其中一个实施例中，在步骤S202获取待处理图像及待处理图像对应的相邻图像之后，在步骤S204分别构建待处理图像和相邻图像的图像金字塔之前，还包括：
步骤S402，对待处理图像和相邻图像进行一次滤波处理，得到一次滤波处理后的待处理图像和相邻图像。
其中，脉冲噪声是图像中常见的噪声，表现为图像中随机出现的白点或者黑点，可能是高光区域存在黑色的像素点，或者是暗部区域存在白色的像素点，或者是两者皆存在。脉冲噪声的成因可能是影像信号受到强烈干扰、模数转换器或位元传输错误等。一般情况下使用滤波处理的方式去除脉冲噪声，例如，中值滤波处理，或者其他去除孤立点的滤波处理等。在拍摄装置将原始数据转成为图像时，会将脉冲噪声扩大成几个像素，需要进行多次滤波处理。然而，多次滤波处理会使图像模糊，因此，需要对图像进行有针对性的滤波处理，例如，针对图像的平坦区域进行滤波处理，或者针对图像的运动区域进行滤波处理等，以有效减少图像的噪声。
在其中一个实施例中，对待处理图像和相邻图像进行滤波处理的方式相同。对整张图像进行全局滤波处理，将全局滤波处理称为一次滤波处理。具体地，对待处理图像和相邻图像进行一次滤波处理，得到一次滤波处理后的待处理图像和相邻图像。其中，可以使用中值滤波处理，或者改进的中值滤波处理等方式。
步骤S404，根据一次滤波处理后的待处理图像和相邻图像的像素值，确定一次滤波处理后的待处理图像和相邻图像中的运动区域。
在其中一个实施例中，由于图像的非运动区域的噪声可以通过后续的图像的对齐和融合过程去除，因此，可以针对图像的运动区域进行滤波处理，需要确定图像的运动区域。其中，根据一次滤波处理后的待处理图像和相邻图像的像素值，确定一次滤波处理后的待处理图像和相邻图像中的运动区域。
具体地，在待处理图像的当前区域与相邻图像的对应区域的像素值之差大于预设运动阈值时，则将该当前区域确定为运动区域，并将该运动区域阈值设置为第一预设值。在待处理图像的当前区域与相邻图像的对应区域的像素值之差小于预设运动阈值时，则将该当前区域确定为非运动区域，并将该非运动区域阈值设置为第二预设值。其中，预设运动阈值的取值范围是(0，255)，可以具体设置为35。运动区域阈值，即第一预设值可以设置为255，非运动区域阈值，即第二预设值可以设置为0。
步骤S406，计算一次滤波处理后的待处理图像和相邻图像的边界值。
在其中一个实施例中，由于对图像的边界进行滤波处理时会超出图像区域，因此，滤波处理不应在图像的边界处，需要计算一次滤波处理后的待处理图像和相邻图像的边界值。其中，可以通过索贝尔算子(Sobel operator)，或者边缘检测算法等，计算一次滤波处理后的待处理图像和相邻图像的边界值。
具体地，在待处理图像的当前区域计算得到的边界值大于预设边界阈值时，则将该当前区域确定为边界区域，并将该边界区域阈值设置为第一预设值。在待处理图像的当前区域计算得到的边界值小于预设边界阈值时，则将该当前区域确定为非边界区域，并将该非边界区域阈值设置为第二预设值。其中，预设边界阈值的取值范围是(0，255)，可以具体设置为35。边界区域阈值，即第一预设值可以设置为255，非边界区域阈值，即第二预设值可以设置为0。
步骤S408，基于边界值，确定一次滤波处理后的待处理图像和相邻图像中的非边界的运动区域。
具体地，根据上述计算得到的非边界区域阈值以及运动区域阈值，确定一次滤波处理后的待处理图像和相邻图像中的非边界的运动区域。
步骤S410，对非边界的运动区域进行二次滤波处理，得到噪声处理后的待处理图像和相邻图像。
其中，在确定待处理图像和相邻图像的非边界的运动区域之后，对非边界的运动区域进行滤波处理，称为二次滤波处理。二次滤波处理与一次滤波处理的方式可以相同。具体地，可以采用中值滤波处理，或者改进的中值滤波处理等方式，得到噪声处理后的待处理图像和相邻图像，并应用于后续计算。
在其中一个实施例中，步骤S206计算第一图像金字塔与第二图像金字塔对应每层之间的图像层位移，包括：
步骤S502，计算第一图像层的初始图像块位移，初始图像块位移为第一图像层中的第一图像块与对应的第二图像层中的第二图像块之间的位移，第一图像层为第一图像金字塔中的图像层，第二图像层为第二图像金字塔中的图像层，第一图像块为第一图像层中预设大小的图像块，第二图像块为第二图像层中预设大小的图像块。
在其中一个实施例中，可以通过计算图像金字塔对应的每一层图像层的每一个图像块的图像块位移来确定图像层位移，以提高计算的准确性。其中，在对待处理图像进行降采样之后，得到各第一图像层。同理，在对相邻图像进行相同方式的降采样之后，得到各第二图像层。将第一图像层中预设大小的图像块称为第一图像块，获得预设大小的各第一图像块。同理，将第二图像层中的预设大小图像块称为第二图像块，获得预设大小的各第二图像块。由于第一图像层与第二图像层相对应，因此得到的预设大小的第一图像块与第二图像块相对应。将计算得到的第一图像块与对应的第二图像块之间的位移，称为初始图像块位移。其中，在计算对齐位移时，按照每一层图像层的每一个图像块进行计算。在计算第一图像层的初始图像块位移之前，需要将最小分辨率图像层的位移进行初始化，使其图像块位移为0。
步骤S504，计算初始图像块位移对应的初始衡量指标值。
在其中一个实施例中，可以采用多种计算方式，计算得到第一图像层的多种初始图像块位移，进而根据对应的衡量指标值确定最优的一个图像块位移。具体地，计算初始图像块位移对应的初始衡量指标值。其中，初始图像块位移与初始衡量指标值对应。初始衡量指标值可以衡量计算所得的初始图像块位移的好坏程度，可以从多个初始图像块位移中，确定最优的一个图像块位移。
步骤S506，根据初始图像块位移和初始衡量指标值，确定第一图像金字塔与第二图像金字塔对应每层之间的图像层位移。
在其中一个实施例中，初始衡量指标的数值越小，其对应的图像块位移就越优。具体地，可以根据初始图像块位移和初始衡量指标值，将数值最小的初始衡量指标值对应的初始图像块位移确定为最优的第一图像层的图像块位移。进而，通过第一图像层的图像块位移，确定第一图像金字塔与第二图像金字塔对应每层之间的图像层位移。
在其中一个实施例中，步骤S502计算第一图像层的初始图像块位移，包括：
步骤S602，对第一图像层的前一层图像层的图像层位移进行插值计算，获得插值计算结果，前一层图像层为第一图像金字塔中，与第一图像层相邻、且分辨率低于第一图像层的图像层。
在其中一个实施例中，在对待处理图像进行降采样后，得到第一图像金字塔。在第一图像金字塔中，将与第一图像层相邻、且分辨率低于第一图像层，即层级高的一层图像层作为前一层图像层。前一层图像层的图像层位移，本质上是基于最小分辨率的图像层的图像层位移得到。
在其中一个实施例中，对第一图像层的前一层图像层的图像层位移进行插值计算，获得插值计算结果。其中，插值计算可以采用拉格朗日插值、牛顿插值、分段插值、双线性插值等方式。
步骤S604，根据插值计算结果，确定第一图像层的第一图像块位移，初始图像块位移包括第一图像块位移。
在其中一个实施例中，由于第一图像金字塔中的各第一图像层的分辨率是成比例的，因此，前一层图像层的图像层位移的插值计算结果需经过相对应的分辨率放大后，才可以作为第一图像层的第一图像块的图像块位移，使用本实施例步骤确定的图像块位移称为第一图像块位移。其中，分辨率放大的倍数为第一图像层与前一层图像层的分辨率比值。例如，第一图像层的分辨率是前一层图像层的分辨率的2倍，即对应的分辨率放大倍数为2，则插值计算结果需乘以2才可以作为第一图像层的第一图像块的图像块位移。
在其中一个实施例中，步骤S502计算第一图像层的初始图像块位移，包括：
步骤S702，对第一图像层的前一层图像层的图像层位移进行统计计算，获得统计计算结果，前一层图像层为第一图像金字塔中，与第一图像层相邻、且分辨率低于第一图像层的第一图像层。
在其中一个实施例中，可以统计前一层图像层的图像层位移中各图像块位移的众数、均值或者中位数的至少一种，作为统计计算结果。其中，前一层图像层为各第一图像层中，与第一图像层相邻、且分辨率低于第一图像层的图像层。
步骤S704，根据统计计算结果，确定第一图像层的第二图像块位移，初始图像块位移包括第二图像块位移。
在其中一个实施例中，前一层图像层的图像层位移的统计计算结果需经过相对应的分辨率放大后，才可以作为第一图像层的第一图像块的图像块位移，使用本实施例步骤确定的图像块位移称为第二图像块位移。
在其中一个实施例中，步骤S502计算第一图像层的初始图像块位移，包括：
步骤S802，确定第一图像层中已确定图像块位移的图像块。
在其中一个实施例中，第一图像层的初始图像块位移，还可以基于第一图像层中已确定图像块位移的图像块进行确定。其中，已确定图像块位移的图像块还需是与第一图像块相邻的图像块。
在其中一个实施例中，在计算第一图像层的各第一图像块的图像块位移时，可以按照预设方式分别对各第一图像块进行计算。预设方式可以为按照蛇形形状进行计算，具体为第一图像层的第一行的图像块从左往右计算，第二行的图像块从右往左计算，依次循环往复。已确定图像块位移的图像块，其图像块位移可以根据步骤S602-步骤S604、步骤S702-步骤S704确定，也可以根据本实施例步骤确定。具体地，在第一图像层中与第一图像块相邻、且已确定图像块位移的图像块为预设个数图像块。其中，预设个数可以为多个，例如2个、3个或者4个等。
步骤S804，根据已确定图像块位移的图像块，确定第一图像层的第三图像块位移，初始图像块位移包括第三图像块位移。
在其中一个实施例中，可以根据已确定图像块位移的图像块，确定第一图像层的各第一图像块的图像块位移，采用本实施例步骤确定的图像块位移称为第三图像块位移。
在其中一个实施例中，在第一图像层中只有一个第一图像块，或者，在第一图像层中，需要确定图像块位移的图像块为该第一图像层中的第一个计算的图像块，即该第一图像块不存在任何与其相邻、且已确定图像块位移的图像块。则在此种情况下，第一图像块的图像块位移仅可以根据步骤S602-步骤S604或者步骤S702-步骤S704确定。
在其中一个实施例中，步骤S504计算初始图像块位移对应的初始衡量指标值，包括：
步骤S902，确定第二图像层中，与第一图像层的初始图像块位移相同的第二图像块。
在其中一个实施例中，第二图像层是指与第一图像层对应的第二图像层。其中，可以按照第一图像层的第一图像块的初始图像块位移，去确定第二图像层中对应的位移的第二图像块。具体地，可以确定与第一图像层对应的第二图像层，在第二图像层中，确定与第一图像层的第一图像块的初始图像块位移相同的第二图像块。
步骤S904，根据第一图像层中第一图像块的像素值，以及第二图像块的像素值，计算初始图像块位移对应的初始衡量指标值。
在其中一个实施例中，可以将两个图像块之间像素值的绝对差之和作为初始衡量指标，或者，可以将两个图像块之间的相关性作为初始衡量指标。具体地，在将两个图像块之间像素值的绝对差之和作为初始衡量指标时，可以根据第一图像层中第一图像块的像素值，以及上述初始图像块位移相同的第二图像块的像素值，计算初始图像块位移对应的初始衡量指标值。
在其中一个实施例中，步骤S208根据各图像层位移以及图像层位移对应的衡量指标值，将相邻图像与待处理图像对齐，包括：
步骤S1002，基于初始衡量指标值，从初始图像块位移中确定第一图像层中第一图像块的图像块位移。
在其中一个实施例中，可以根据初始衡量指标值，将数值最小的初始衡量指标值对应的第一图像块位移、第二图像块位移和第三图像块位移中，确定最优的第一图像层中第一图像块的图像块位移。
步骤S1004，基于第一图像层中第一图像块的图像块位移，确定第一图像金字塔与第二图像金字塔对应每层之间的图像层位移，以及图像层位移对应的衡量指标值。
在其中一个实施例中，通过第一图像层中第一图像块的图像块位移，确定第一图像金字塔与第二图像金字塔对应每层之间的图像层位移。在确定了对应每层之间的图像层位移之后，确定图像层位移对应的衡量指标值。
步骤S1006，根据各图像层位移及图像层位移对应的衡量指标值，将相邻图像与待处理图像对齐。
在其中一个实施例中，在确定了各图像层位移及图像层位移对应的衡量指标值之后，可以根据确定的图像层位移，将相邻图像与待处理图像对齐。
在其中一个实施例中，在步骤S1004基于第一图像层中第一图像块的图像块位移，确定第一图像金字塔与第二图像金字塔对应每层之间的图像层位移之后，还可以根据第一图像块四周的图像块位移对图像层位移进行更新，包括：
步骤S1102，确定第一图像层中与第一图像块相邻的预设邻域图像块。
在其中一个实施例中，第一图像层的各第一图像块的图像块位移可以只根据步骤S602-步骤S604、步骤S702-步骤S704或者步骤S802-步骤S804中的一种方式确定，还可以同时根据上述三种方式确定。其中，确定第一图像层中与当第一图像块相邻的预设邻域图像块。具体地，预设邻域图像块是第一图像块四周的、且已确定图像块位移的图像块。其中，预设邻域图像块的数量可以为多个，例如第一图像块的四周上下左右4个、四周一圈的8个或者四周向外两圈的24个等，其已经确定的图像块位移，可以是根据步骤S602-步骤S604、步骤S702-步骤S704或者步骤S802-步骤S804中的一种方式确定的。
步骤S1104，根据各预设邻域图像块的图像块位移及对应的衡量指标值，更新第一图像层中第一图像块的图像块位移，确定更新后的图像层位移。
在其中一个实施例中，可以根据各预设邻域图像块已确定的图像块位移及对应的衡量指标值，更新第一图像层中第一图像块的图像块位移。具体地，在第一图像块的预设邻域图像块存在更小、更优的衡量指标值时，则将第一图像块的图像块位移更新为更优的衡量指标值对应的图像块位移，否则不更新。
在其中一个实施例中，步骤S210融合相邻图像与待处理图像，获取处理后的图像，包括：
步骤S1202，根据更新后的图像层位移对应的衡量指标值，确定相邻图像的初始权重。
在其中一个实施例中，在将相邻图像与待处理图像对齐之后，需要将相邻图像和待处理图像融合为一张降噪处理后的图像。其中，可以基于图像的权重进行图像融合。由于初始图像块位移与初始衡量指标值对应，因此，在确定第一图像层的第一图像块的图像块位移后，仅存在一个对应的初始衡量指标值，称为衡量指标值。
在其中一个实施例中，根据预设的衡量指标值与阈值之间的关系，以及第一图像层的第一图像块的衡量指标值，确定与待处理图像对应的相邻图像的第二图像块的初始权重，也就是确定相邻图像的初始权重。具体地，确定初始权重的方式为，当第二图像块的阈值大于衡量指标值时，使该第二图像块的初始权重为0，此时待处理图像与相邻图像对齐不佳；当第二图像块的阈值小于衡量指标值时，使该第二图像块的初始权重＝1-衡量指标值/阈值。
在其中一个实施例中，为了提高图像融合的质量，得到更高的初始权重，确定初始权重的方式还可以为，当第二图像块的阈值大于或等于预设较大阈值时，使该第二图像块的初始权重为0，当第二图像块的阈值小于预设较小阈值时，使该第二图像块的初始权重为1，当第二图像块的阈值在在预设较小阈值和预设较大阈值之间时，使其初始权重依次线性减少。
步骤S1204，将待处理图像的预设权重与相邻图像的初始权重进行融合，得到相邻图像与待处理图像的融合权重。
在其中一个实施例中，将待处理图像的预设权重与对应的相邻图像的初始权重加权求和，得到相邻图像与待处理图像的融合权重。其中，待处理图像的预设权重可以设置为1。
步骤S1206，基于融合权重，融合相邻图像与待处理图像，获取处理后的图像。
在其中一个实施例中，在基于融合权重，融合相邻图像与待处理图像，获取处理后的图像之后，为了提高处理后的图像与原始的图像之间的相关度，处理后的图像的像素值应当在原始的图像的像素值的取值范围内。
在其中一个实施例中，在获取处理后的图像之后，还包括：根据预设的像素值波动范围，对处理后的图像进行校正。其中，预先设置处理后的图像的像素值波动范围。具体地，可以将像素值波动范围设置为±10。例如，原始的图像中的像素值为50，根据融合权重将相邻图像与待处理图像进行融合，得到处理后的图像后，若图像的像素值为62，则需要校正为60，若图像的像素值为56，则无需校正。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及其中一个具体实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在其中一个具体实施例中，图像处理方法的示意图如图3所示，其中，在对图像进行预处理后，得到预处理后的图像，再通过对齐和融合多帧图像，获取一帧处理后的图像。待处理图像的示意图如图4所示，其中，图像中存在明显的脉冲噪声。图像处理方法的具体步骤如下：
一、图像预处理
确定待处理图像，以及待处理图像对应的相邻图像。在对图像进行多帧降噪处理之前，还可以包括图像预处理，其中，图像预处理主要包括：画质优化处理和噪声处理中的至少一种，以待处理图像的预处理过程为例，具体步骤包括：
画质优化预处理：
使用如图5(a)所示的曲线映射方式降低图像的对比度，提升图像的暗部区域细节，通过如图5(b)所示的曲线映射方式提升图像的对比度，以对图像的高光区域进行还原。
将原始的待处理图像的像素值乘以2倍，并进行半径为21的均值模糊处理，得到待处理图像对应的权重图W。使用公式还原权重图的高光细节，得到画质优化处理后的待处理图像，公式如下：
Figure BDA0003122666950000191
式中，W(y,x)表示待处理图像对应的权重图W中像素点(y,x)处的值，r、g、b表示原始的待处理图像的红绿蓝三通道的像素值，rnew、gnew、bnew表示对比度处理后的待处理图像的红绿蓝三通道的像素值。
噪声预处理：
对待处理图像进行全局滤波处理，得到全局滤波处理后的待处理图像。
确定全局滤波处理后的待处理图像中的运动区域，将运动区域阈值设置为255，非运动区域阈值设置为0。
通过Sobel算子或者边缘检测算法，计算全局滤波处理后的待处理图像的边界值，将边界区域阈值设置为255，非边界区域阈值设置为0。
确定全局滤波处理后的待处理图像中的非边界的运动区域并进行滤波处理，得到噪声处理后的待处理图像。
二、多帧图像降噪处理
多帧图像降噪处理主要包括：待处理图像与相邻图像的对齐过程，以及对齐后的图像的融合过程，具体步骤包括：
图像的对齐过程：
对待处理图像与相邻图像分别进行降采样，得到待处理图像对应的第一图像金字塔，其中包括各第一图像层；得到相邻图像对应的第二图像金字塔，其中包括的各第二图像层，按照预设大小对第一图像层和第二图像层进行分割，分别得到各第一图像块和第二图像块。
通过第一图像块与对应的第二图像块之间的初始图像块位移，以及初始图像块位移对应的初始衡量指标值，确定第一图像金字塔与第二图像金字塔对应每层之间的图像层位移。
其中，计算初始图像块位移的方式包括：
方式①：对第一图像层的前一层图像层的图像层位移进行插值计算，获得插值计算结果，前一层图像层为第一图像金字塔中，与第一图像层相邻、且分辨率低于第一图像层的图像层，根据插值计算结果，确定第一图像层的第一图像块的第一图像块位移，初始图像块位移包括第一图像块位移。
方式②：对第一图像层的前一层图像层的图像层位移进行统计计算，获得统计计算结果，根据统计计算结果，确定第一图像层的第一图像块的第二图像块位移，初始图像块位移包括第二图像块位移。
方式③：确定第一图像层中与第一图像块相邻、且已确定图像块位移的图像块，具体如图6(a)所示，箭头表示计算顺序，●表示第一图像层的第一图像块，×表示与第一图像块相邻、且已确定图像块位移的3个图像块，根据已确定图像块位移的图像块，确定第一图像层的第一图像块的第三图像块位移，初始图像块位移包括第三图像块位移。
确定第一图像层对应的第二图像层中，与第一图像层的初始图像块位移相同的第二图像块，并根据第一图像块的像素值，以及第二图像块的像素值，计算初始图像块位移对应的初始衡量指标值，将数值最小的初始衡量指标值对应的初始图像块位移确定为第一图像块的图像块位移，基于此确定第一图像金字塔与第二图像金字塔对应每层之间的图像层位移。
在确定第一图像块的图像块位移之后，确定第一图像层中与第一图像块相邻的预设邻域图像块，具体如图6(b)所示，●表示第一图像层的第一图像块，×表示与第一图像块相邻的8个预设邻域图像块，根据各预设邻域图像块的图像块位移及对应的衡量指标值，更新第一图像块的图像块位移，基于此确定更新后的图像层位移。
图像的融合过程：
根据更新后的图像层位移对应的衡量指标值，确定相邻图像的第二图像块的初始权重，当第二图像块的阈值大于衡量指标值时，使该第二图像块的初始权重为0，当第二图像块的阈值小于衡量指标值时，使该第二图像块的初始权重＝1-衡量指标值/阈值。
待处理图像的第一图像块的预设权重为1，将其与相邻图像的第二图像块的初始权重进行融合，得到相邻图像与待处理图像的融合权重。
基于融合权重，融合相邻图像与待处理图像，获取处理后的图像，并根据预设的像素值波动范围，对处理后的图像进行校正。像素值波动范围设置为±10时，原始的图像的像素值为50，若处理后的图像的像素值为62，则需要校正为60，若处理后的图像的像素值为56，则无需校正。
至此，得到一帧降噪处理后的图像。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中，如图7所示，提供了一种图像处理装置，包括：图像获取模块710、图像金字塔构建模块720、计算模块730、图像对齐模块740和图像融合模块750，其中：
图像获取模块710，用于获取待处理图像及所述待处理图像对应的相邻图像。
图像金字塔构建模块720，用于分别构建所述待处理图像和所述相邻图像的图像金字塔，所述待处理图像对应的图像金字塔为第一图像金字塔，所述相邻图像对应的图像金字塔为第二图像金字塔。
计算模块730，用于计算所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移，以及所述图像层位移对应的衡量指标值。
图像对齐模块740，用于根据各所述图像层位移以及所述图像层位移对应的衡量指标值，将所述相邻图像与所述待处理图像对齐。
图像融合模块750，用于融合所述相邻图像与所述待处理图像，获取处理后的图像。
在其中一个实施例中，图像处理装置还包括：
画质优化处理模块，用于在所述获取待处理图像及所述待处理图像对应的相邻图像之后，在所述分别构建所述待处理图像和所述相邻图像的图像金字塔之前，对所述待处理图像和所述相邻图像进行画质优化处理，得到画质优化处理处理后的待处理图像和相邻图像。
降噪处理模块，用于在所述获取待处理图像及所述待处理图像对应的相邻图像之后，在所述分别构建所述待处理图像和所述相邻图像的图像金字塔之前，对所述待处理图像和所述相邻图像进行降噪处理，得到噪声处理后的待处理图像和相邻图像。
在其中一个实施例中，降噪处理模块包括以下单元：
一次滤波处理单元，用于对所述待处理图像和所述相邻图像进行一次滤波处理，得到一次滤波处理后的待处理图像和相邻图像。
运动区域确定单元，用于根据所述一次滤波处理后的待处理图像和相邻图像的像素值，确定所述一次滤波处理后的待处理图像和相邻图像中的运动区域。
边界值计算单元，用于计算所述一次滤波处理后的待处理图像和相邻图像的边界值。
非边界运动区域确定单元，用于基于所述边界值，确定所述一次滤波处理后的待处理图像和相邻图像中的非边界的运动区域。
二次滤波处理单元，用于对所述非边界的运动区域进行二次滤波处理，得到噪声处理后的待处理图像和相邻图像。
在其中一个实施例中，计算模块730包括以下单元：
初始图像块位移计算单元，用于计算第一图像层的初始图像块位移，所述初始图像块位移为所述第一图像层中的第一图像块与对应的第二图像层中的第二图像块之间的位移，所述第一图像层为所述第一图像金字塔中的图像层，所述第二图像层为所述第二图像金字塔中的图像层，所述第一图像块为所述第一图像层中预设大小的图像块，所述第二图像块为所述第二图像层中所述预设大小的图像块。
初始衡量指标值计算单元，用于计算所述初始图像块位移对应的初始衡量指标值。
图像层位移确定单元，用于根据所述初始图像块位移和所述初始衡量指标值，确定所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移。
在其中一个实施例中，初始图像块位移计算单元包括第一图像块位移计算单元，第一图像块位移计算单元包括以下单元：
插值计算单元，用于对所述第一图像层的前一层图像层的图像层位移进行插值计算，获得插值计算结果，所述前一层图像层为所述第一图像金字塔中，与所述第一图像层相邻、且分辨率低于所述第一图像层的图像层。
第一图像块位移确定单元，用于根据所述插值计算结果，确定所述第一图像层的第一图像块位移，所述初始图像块位移包括所述第一图像块位移。
在其中一个实施例中，初始图像块位移计算单元包括第二图像块位移计算单元，第二图像块位移计算单元包括以下单元：
统计计算单元，用于对所述第一图像层的前一层图像层的图像层位移进行统计计算，获得统计计算结果，所述前一层图像层为所述第一图像金字塔中，与所述第一图像层相邻、且分辨率低于所述第一图像层的第一图像层。
第二图像块位移确定单元，用于根据所述统计计算结果，确定所述第一图像层的第二图像块位移，所述初始图像块位移包括所述第二图像块位移。
在其中一个实施例中，初始图像块位移计算单元包括第三图像块位移计算单元，第三图像块位移计算单元包括以下单元：
图像块确定单元，用于确定所述第一图像层中已确定图像块位移的图像块。
第三图像块位移确定单元，用于根据所述已确定图像块位移的图像块，确定所述第一图像层的第三图像块位移，所述初始图像块位移包括所述第三图像块位移。
在其中一个实施例中，初始衡量指标值计算单元包括以下单元：
第二图像块确定单元，用于确定所述第二图像层中，与所述第一图像层的初始图像块位移相同的第二图像块。
初始衡量指标值确定单元，用于根据所述第一图像层中第一图像块的像素值，以及所述第二图像块的像素值，计算所述初始图像块位移对应的初始衡量指标值。
在其中一个实施例中，图像对齐模块740包括以下单元：
图像块位移确定单元，用于基于所述初始衡量指标值，从所述初始图像块位移中确定所述第一图像层中第一图像块的图像块位移。
图像层位移确定单元，用于基于所述第一图像层中第一图像块的图像块位移，确定所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移，以及所述图像层位移对应的衡量指标值。
图像对齐单元，用于根据各所述图像层位移及所述图像层位移对应的衡量指标值，将所述相邻图像与所述待处理图像对齐。
在其中一个实施例中，计算单元还包括图像块位移更新单元，图像块位移更新单元包括以下单元：
图像块第二确定单元，用于在所述基于所述第一图像层中第一图像块的图像块位移，确定所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移之后，确定所述第一图像层中与所述第一图像块相邻的预设邻域图像块。
图像块位移更新单元，用于根据各所述预设邻域图像块的图像块位移及对应的衡量指标值，更新所述第一图像层中第一图像块的图像块位移，确定更新后的图像层位移。
在其中一个实施例中，图像融合模块760包括以下单元：
初始权重确定单元，用于根据所述更新后的图像层位移对应的衡量指标值，确定所述相邻图像的初始权重。
融合权重计算单元，用于将所述待处理图像的预设权重与所述相邻图像的初始权重进行融合，得到所述相邻图像与所述待处理图像的融合权重。
图像融合单元，用于基于所述融合权重，融合所述相邻图像与所述待处理图像，获取处理后的图像。
在其中一个实施例中，图像处理装置还包括：
图像校正单元，用于在所述获取处理后的图像之后，根据预设的像素值波动范围，对所述处理后的图像进行校正。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
在其中一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8-9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在其中一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述的图像处理方法的步骤。
在其中一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的图像处理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像处理方法，所述方法包括：
获取待处理图像及所述待处理图像对应的相邻图像；
分别构建所述待处理图像和所述相邻图像的图像金字塔，所述待处理图像对应的图像金字塔为第一图像金字塔，所述相邻图像对应的图像金字塔为第二图像金字塔；
计算所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移，以及所述图像层位移对应的衡量指标值；
根据各所述图像层位移以及所述图像层位移对应的衡量指标值，将所述相邻图像与所述待处理图像对齐；
融合所述相邻图像与所述待处理图像，获取处理后的图像。
2.根据权利要求1所述的图像处理方法，其特征在于，在所述获取待处理图像及所述待处理图像对应的相邻图像之后，在所述分别构建所述待处理图像和所述相邻图像的图像金字塔之前，还包括以下至少一项：
第一项：
对所述待处理图像和所述相邻图像进行画质优化处理，得到画质优化处理处理后的待处理图像和相邻图像；
第二项：
对所述待处理图像和所述相邻图像进行一次滤波处理，得到一次滤波处理后的待处理图像和相邻图像；
根据所述一次滤波处理后的待处理图像和相邻图像的像素值，确定所述一次滤波处理后的待处理图像和相邻图像中的运动区域；
计算所述一次滤波处理后的待处理图像和相邻图像的边界值；
基于所述边界值，确定所述一次滤波处理后的待处理图像和相邻图像中的非边界的运动区域；
对所述非边界的运动区域进行二次滤波处理，得到噪声处理后的待处理图像和相邻图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述计算所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移，包括：
计算第一图像层的初始图像块位移，所述初始图像块位移为所述第一图像层中的第一图像块与对应的第二图像层中的第二图像块之间的位移，所述第一图像层为所述第一图像金字塔中的图像层，所述第二图像层为所述第二图像金字塔中的图像层，所述第一图像块为所述第一图像层中预设大小的图像块，所述第二图像块为所述第二图像层中所述预设大小的图像块；
计算所述初始图像块位移对应的初始衡量指标值；
根据所述初始图像块位移和所述初始衡量指标值，确定所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移。
4.根据权利要求3所述的图像处理方法，其特征在于，所述计算第一图像层的初始图像块位移，包括以下至少一项：
第一项：
对所述第一图像层的前一层图像层的图像层位移进行插值计算，获得插值计算结果，所述前一层图像层为所述第一图像金字塔中，与所述第一图像层相邻、且分辨率低于所述第一图像层的图像层；
根据所述插值计算结果，确定所述第一图像层的第一图像块位移，所述初始图像块位移包括所述第一图像块位移；
第二项：
对所述第一图像层的前一层图像层的图像层位移进行统计计算，获得统计计算结果，所述前一层图像层为所述第一图像金字塔中，与所述第一图像层相邻、且分辨率低于所述第一图像层的第一图像层；
根据所述统计计算结果，确定所述第一图像层的第二图像块位移，所述初始图像块位移包括所述第二图像块位移；
第三项：
确定所述第一图像层中已确定图像块位移的图像块；
根据所述已确定图像块位移的图像块，确定所述第一图像层的第三图像块位移，所述初始图像块位移包括所述第三图像块位移。
5.根据权利要求4所述的图像处理方法，其特征在于，所述计算所述初始图像块位移对应的初始衡量指标值，包括：
确定所述第二图像层中，与所述第一图像层的初始图像块位移相同的第二图像块；
根据所述第一图像层中第一图像块的像素值，以及所述第二图像块的像素值，计算所述初始图像块位移对应的初始衡量指标值。
6.根据权利要求5所述的图像处理方法，其特征在于，所述根据各所述图像层位移以及所述图像层位移对应的衡量指标值，将所述相邻图像与所述待处理图像对齐，包括：
基于所述初始衡量指标值，从所述初始图像块位移中确定所述第一图像层中第一图像块的图像块位移；
基于所述第一图像层中第一图像块的图像块位移，确定所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移，以及所述图像层位移对应的衡量指标值；
根据各所述图像层位移及所述图像层位移对应的衡量指标值，将所述相邻图像与所述待处理图像对齐。
7.根据权利要求5所述的图像处理方法，其特征在于，在所述基于所述第一图像层中第一图像块的图像块位移，确定所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移之后，还包括：
确定所述第一图像层中与所述第一图像块相邻的预设邻域图像块；
根据各所述预设邻域图像块的图像块位移及对应的衡量指标值，更新所述第一图像层中第一图像块的图像块位移，确定更新后的图像层位移。
8.根据权利要求7所述的图像处理方法，其特征在于，所述融合所述相邻图像与所述待处理图像，获取处理后的图像，包括：
根据所述更新后的图像层位移对应的衡量指标值，确定所述相邻图像的初始权重；
将所述待处理图像的预设权重与所述相邻图像的初始权重进行融合，得到所述相邻图像与所述待处理图像的融合权重；
基于所述融合权重，融合所述相邻图像与所述待处理图像，获取处理后的图像。
9.根据权利要求8所述的图像处理方法，其特征在于，在所述获取处理后的图像之后，还包括：
根据预设的像素值波动范围，对所述处理后的图像进行校正。
10.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理图像及所述待处理图像对应的相邻图像；
图像金字塔构建模块，用于分别构建所述待处理图像和所述相邻图像的图像金字塔，所述待处理图像对应的图像金字塔为第一图像金字塔，所述相邻图像对应的图像金字塔为第二图像金字塔；
计算模块，用于计算所述第一图像金字塔与所述第二图像金字塔对应每层之间的图像层位移，以及所述图像层位移对应的衡量指标值；
图像对齐模块，用于根据各所述图像层位移以及所述图像层位移对应的衡量指标值，将所述相邻图像与所述待处理图像对齐；
图像融合模块，用于融合所述相邻图像与所述待处理图像，获取处理后的图像。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的图像处理方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的图像处理方法的步骤。
CN202110681297.2A 2021-06-18 2021-06-18 图像处理方法、装置、计算机设备和存储介质 Pending CN115496670A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110681297.2A CN115496670A (zh) 2021-06-18 2021-06-18 图像处理方法、装置、计算机设备和存储介质
PCT/CN2022/097077 WO2022262599A1 (zh) 2021-06-18 2022-06-06 图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110681297.2A CN115496670A (zh) 2021-06-18 2021-06-18 图像处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115496670A true CN115496670A (zh) 2022-12-20

Family

ID=84464029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110681297.2A Pending CN115496670A (zh) 2021-06-18 2021-06-18 图像处理方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN115496670A (zh)
WO (1) WO2022262599A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8478076B2 (en) * 2010-07-05 2013-07-02 Apple Inc. Alignment of digital images and local motion detection for high dynamic range (HDR) imaging
CN103841296B (zh) * 2013-12-24 2017-01-18 哈尔滨工业大学 一种具有大范围旋转及平移运动估计的实时电子稳像方法
WO2017206656A1 (zh) * 2016-05-31 2017-12-07 努比亚技术有限公司 一种图像处理方法及终端、计算机存储介质
CN108573269B (zh) * 2017-10-24 2021-02-05 北京金山云网络技术有限公司 图像特征点匹配方法、匹配装置、电子设备及存储介质
CN111652818B (zh) * 2020-05-29 2023-09-29 浙江大华技术股份有限公司 一种基于金字塔的图像滤波方法、装置及存储介质
CN112308775A (zh) * 2020-09-23 2021-02-02 中国石油大学(华东) 水下图像拼接方法及装置

Also Published As

Publication number Publication date
WO2022262599A1 (zh) 2022-12-22

Similar Documents

Publication Publication Date Title
US11790481B2 (en) Systems and methods for fusing images
CN108833785B (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
US9262684B2 (en) Methods of image fusion for image stabilization
US8179466B2 (en) Capture of video with motion-speed determination and variable capture rate
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US20170148137A1 (en) Image data processing apparatus and method
US20160125618A1 (en) Method, device, and system for pre-processing a video stream for subsequent motion detection processing
US11334961B2 (en) Multi-scale warping circuit for image fusion architecture
CN112132769A (zh) 图像融合方法、装置以及计算机设备
US20110085026A1 (en) Detection method and detection system of moving object
CN106846250B (zh) 一种基于多尺度滤波的超分辨率重建方法
CN112184609B (zh) 图像融合方法及装置、存储介质、终端
CN113888509A (zh) 一种图像清晰度的评价方法、装置、设备及存储介质
JP6838918B2 (ja) 画像データ処理装置及び方法
CN112508832A (zh) 一种面向对象的遥感影像数据时空融合方法、***及设备
CN111311498B (zh) 图像鬼影剔除方法及装置、存储介质、终端
CN115496670A (zh) 图像处理方法、装置、计算机设备和存储介质
CN115035013A (zh) 图像处理方法、图像处理装置、终端及可读存储介质
EP3605450B1 (en) Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and computer-program
JP7025237B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
CN116897532A (zh) 深度图像的修复方法及装置、摄像头组件及电子设备
CN111080543A (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN101364303B (zh) 边缘像素提取及处理方法
JPWO2006117844A1 (ja) 画像処理装置、画像処理方法、及び情報端末装置
CN118071794A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination