CN113962867B - 图像处理方法、装置、计算机设备和存储介质 - Google Patents
图像处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113962867B CN113962867B CN202111576663.4A CN202111576663A CN113962867B CN 113962867 B CN113962867 B CN 113962867B CN 202111576663 A CN202111576663 A CN 202111576663A CN 113962867 B CN113962867 B CN 113962867B
- Authority
- CN
- China
- Prior art keywords
- image
- gradient
- optimized
- displacement
- downsampled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 63
- 238000003672 processing method Methods 0.000 title claims description 17
- 238000006073 displacement reaction Methods 0.000 claims abstract description 125
- 230000004927 fusion Effects 0.000 claims abstract description 59
- 238000005070 sampling Methods 0.000 claims abstract description 55
- 238000001914 filtration Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000004590 computer program Methods 0.000 claims abstract description 22
- 238000009499 grossing Methods 0.000 claims description 42
- 238000004613 tight binding model Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 9
- 230000000875 corresponding effect Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 10
- 239000000126 substance Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 235000021384 green leafy vegetables Nutrition 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：获取初始全景图像的降采样图像；对降采样图像进行优化处理，得到优化后的降采样图像；优化后的降采样图像中的各优化后子图像具有相同的图像风格，且各优化后子图像间的边缘特征相匹配；根据降采样图像与优化后的降采样图像间的差异，确定第一位移图像；对第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像；第二位移图像与初始全景图像具有相关的边界信息；第二位移图像的分辨率与初始全景图像的分辨率相等；将第二位移图像与初始全景图像叠加，得到目标融合图像。采用本方法能够提升全景图像中子图像融合的效果。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
图像作为人类感知世界的视觉基础，是人类获取信息、表达信息和传递信息的重要手段。图像处理，即用计算机对图像进行处理以达到所需结果的技术。
在图像处理领域，经常使用到图像拼接技术，即将数张有重叠部分的图像拼成一幅无缝的全景图或高分辨率图像，传统技术在进行图像拼接处理往往会使相邻图像之间出现亮度、色彩以及重叠区域错位等问题，导致图像融合效果不理想的问题。
因此，传统技术中，存在着图像融合效果不理想的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高全景图像中的图像融合质量的图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种图像处理方法。所述方法包括：
获取初始全景图像的降采样图像；所述初始全景图像为对多张子图像拼接得到的图像；
对所述降采样图像进行优化处理，得到优化后的降采样图像；所述优化后的降采样图像中的各优化后子图像具有相同的图像风格，且各所述优化后子图像间的边缘特征相匹配；
根据所述降采样图像与所述优化后的降采样图像间的差异，确定第一位移图像；
对所述第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像；所述第二位移图像与所述初始全景图像具有相关的边界信息；所述第二位移图像的分辨率与所述初始全景图像的分辨率相等；
将所述第二位移图像与所述初始全景图像叠加，得到目标融合图像。
在其中一个实施例中，所述对所述第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像，包括：
将所述初始全景图像作为引导图；
采用所述引导图，对所述第一位移图像的升采样图像进行保边滤波处理，得到所述第二位移图像。
在其中一个实施例中，所述对所述降采样图像进行优化处理，得到优化后的降采样图像，包括：
对所述降采样图像进行梯度运算，并根据所述降采样图像的梯度运算结果生成所述降采样图像的处理后的梯度图像；
对所述处理后的梯度图像进行拉普拉斯运算，得到所述降采样图像的拉普拉斯梯度图像；
确定所述拉普拉斯梯度图像的泊松融合结果，得到所述优化后的降采样图像。
在其中一个实施例中，所述对对所述降采样图像进行梯度运算，并根据所述降采样图像的梯度运算结果生成所述降采样图像的处理后的梯度图像，包括，包括：
对所述降采样图像进行梯度运算，分别确定所述降采样图像在水平方向和垂直方向的梯度图像，得到所述降采样图像的水平梯度图像和垂直梯度图像；
根据所述水平梯度图像和所述垂直梯度图像中缝合线的位置，分别确定所述水平梯度图像和所述垂直梯度图像的拼接边界处；
在所述水平梯度图像中，对所述拼接边界处的相邻图像分别设定对应的平滑系数；所述相邻图像的平滑系数之和等于一；
根据所述相邻图像对应的平滑系数，对所述相邻图像进行加权求和，得到处理后的水平梯度图像；
以及，
在所述垂直梯度图像中，对所述拼接边界处的相邻图像分别设定对应的平滑系数；所述相邻图像的平滑系数之和等于一；
根据所述相邻图像对应的平滑系数，对所述相邻图像进行加权求和，得到处理后的垂直梯度图像。
在其中一个实施例中，所述处理后的梯度图像包括处理后的水平梯度图像和处理后的垂直梯度图像；所述对所述处理后的梯度图像进行拉普拉斯运算，得到所述降采样图像的拉普拉斯梯度图像，包括：
分别对所述处理后的水平梯度图像和所述处理后的垂直梯度图像进行拉普拉斯运算，得到拉普拉斯水平梯度图像和拉普拉斯垂直梯度图像；
将所述拉普拉斯水平梯度图像和所述拉普拉斯垂直梯度图像进行叠加，得到所述降采样图像的拉普拉斯梯度图像。
在其中一个实施例中，所述确定所述降采样图像的拉普拉斯梯度图像的泊松融合结果，得到所述优化后的降采样图像，包括：
获取格林函数的傅里叶变换结果；
确定所述拉普拉斯梯度图像的傅里叶变换结果与所述格林函数的傅里叶变换结果的乘积；
确定所述乘积的傅里叶逆变换结果；
根据常量与所述乘积的傅里叶逆变换结果的实部，得到所述优化后的降采样图像。
第二方面，本申请还提供了一种图像处理装置。所述装置包括：
所述优化后的降采样图像中的各优化后子图像具有相同的图像风格，且各所述优化后子图像间的边缘特征相匹配；
确定模块，用于根据所述降采样图像与所述优化后的降采样图像间的差异，确定第一位移图像；
滤波模块，用于对所述第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像；所述第二位移图像与所述初始全景图像具有相关的边界信息；所述第二位移图像的分辨率与所述初始全景图像的分辨率相等；
叠加模块，将所述第二位移图像与所述初始全景图像叠加，得到目标融合图像。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取初始全景图像的降采样图像；所述初始全景图像为对多张子图像拼接得到的图像；
对所述降采样图像进行优化处理，得到优化后的降采样图像；所述优化后的降采样图像中的各优化后子图像具有相同的图像风格，且各所述优化后子图像间的边缘特征相匹配；
根据所述降采样图像与所述优化后的降采样图像间的差异，确定第一位移图像；
对所述第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像；所述第二位移图像与所述初始全景图像具有相关的边界信息；所述第二位移图像的分辨率与所述初始全景图像的分辨率相等；
将所述第二位移图像与所述初始全景图像叠加，得到目标融合图像。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取初始全景图像的降采样图像；所述初始全景图像为对多张子图像拼接得到的图像；
对所述降采样图像进行优化处理，得到优化后的降采样图像；所述优化后的降采样图像中的各优化后子图像具有相同的图像风格，且各所述优化后子图像间的边缘特征相匹配；
根据所述降采样图像与所述优化后的降采样图像间的差异，确定第一位移图像；
对所述第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像；所述第二位移图像与所述初始全景图像具有相关的边界信息；所述第二位移图像的分辨率与所述初始全景图像的分辨率相等；
将所述第二位移图像与所述初始全景图像叠加，得到目标融合图像。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取初始全景图像的降采样图像；所述初始全景图像为对多张子图像拼接得到的图像；
对所述降采样图像进行优化处理，得到优化后的降采样图像；所述优化后的降采样图像中的各优化后子图像具有相同的图像风格，且各所述优化后子图像间的边缘特征相匹配；
根据所述降采样图像与所述优化后的降采样图像间的差异，确定第一位移图像；
对所述第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像；所述第二位移图像与所述初始全景图像具有相关的边界信息；所述第二位移图像的分辨率与所述初始全景图像的分辨率相等；
将所述第二位移图像与所述初始全景图像叠加，得到目标融合图像。
上述图像处理方法、装置、计算机设备、存储介质和计算机程序产品，通过获取初始全景图像的降采样图像；其中，初始全景图像为对多张子图像拼接得到的图像；然后，对降采样图像进行优化处理，得到优化后的降采样图像；其中，优化后的降采样图像中的各优化后子图像具有相同的图像风格，且各优化后子图像间的边缘特征相匹配，使得优化后的降采样图像避免出现色彩、亮度不一致，存在重叠区域错位的问题，提升了初始全景图像在低分率上的图像融合效果；然后，根据降采样图像与优化后的降采样图像间的差异，确定第一位移图像；然后，对第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像；其中，第二位移图像与初始全景图像具有相关的边界信息；其中，第二位移图像的分辨率与初始全景图像的分辨率相等；最后，将第二位移图像与初始全景图像叠加，得到目标融合图像；如此，通过对低分辨率的第一位移图像的升采样图像进行引导滤波处理，并不改变第一位移图像的升采样图像的色彩风格和颜色风格，使得得到的第二位移图像在整体亮度、色彩上与第一位移图像一致；而第一位移图像是基于初始全景图像在低分辨率上的降采样图像与优化后的降采样图像的差异确定得到的，而优化后的降采样图像中各优化后子图像色彩、亮度都一致；因此，若将第二位移图像与初始全景图像直接叠加，得到的目标融合图像并不会出现色彩、亮度不一致的问题；同时，第二位移图像与初始全景图像具有相关的边界信息，保证了第二位移图像与初始全景图像叠加得到的目标融合图像不会出现重叠区域错位的问题；并且，第二位移图像的分辨率与初始全景图像的分辨率相等，保证了第二位移图像与初始全景图像叠加得到的目标融合图像的分辨率与初始全景图像的分辨率相等，保证了目标融合图像的图像质量，进一步提升了全景图像中子图像融合的效果。
附图说明
图1为一个实施例中一种图像处理方法的流程示意图；
图2为一个实施例中初始全景图像示意图；
图3为另一个实施例中一种图像处理方法的流程示意图；
图4为一个实施例中另一种图像处理方法的流程示意图；
图5为一个实施例中一种图像处理装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。另外，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在一个实施例中，如图1所示，提供了一种图像处理方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤S110，获取初始全景图像的降采样图像。
其中，初始全景图像为对多张子图像拼接得到的图像。
其中，初始全景图像可以是彩色全景图像。
具体实现中，终端首先可以获取到高分辨率的初始全景图像，初始全景图像可以是多张高分辨率的彩色子图像直接拼接得到的，存在着各子图像色彩、亮度不一致，重叠区域错位的问题，如图2所示。然后，终端会对初始全景图像进行降采样处理，得到初始全景的降采样图像；其中，通过对初始全景图像进行降采样处理，可以降低初始全景图像的图像分辨率；如，对于一幅图像尺寸为N×M的初始全景图像来说，如果降采样系数为k，则可以在初始全景图像的每行每列中，每隔k个像素取一个像素组成一幅新的图像，该图像就是初始全景的降采样图像。
步骤S120，对降采样图像进行优化处理，得到优化后的降采样图像。
其中，优化后的降采样图像中的各优化后子图像具有相同的图像风格，且各优化后子图像间的边缘特征相匹配。
其中，图像风格至少包括颜色风格、亮度风格。
其中，优化处理包括梯度编辑处理和泊松融合处理。
其中，梯度编辑处理包括对降采样图像进行梯度运算、平滑处理和拉普拉斯运算。
具体实现中，终端会对初始全景图像的降采样图像进行优化处理，具体地，终端会确定初始全景图像的水平梯度图像和垂直梯度图像；并分别对水平梯度图像和垂直梯度图像的拼接边界处进行平滑处理，得到平滑处理后的水平梯度图像和平滑处理后的垂直梯度图像；然后，根据平滑处理后的水平梯度图像和平滑后处理后的垂直梯度图像生成降采样图像的拉普拉斯梯度图像；最后，终端根据拉普拉斯梯度图像，计算初始全景图像在低分辨率上的泊松融合结果图像，并将上述泊松融合结果图像作为优化后的降采样图像，即初始全景图像在低分辨率上的子图像融合结果；使得优化后的降采样图像中的各优化后子图像具有相同的图像风格；其中，图像风格包括了色彩风格和亮度风格，保证了优化后的降采样图像中各优化后子图像的色彩、亮度一致；且优化后的降采样图像中各优化后子图像间的边缘特征相匹配，保证了优化后的降采样图像不会出现重叠区域错位、叠影等问题。
步骤S130，根据降采样图像与优化后的降采样图像间的差异，确定第一位移图像。
具体实现中，终端可以比对降采样图像与优化后的降采样图像，确定降采样图像与优化后的降采样图像间的差异；具体地，终端可以确定降采样图像与优化后的降采样图像中相对应的像素，从而可以确定降采样图像与优化后的降采样图像中每个对应像素的位移，进而生成第一位移图像。
步骤S140，对第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像。
其中，第二位移图像与初始全景图像具有相关的边界信息。
其中，第二位移图像的分辨率与初始全景图像的分辨率相等。
其中，第二位移图像的色彩风格与亮度风格和第一位移图像相同。
具体实现中，终端可以对第一位移图像进行升采样处理，使得第一位移图像的升采样图像的分辨率与初始全景图像的分辨率一致；然后，终端可以基于初始全景图像，对第一位移图像的升采样图像进行引导滤波处理，保留了第一位移图像的升采样图像中与初始全景图像具有相关性的边界信息，使得经过引导滤波处理得到的第二位移图像与初始全景图像具有相关的边界信息；并且对第一位移图像的升采样图像进行引导滤波处理并不改变第一位移图像的升采样图像的色彩风格和颜色风格，使得第二位移图像的色彩风格与亮度风格和第一位移图像相同；同时，对第一位移图像的升采样图像进行引导滤波处理也不改变第一位移图像的升采样图像的分辨率，使得第二位移图像的分辨率与初始全景图像相同。
步骤S150，将第二位移图像与初始全景图像叠加，得到目标融合图像。
具体实现中，终端可以将第二位移图像与初始全景图像直接叠加，从而可以得到目标融合图像；其中，目标融合图像的分辨率与初始全景图像的分辨率相同，为高分辨率的全景图像。
上述图像处理方法中，通过获取初始全景图像的降采样图像；其中，初始全景图像为对多张子图像拼接得到的图像；然后，对降采样图像进行优化处理，得到优化后的降采样图像；其中，优化后的降采样图像中的各优化后子图像具有相同的图像风格，且各优化后子图像间的边缘特征相匹配，使得优化后的降采样图像避免出现色彩、亮度不一致，存在重叠区域错位的问题，提升了初始全景图像在低分率上的图像融合效果；然后，根据降采样图像与优化后的降采样图像间的差异，确定第一位移图像；然后，对第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像；其中，第二位移图像与初始全景图像具有相关的边界信息；其中，第二位移图像的分辨率与初始全景图像的分辨率相等；最后，将第二位移图像与初始全景图像叠加，得到目标融合图像；如此，通过对低分辨率的第一位移图像的升采样图像进行引导滤波处理，并不改变第一位移图像的升采样图像的色彩风格和颜色风格，使得得到的第二位移图像在整体亮度、色彩上与第一位移图像一致；而第一位移图像是基于初始全景图像在低分辨率上的降采样图像与优化后的降采样图像的差异确定得到的，而优化后的降采样图像中各优化后子图像色彩、亮度都一致；因此，若将第二位移图像与初始全景图像直接叠加，得到的目标融合图像并不会出现色彩、亮度不一致的问题；同时，第二位移图像与初始全景图像具有相关的边界信息，保证了第二位移图像与初始全景图像叠加得到的目标融合图像不会出现重叠区域错位的问题；并且，第二位移图像的分辨率与初始全景图像的分辨率相等，保证了第二位移图像与初始全景图像叠加得到的目标融合图像的分辨率与初始全景图像的分辨率相等，保证了目标融合图像的图像质量，进一步提升了全景图像中子图像融合的效果。
在一个实施例中，对第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像，包括：将初始全景图像作为引导图；采用引导图，对第一位移图像的升采样图像进行保边滤波处理，得到第二位移图像。
具体实现中，终端可以对第一位移图像进行升采样处理，使得得到的第一位移图像的升采样图像的分辨率与初始全景图像的分辨率相同；然后，终端可以将初始全景图像作为引导图，采用作为引导图的初始全景图像，对第一位移图像的升采样图像进行保边滤波处理，从而终端可以根据初始全景图像的边界信息，对第一位移图像的升采样图像进行滤波，保留了第一位移图像的升采样图像中与初始全景图像具有相关性的边界信息；同时，平滑了第一位移图像的升采样图像中的非边界区域，使得得到的第二位移图像的纹理特征与初始全景图像相似；并且，不会改变第一位移图像的升采样图像的颜色风格、亮度风格，使得得到的第二位移图像的颜色风格、亮度风格与第一位移图像一致。
具体地，第二位移图像的计算公式如下：
其中，
为第二位移图像，f表示引导滤波操作，k表示归一化参数。
其中，
其中，i和j表示像素点的坐标；N和M分别对应i和j的范围，i∈N， j ∈M；
为第一位移图像的升采样图像；
为第一位移图像的升采样图像中位于（i，j）坐标的像素点的像素值；wi.j为引导图在值域上的权重值。
其中，
其中，
其中，abs为取绝对值操作，
为初始全景图像；sigmaC为常量，范围为[0.0,1.0]。
本实施例的技术方案，通过对第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像，包括：将初始全景图像作为引导图；采用引导图，对第一位移图像的升采样图像进行保边滤波处理，得到第二位移图像；如此，保留了第一位移图像的升采样图像中与初始全景图像具有相关性的边界信息，使得滤波后得到的第二位移图像与初始全景图像具有相关的边界信息；平滑了第一位移图像的升采样图像中的非边界区域，使得滤波后得到的第二位移图像的纹理特征与初始全景图像相似；并且，不会改变第一位移图像的升采样图像的颜色风格、亮度风格，使得滤波后得到的第二位移图像的颜色风格、亮度风格与第一位移图像一致；从而使得第二位移图像与初始全景图像叠加得到的目标融合图像色彩风格、颜色风格一致，且不会出现重叠区域错位的问题，保证了目标融合图像的图像质量，进而提升了目标融合图像中子图像的融合效果。
在一个实施例中，对降采样图像进行优化处理，得到优化后的降采样图像，包括：对降采样图像进行梯度运算，并根据降采样图像的梯度运算结果生成降采样图像的处理后的梯度图像；对处理后的梯度图像进行拉普拉斯运算，得到降采样图像的拉普拉斯梯度图像；确定拉普拉斯梯度图像的泊松融合结果，得到优化后的降采样图像。
其中，梯度运算结果包括降采样图像的水平梯度图像和垂直梯度图像。
具体实现中，终端会对降采样图像在水平方向和垂直方向进行梯度运算，得到降采样图像在水平方向上的梯度图，即水平梯度图像，以及，得到降采样图像在垂直方向上的梯度图，即垂直梯度图像；并将水平梯度图像和垂直梯度图像作为降采样图像的梯度运算结果；然后对水平梯度图像和垂直梯度图像作平滑处理，得到处理后的水平梯度图像和处理后的垂直梯度图像；然后，对处理后的水平梯度图像和处理后的垂直梯度图像进行拉普拉斯运算，从而可以得到降采样图像的拉普拉斯图像；最后，根据拉普拉斯图像的泊松融合结果，得到优化后的降采样图像。
本实施例的技术方案，通过对降采样图像进行梯度运算，并根据降采样图像的梯度运算结果生成降采样图像的处理后的梯度图像；对处理后的梯度图像进行拉普拉斯运算，得到降采样图像的拉普拉斯梯度图像；确定拉普拉斯梯度图像的泊松融合结果，得到优化后的降采样图像；如此，通过对降采样图像的拉普拉斯梯度图像进行泊松融合运算得到的优化后的降采样图像，保留了降采样图像的梯度信息，解决了初始全景图像的降采样图像中色彩、亮度不一致，以及重叠错位的问题，提升了初始全景图像在低分辨率上的图像融合质量。
在一个实施例中，对降采样图像进行梯度运算，并根据降采样图像的梯度运算结果生成降采样图像的处理后的梯度图像，包括：对降采样图像在水平方向和垂直方向上进行梯度运算，得到降采样图像的水平梯度图像和垂直梯度图像；根据水平梯度图像和垂直梯度图像中缝合线的位置，分别确定水平梯度图像和垂直梯度图像的拼接边界处；在水平梯度图像中，对拼接边界处的相邻图像分别设定对应的平滑系数；相邻图像的平滑系数之和等于一；根据相邻图像对应的平滑系数，对相邻图像进行加权求和，得到处理后的水平梯度图像；以及，在垂直梯度图像中，对拼接边界处的相邻图像分别设定对应的平滑系数；相邻图像的平滑系数之和等于一；根据相邻图像对应的平滑系数，对相邻图像进行加权求和，得到处理后的垂直梯度图像。
其中，相邻图像为梯度图像中两两相邻的子图像。
具体实现中，终端对降采样图像在水平方向和垂直方向上进行梯度运算，得到降采样图像的水平梯度图像和垂直梯度图像；其中，梯度运算公式如下：
其中，
为水平梯度图像，
为降采样图像，
为降采样图像在水平方向上的梯度操作符；
为垂直梯度图像，
为降采样图像在垂直方向上的梯度操作符。
然后，终端采用动态规划查找的方式分别在水平梯度图像和垂直梯度图像中确定缝合线的位置，从而可以分别确定出水平梯度图像和垂直梯度图像的拼接边界处；然后，终端可以在水平梯度图像中，对拼接边界处的相邻图像，即水平梯度图像中两两相邻的子图像分别设定平滑系数，使相邻图像的平滑系数之和等于一；然后，根据相邻图像对应的平滑系数，对相邻图像进行加权求和，从而将有重叠区域的相邻图像进行合并，同时使得边界邻域范围内的梯度尽可能接近零，最终得到处理后的水平梯度图像。具体地，可以将拼接边界处的左边子图像的平滑系数设为w，则拼接边界处的右边子图像的平滑系数为1-w；则对相邻图像进行加权求和时，左边子图像A表示为A=A*w，w
；右边子图像B表示为B=B*（1-w）。
基于相同的办法，可以得到处理后的垂直梯度图像。
本实施例的技术方案，通过对降采样图像在水平方向和垂直方向上进行梯度运算，得到降采样图像的水平梯度图像和垂直梯度图像；根据水平梯度图像和垂直梯度图像中缝合线的位置，分别确定水平梯度图像和垂直梯度图像的拼接边界处；在水平梯度图像中，对拼接边界处的相邻图像分别设定对应的平滑系数；相邻图像的平滑系数之和等于一；根据相邻图像对应的平滑系数，对相邻图像进行加权求和，得到处理后的水平梯度图像；以及，基于相同办法，得到处理后的垂直梯度图像；如此，通过确定降采样图像的水平梯度图像和垂直梯度图像，提取了降采样图像的边缘信息；并对水平梯度图像和垂直梯度图像进行的拼接边界处进行平滑处理，使得边界邻域范围内的梯度尽可能接近零，同时可以将拼接边界处有重叠区域的相邻图像进行合并，减小了降采样图像的梯度图像中的突变梯度，改善了梯度图像的质量。
在一个实施例中，处理后的梯度图像包括处理后的水平梯度图像和处理后的垂直梯度图像；对处理后的梯度图像进行拉普拉斯运算，得到降采样图像的拉普拉斯梯度图像，包括：分别对处理后的水平梯度图像和处理后的垂直梯度图像进行拉普拉斯运算，得到拉普拉斯水平梯度图像和拉普拉斯垂直梯度图像；将拉普拉斯水平梯度图像和拉普拉斯垂直梯度图像进行叠加，得到降采样图像的拉普拉斯梯度图像。
具体实现中，终端会分别对处理后的水平梯度图像和处理后的垂直梯度图像进行拉普拉斯运算，得到拉普拉斯水平梯度图像和拉普拉斯垂直梯度图像；其中，拉普拉斯水平梯度图像和拉普拉斯垂直梯度图像的计算公式如下：
其中，
为拉普拉斯水平梯度图像，
为水平方向上的梯度操作符，
为处理后的水平梯度图像；
为拉普拉斯垂直梯度图像，
为垂直方向上的梯度操作符，
为处理后的垂直梯度图像。
然后，终端将拉普拉斯水平梯度图像和拉普拉斯垂直梯度图像进行叠加，得到降采样图像的拉普拉斯梯度图像。具体地，拉普拉斯梯度图像的计算公式如下：
其中，Lap为拉普拉斯梯度图像。
本实施例的技术方案，通过分别对处理后的水平梯度图像和处理后的垂直梯度图像进行拉普拉斯运算，得到拉普拉斯水平梯度图像和拉普拉斯垂直梯度图像；将拉普拉斯水平梯度图像和拉普拉斯垂直梯度图像进行叠加，得到降采样图像的拉普拉斯梯度图像；如此，通过对经过平滑处理后的水平梯度图像和经过平滑处理后的垂直梯度图像进行拉普拉斯运算，可以在防止拉普拉斯运算增加图像噪声的同时，增强降采样图像的细节，找到降采样图像的边缘；从而可以获取到降采样图像包含的信息。
在一个实施例中，确定降采样图像的拉普拉斯梯度图像的泊松融合结果，得到优化后的降采样图像，包括：获取格林函数的傅里叶变换结果；确定拉普拉斯梯度图像的傅里叶变换结果与格林函数的傅里叶变换结果的乘积；确定乘积的傅里叶逆变换结果；根据常量与乘积的傅里叶逆变换结果的实部，得到优化后的降采样图像。
具体实现中，为了避免迭代求解一个巨大的稀疏线性矩阵，本实施例采用格林函数求解泊松方程，格林函数是一种用来求解有初始条件或边界条件的非齐次微分方程的函数，其作用是对线性算子L，在点源δ作用下的输出就是格林函数G，用数学公式表示为：
本实施例中，格林函数与拉普拉斯图像之间的关系可表示为：
其中，
为优化后的降采样图像，Lap为拉普拉斯图像，
为格林函数，*为卷积操作符。
而格林函数与拉普拉斯算子之间的关系式可以表示为：
其中，
为拉普拉斯算子，
为狄拉克三角函数，
为格林函数；
其中，
其中，S为常量；n为维度信息，因此本申请中，图像的维度信息n=2；r为欧拉距离；
是指gamma函数（伽玛函数）。
因此，终端可以通过拉普拉斯算子的傅里叶变换结果F(
)和狄拉克三角函数的傅里叶变换结果F(
)确定格林函数的傅里叶变换结果F(
)，其中，
然后，终端确定拉普拉斯梯度图像的傅里叶变换结果与格林函数的傅里叶变换结果的乘积；从而确定乘积的傅里叶逆变换结果；进而根据常量与乘积的傅里叶逆变换结果的实部，得到优化后的降采样图像；具体地，优化后的降采样图像计算公式如下：
其中，R为傅里叶反变换的实部，
为傅里叶逆变换操作，F(Lap)为拉普拉斯梯度图像的傅里叶变换结果，c为常数项；从而实现了将优化后的降采样图像的卷积求解方式转换为傅里叶正变换与逆变换的求解方式。
本实施例的技术方案，通过获取格林函数的傅里叶变换结果；确定拉普拉斯梯度图像的傅里叶变换结果与格林函数的傅里叶变换结果的乘积；确定乘积的傅里叶逆变换结果；根据常量与乘积的傅里叶逆变换结果的实部，得到优化后的降采样图像；如此，通过格林函数求解降采样图像的拉普拉斯梯度图像的泊松融合结果，可以得到优化后的降采样图像，避免了传统的泊松融合计算方式中需要迭代求解大型系数线性矩阵及要求明确的边界颜色约束的问题，从而在提升处理速度的同时也能使优化后的降采样图像的边界颜色保持连续性。
在另一个实施例中，如图3所示，提供一种图像处理方法，以该方法应用于终端为例进行说明，包括以下步骤：
步骤S302，获取初始全景图像的降采样图像；所述初始全景图像为对多张子图像拼接得到的图像。
步骤S304，对所述降采样图像在水平方向和垂直方向上进行梯度运算，得到所述降采样图像的水平梯度图像和垂直梯度图像。
步骤S306，根据所述水平梯度图像和所述垂直梯度图像中缝合线的位置，分别确定所述水平梯度图像和所述垂直梯度图像的拼接边界处。
步骤S308，在所述水平梯度图像中，对所述拼接边界处的相邻图像分别设定对应的平滑系数；所述相邻图像的平滑系数之和等于一。
步骤S310，根据所述相邻图像对应的平滑系数，对所述相邻图像进行加权求和，得到处理后的水平梯度图像。
步骤S312，在所述垂直梯度图像中，对所述拼接边界处的相邻图像分别设定对应的平滑系数；所述相邻图像的平滑系数之和等于一。
步骤S314，根据所述相邻图像对应的平滑系数，对所述相邻图像进行加权求和，得到处理后的垂直梯度图像。
步骤S316，分别对所述处理后的水平梯度图像和所述处理后的垂直梯度图像进行拉普拉斯运算，得到拉普拉斯水平梯度图像和拉普拉斯垂直梯度图像。
步骤S318，将所述拉普拉斯水平梯度图像和所述拉普拉斯垂直梯度图像进行叠加，得到所述降采样图像的拉普拉斯梯度图像。
步骤S320，确定所述拉普拉斯梯度图像的泊松融合结果，得到优化后的降采样图像。
步骤S322，根据所述降采样图像与所述优化后的降采样图像间的差异，确定第一位移图像。
步骤S324，将所述初始全景图像作为引导图。
步骤S326，采用所述引导图，对所述第一位移图像的升采样图像进行保边滤波处理，得到第二位移图像；所述第二位移图像与所述初始全景图像具有相关的边界信息；所述第二位移图像的分辨率与所述初始全景图像的分辨率相等。
步骤S328，将所述第二位移图像与所述初始全景图像叠加，得到目标融合图像。
需要说明的是，上述步骤的具体限定可以参见上文对一种图像处理方法的具体限定。
为了便于本领域技术人员的理解，图4提供了另一种图像处理方法的流程图；其中，首先需要获取到高分辨率彩色图
（相当于上述实施例中的“初始全景图像”）；然后，对
进行降采样处理，得到高分辨率彩色图的降采样图像
；然后，对降采样图像
进行梯度编辑处理（相当于上述实施例中的步骤S304~步骤S320），得到拉普拉斯梯度图像Lap；然后，根据拉普拉斯梯度图像进行快速泊松求解（相当于上述实施例中的“采用格林函数求解泊松方程”），得到低分辨率融合图像
（相当于上述实施例中的“优化后的降采样图像”）；然后，计算降采样图像
与低分辨率融合图像
之间每个像素的位移，得到第一位移图像
，并将第一位移图像
进行引导滤波上采样处理得到高分辨彩色率图的第二位移图像
；具体地，可以先将第一位移图像
直接上采样，得到第一位移图像的升采样图像
；其中，
的分辨率与高分辨率彩色图
相同；然后，以
为引导图，对
进行保边滤波，得到第二位移图像
；最后，将第二位移图像
与高分辨率彩色图
叠加，得到高分辨率融合图像
（相当于上述实施例中的“目标融合图像”）。
如此，采用改进的快速泊松求解方可以快速有效地解决图像拼接过程中的亮度、色彩、重叠错位等系列问题，避免传统泊松方程解法中需要迭代求解大型系数线性矩阵及要求明确的边界颜色约束，在提升处理速度的同时使高分辨率融合结果的边界颜色也能保持连续性；另外通过引导滤波上采样处理，在优化边界的同时保持高分辨率的清晰度，进一步提升了高分辨率全景图像中子图像的融合效果。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于一种图像处理方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种图像处理装置，包括：获取模块510、优化模块520、确定模块530、滤波模块540和叠加模块550，其中：
获取模块510，用于获取初始全景图像的降采样图像；所述初始全景图像为对多张子图像拼接得到的图像。
优化模块520，用于对所述降采样图像进行优化处理，得到优化后的降采样图像；所述优化后的降采样图像中的各优化后子图像具有相同的图像风格，且各所述优化后子图像间的边缘特征相匹配。
确定模块530，用于根据所述降采样图像与所述优化后的降采样图像间的差异，确定第一位移图像。
滤波模块540，用于对所述第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像；所述第二位移图像与所述初始全景图像具有相关的边界信息；所述第二位移图像的分辨率与所述初始全景图像的分辨率相等。
叠加模块550，用于将所述第二位移图像与所述初始全景图像叠加，得到目标融合图像。
在其中一个实施例中，所述滤波模块540，具体用于将所述初始全景图像作为引导图；采用所述引导图，对所述第一位移图像的升采样图像进行保边滤波处理，得到所述第二位移图像。
在其中一个实施例中，所述优化模块520，具体用于对所述降采样图像进行梯度运算，并根据所述降采样图像的梯度运算结果生成所述降采样图像的处理后的梯度图像；对所述处理后的梯度图像进行拉普拉斯运算，得到所述降采样图像的拉普拉斯梯度图像；确定所述拉普拉斯梯度图像的泊松融合结果，得到所述优化后的降采样图像。
在其中一个实施例中，所述优化模块520，具体用于对所述降采样图像在水平方向和垂直方向上进行梯度运算，得到所述降采样图像的水平梯度图像和垂直梯度图像；根据所述水平梯度图像和所述垂直梯度图像中缝合线的位置，分别确定所述水平梯度图像和所述垂直梯度图像的拼接边界处；在所述水平梯度图像中，对所述拼接边界处的相邻图像分别设定对应的平滑系数；所述相邻图像的平滑系数之和等于一；根据所述相邻图像对应的平滑系数，对所述相邻图像进行加权求和，得到处理后的水平梯度图像；以及，在所述垂直梯度图像中，对所述拼接边界处的相邻图像分别设定对应的平滑系数；所述相邻图像的平滑系数之和等于一；根据所述相邻图像对应的平滑系数，对所述相邻图像进行加权求和，得到处理后的垂直梯度图像。
在其中一个实施例中，所述优化模块520，具体用于分别对所述处理后的水平梯度图像和所述处理后的垂直梯度图像进行拉普拉斯运算，得到拉普拉斯水平梯度图像和拉普拉斯垂直梯度图像；将所述拉普拉斯水平梯度图像和所述拉普拉斯垂直梯度图像进行叠加，得到所述降采样图像的拉普拉斯梯度图像。
在其中一个实施例中，所述优化模块520，具体用于获取格林函数的傅里叶变换结果；确定所述拉普拉斯梯度图像的傅里叶变换结果与所述格林函数的傅里叶变换结果的乘积；确定所述乘积的傅里叶逆变换结果；根据常量与所述乘积的傅里叶逆变换结果的实部，得到所述优化后的降采样图像。
上述一种图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (9)
1.一种图像处理方法，其特征在于，所述方法包括：
获取初始全景图像的降采样图像；所述初始全景图像为对多张子图像拼接得到的图像；
对所述降采样图像进行优化处理，得到优化后的降采样图像；具体包括：对所述降采样图像进行梯度运算，得到所述降采样图像的处理后的梯度图像；对所述处理后的梯度图像进行拉普拉斯运算，得到所述降采样图像的拉普拉斯梯度图像；确定所述拉普拉斯梯度图像的泊松融合结果，得到所述优化后的降采样图像；所述优化后的降采样图像中的各优化后子图像具有相同的图像风格，且各所述优化后子图像间的边缘特征相匹配；
根据所述降采样图像与所述优化后的降采样图像间的差异，确定第一位移图像；
对所述第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像；所述第二位移图像与所述初始全景图像具有相关的边界信息；所述第二位移图像的分辨率与所述初始全景图像的分辨率相等；
将所述第二位移图像与所述初始全景图像叠加，得到目标融合图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像，包括：
将所述初始全景图像作为引导图；
采用所述引导图，对所述第一位移图像的升采样图像进行保边滤波处理，得到所述第二位移图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述降采样图像进行梯度运算，得到所述降采样图像的处理后的梯度图像，包括：
对所述降采样图像在水平方向上进行梯度运算，得到所述降采样图像的水平梯度图像；
根据所述水平梯度图像中缝合线的位置，确定所述水平梯度图像的拼接边界处；
在所述水平梯度图像中，对所述拼接边界处的相邻图像分别设定对应的平滑系数；所述相邻图像的平滑系数之和等于一；
根据所述相邻图像对应的平滑系数，对所述相邻图像进行加权求和，得到处理后的水平梯度图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述降采样图像进行梯度运算，得到所述降采样图像的处理后的梯度图像，还包括：
对所述降采样图像在垂直方向上进行梯度运算，得到所述降采样图像的垂直梯度图像；
根据所述垂直梯度图像中缝合线的位置，确定所述垂直梯度图像的拼接边界处；
在所述垂直梯度图像中，对所述拼接边界处的相邻图像分别设定对应的平滑系数；所述相邻图像的平滑系数之和等于一；
根据所述相邻图像对应的平滑系数，对所述相邻图像进行加权求和，得到处理后的垂直梯度图像。
5.根据权利要求1所述的方法，其特征在于，所述处理后的梯度图像包括处理后的水平梯度图像和处理后的垂直梯度图像；所述对所述处理后的梯度图像进行拉普拉斯运算，得到所述降采样图像的拉普拉斯梯度图像，包括：
分别对所述处理后的水平梯度图像和所述处理后的垂直梯度图像进行拉普拉斯运算，得到拉普拉斯水平梯度图像和拉普拉斯垂直梯度图像；
将所述拉普拉斯水平梯度图像和所述拉普拉斯垂直梯度图像进行叠加，得到所述降采样图像的拉普拉斯梯度图像。
6.根据权利要求1所述的方法，其特征在于，所述确定所述降采样图像的拉普拉斯梯度图像的泊松融合结果，得到所述优化后的降采样图像，包括：
获取格林函数的傅里叶变换结果；
确定所述拉普拉斯梯度图像的傅里叶变换结果与所述格林函数的傅里叶变换结果的乘积；
确定所述乘积的傅里叶逆变换结果；
根据常量与所述乘积的傅里叶逆变换结果的实部，得到所述优化后的降采样图像。
7.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取初始全景图像的降采样图像；所述初始全景图像为对多张子图像拼接得到的图像；
优化模块，用于对所述降采样图像进行优化处理，得到优化后的降采样图像；具体包括：对所述降采样图像进行梯度运算，得到所述降采样图像的处理后的梯度图像；对所述处理后的梯度图像进行拉普拉斯运算，得到所述降采样图像的拉普拉斯梯度图像；确定所述拉普拉斯梯度图像的泊松融合结果，得到所述优化后的降采样图像；所述优化后的降采样图像中的各优化后子图像具有相同的图像风格，且各所述优化后子图像间的边缘特征相匹配；
确定模块，用于根据所述降采样图像与所述优化后的降采样图像间的差异，确定第一位移图像；
滤波模块，用于对所述第一位移图像的升采样图像进行引导滤波处理，得到第二位移图像；所述第二位移图像与所述初始全景图像具有相关的边界信息；所述第二位移图像的分辨率与所述初始全景图像的分辨率相等；
叠加模块，将所述第二位移图像与所述初始全景图像叠加，得到目标融合图像。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111576663.4A CN113962867B (zh) | 2021-12-22 | 2021-12-22 | 图像处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111576663.4A CN113962867B (zh) | 2021-12-22 | 2021-12-22 | 图像处理方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113962867A CN113962867A (zh) | 2022-01-21 |
| CN113962867B true CN113962867B (zh) | 2022-03-15 |
Family
ID=79473514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111576663.4A Active CN113962867B (zh) | 2021-12-22 | 2021-12-22 | 图像处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113962867B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101119442A (zh) * | 2007-08-10 | 2008-02-06 | 浙江大学 | 基于全景图拼接的视频编辑方法 |
| CN101853524A (zh) * | 2010-05-13 | 2010-10-06 | 北京农业信息技术研究中心 | 使用图像序列生成玉米果穗全景图的方法 |
| DE102015121084A1 (de) * | 2015-05-25 | 2016-12-01 | Htc Corporation | Zoomsteuerverfahren für Kamera und elektronische Vorrichtung mit Kamera |
| CN107146201A (zh) * | 2017-05-08 | 2017-09-08 | 重庆邮电大学 | 一种基于改进图像融合的图像拼接方法 |
| GB2548358A (en) * | 2016-03-15 | 2017-09-20 | Nokia Technologies Oy | A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video |
| CN109785233A (zh) * | 2018-12-25 | 2019-05-21 | 合肥埃科光电科技有限公司 | 一种图像超分辨率重建方法 |
| CN109934772A (zh) * | 2019-03-11 | 2019-06-25 | 深圳岚锋创视网络科技有限公司 | 一种图像融合方法、装置及便携式终端 |
| CN110782424A (zh) * | 2019-11-08 | 2020-02-11 | 重庆紫光华山智安科技有限公司 | 图像融合方法、装置、电子设备及计算机可读存储介质 |
| CN111553841A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 一种基于最佳缝合线更新的实时视频拼接算法 |
| CN111652800A (zh) * | 2020-04-30 | 2020-09-11 | 清华大学深圳国际研究生院 | 一种单张图像超分辨的方法及计算机可读存储介质 |
| CN113313774A (zh) * | 2020-02-26 | 2021-08-27 | 华为技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230274A (zh) * | 2018-01-16 | 2018-06-29 | 华南理工大学 | 一种混合噪声模型下的多分辨率快速去噪方法及装置 |
| CN109961497A (zh) * | 2019-03-22 | 2019-07-02 | 刘文龙 | 基于无人机影像的实时三维重建方法 |
-
2021
- 2021-12-22 CN CN202111576663.4A patent/CN113962867B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101119442A (zh) * | 2007-08-10 | 2008-02-06 | 浙江大学 | 基于全景图拼接的视频编辑方法 |
| CN101853524A (zh) * | 2010-05-13 | 2010-10-06 | 北京农业信息技术研究中心 | 使用图像序列生成玉米果穗全景图的方法 |
| DE102015121084A1 (de) * | 2015-05-25 | 2016-12-01 | Htc Corporation | Zoomsteuerverfahren für Kamera und elektronische Vorrichtung mit Kamera |
| GB2548358A (en) * | 2016-03-15 | 2017-09-20 | Nokia Technologies Oy | A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video |
| CN107146201A (zh) * | 2017-05-08 | 2017-09-08 | 重庆邮电大学 | 一种基于改进图像融合的图像拼接方法 |
| CN109785233A (zh) * | 2018-12-25 | 2019-05-21 | 合肥埃科光电科技有限公司 | 一种图像超分辨率重建方法 |
| CN109934772A (zh) * | 2019-03-11 | 2019-06-25 | 深圳岚锋创视网络科技有限公司 | 一种图像融合方法、装置及便携式终端 |
| CN110782424A (zh) * | 2019-11-08 | 2020-02-11 | 重庆紫光华山智安科技有限公司 | 图像融合方法、装置、电子设备及计算机可读存储介质 |
| CN113313774A (zh) * | 2020-02-26 | 2021-08-27 | 华为技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111553841A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 一种基于最佳缝合线更新的实时视频拼接算法 |
| CN111652800A (zh) * | 2020-04-30 | 2020-09-11 | 清华大学深圳国际研究生院 | 一种单张图像超分辨的方法及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 图像融合技术研究与应用;郭雄飞;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20140815(第08期);I138-1447 * |
| 基于GPU加速的实时4K全景视频拼接;卢嘉铭 等;《计算机科学》;20170831;第44卷(第8期);18-21,26 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113962867A (zh) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Deformable kernel networks for joint image filtering | |
| US20180300855A1 (en) | Method and a system for image processing | |
| WO2020186942A1 (zh) | 目标检测方法、***、装置、存储介质和计算机设备 | |
| CN102246204B (zh) | 用于使用标度空间来处理图像的设备和方法 | |
| EP3929867A2 (en) | Image fusion method and portable terminal | |
| CN111161269B (zh) | 图像分割方法、计算机设备和可读存储介质 | |
| CN108109109B (zh) | 一种超分辨率图像重构方法、装置、介质及计算设备 | |
| KR102221225B1 (ko) | 영상 화질 개선방법 및 그 장치 | |
| CN111951167B (zh) | 超分辨率图像重建方法、装置、计算机设备和存储介质 | |
| CN109448088B (zh) | 渲染立体图形线框的方法、装置、计算机设备和存储介质 | |
| Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
| CN115439615B (zh) | 一种基于三维bim的分布式综合管理*** | |
| CN111681165A (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
| Zhu et al. | Low-light image enhancement network with decomposition and adaptive information fusion | |
| CN112164006B (zh) | 一种影像匀色方法、装置、电子设备及存储介质 | |
| CN113962867B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| KR101341617B1 (ko) | 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법 | |
| CN110895790A (zh) | 基于后验降质信息估计的场景图像超分辨方法 | |
| CN115423697A (zh) | 图像修复方法、终端及计算机存储介质 | |
| CN115797194A (zh) | 图像降噪方法、装置、电子设备、存储介质和程序产品 | |
| CN115239836A (zh) | 一种基于端到端神经网络的极端稀疏视角ct重建方法 | |
| CN111524072B (zh) | 超分辨重构网络训练方法和装置、电子设备及存储介质 | |
| CN110322478B (zh) | 特征点观察窗口处理方法、跟踪方法、装置、设备和介质 | |
| US20230010980A1 (en) | Planning radiation therapy using a personalized hematologic risk score | |
| Laghrib et al. | A multiframe super-resolution technique based on a nonlocal Bregman distance of bilateral total variation term |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |