CN113077387B - 一种图像处理方法及装置 - Google Patents
一种图像处理方法及装置 Download PDFInfo
- Publication number
- CN113077387B CN113077387B CN202110402157.7A CN202110402157A CN113077387B CN 113077387 B CN113077387 B CN 113077387B CN 202110402157 A CN202110402157 A CN 202110402157A CN 113077387 B CN113077387 B CN 113077387B
- Authority
- CN
- China
- Prior art keywords
- attenuation
- region
- pixel
- image
- spliced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 76
- 238000000034 method Methods 0.000 claims description 60
- 238000009499 grossing Methods 0.000 claims description 40
- 238000001914 filtration Methods 0.000 claims description 14
- 230000007423 decrease Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 3
- 239000000523 sample Substances 0.000 claims 1
- 239000000758 substrate Substances 0.000 claims 1
- 230000002238 attenuated effect Effects 0.000 abstract description 37
- 230000000694 effects Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 39
- 230000008859 change Effects 0.000 description 20
- RVRCFVVLDHTFFA-UHFFFAOYSA-N heptasodium;tungsten;nonatriacontahydrate Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W] RVRCFVVLDHTFFA-UHFFFAOYSA-N 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000013178 mathematical model Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000010839 reverse transcription Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像处理方法及装置,包括:基于第一原始图像和第二原始图像获取拼接图像,拼接图像包括拼缝线,拼缝线一侧为第一拼接区域,拼缝线另一侧为第二拼接区域;从第一拼接区域中确定第一衰减区域,基于第一衰减区域的尺寸、第一衰减区域对应的衰减速度值和第一衰减区域中像素点与拼缝线之间的距离,对第一衰减区域进行衰减处理;从第二拼接区域中确定第二衰减区域,基于第二衰减区域的尺寸、第二衰减区域对应的衰减速度值和第二衰减区域中像素点与拼缝线之间的距离,对第二衰减区域进行衰减处理;基于衰减后的第一拼接区域和衰减后的第二拼接区域生成目标图像。通过本申请的技术方案,能够改善色彩差异和亮度差异,图像拼接效果较好。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及装置。
背景技术
在计算机视觉领域和图像处理领域,图像拼接是指:将描述同一场景的两帧或者多帧具有重叠区域的图像,拼接成一帧全景图像或者高分辨率图像(即超广视角图像)。图像配准和图像融合是图像拼接的两个主要过程,在图像配准过程中,需要确定图像之间的变换关系,建立图像坐标变换的数学模型,通过求解该数学模型的参数将图像变换到同一个坐标系。在图像融合过程中,需要将变换到同一个坐标系的图像拼接成全景图像或者高分辨率图像。
由于不同摄像机的感光器件的一致性不好、及不同摄像机的曝光参数不同等原因,使得不同摄像机采集的图像会存在较大差异(如色彩差异和/或亮度差异),在将存在较大差异的图像拼接成全景图像或者高分辨率图像时,全景图像或者高分辨率图像中会存在较大的拼缝痕迹,图像拼接效果较差。
发明内容
本申请提供一种图像处理方法,所述方法包括:
基于第一原始图像和第二原始图像获取拼接图像,所述拼接图像包括拼缝线,所述拼缝线的一侧为基于所述第一原始图像确定的第一拼接区域,所述拼缝线的另一侧为基于所述第二原始图像确定的第二拼接区域;
从所述第一拼接区域中确定第一衰减区域,基于所述第一衰减区域的尺寸、所述第一衰减区域对应的已配置的衰减速度值和所述第一衰减区域中像素点与所述拼缝线之间的距离,对所述第一衰减区域进行衰减处理;
从所述第二拼接区域中确定第二衰减区域,基于所述第二衰减区域的尺寸、所述第二衰减区域对应的已配置的衰减速度值和所述第二衰减区域中像素点与所述拼缝线之间的距离,对所述第二衰减区域进行衰减处理;
基于衰减处理后的第一拼接区域和衰减处理后的第二拼接区域生成目标图像,所述目标图像包括所述拼缝线,所述拼缝线的一侧为衰减处理后的第一拼接区域,所述拼缝线的另一侧为衰减处理后的第二拼接区域。
本申请提供一种图像处理装置,所述装置包括:
获取模块,用于基于第一原始图像和第二原始图像获取拼接图像,所述拼接图像包括拼缝线,所述拼缝线的一侧为基于第一原始图像确定的第一拼接区域,所述拼缝线的另一侧为基于第二原始图像确定的第二拼接区域;
处理模块,用于从所述第一拼接区域中确定第一衰减区域,基于所述第一衰减区域的尺寸、所述第一衰减区域对应的已配置的衰减速度值和所述第一衰减区域中像素点与所述拼缝区域拼缝线之间的距离,对所述第一衰减区域进行衰减处理;从所述第二拼接区域中确定第二衰减区域,基于所述第二衰减区域的尺寸、所述第二衰减区域对应的已配置的衰减速度值和所述第二衰减区域中像素点与所述拼缝区域拼缝线之间的距离,对所述第二衰减区域进行衰减处理;
生成模块,用于基于衰减处理后的第一拼接区域和衰减处理后的第二拼接区域生成目标图像,所述目标图像包括拼缝区域拼缝线,所述拼缝区域拼缝线的一侧为衰减处理后的第一拼接区域,所述拼缝区域拼缝线的另一侧为衰减处理后的第二拼接区域。
本申请提供一种图像处理方法,包括:
获取一张拼接图像;
对所述拼接图像中至少一行像素点执行平滑处理,包括:
在所述一行像素点中选择一个像素点作为拼缝点;
响应于所述拼缝点,基于目标衰减因子对除了所述拼缝点以外的多个其它像素点执行平滑处理,生成处理后的多个其它像素点;其中,所述目标衰减因子被限定为以所述其它像素点与所述拼缝点的横向坐标差值、最大衰减因子为参变量的函数运算得到,以使所述最大衰减因子小于1时,所述多个其它像素点执行平滑处理后的像素值与执行平滑处理前的像素值之间的变化量,随着所述横向坐标差值的增大而增大,且所述最大衰减因子大于1时,所述多个其它像素点执行平滑处理后的像素值与执行平滑处理前的像素值之间的变化量,随着所述横向坐标差值的增大而减少;其中,所述像素值为亮度值和/或色度值。
由以上技术方案可见,本申请实施例中,针对第一拼接区域中的第一衰减区域,可以基于第一衰减区域的尺寸、第一衰减区域对应的衰减速度值和第一衰减区域中像素点与拼缝线之间的距离,对第一衰减区域进行衰减处理。针对第二拼接区域中的第二衰减区域,可以基于第二衰减区域的尺寸、第二衰减区域对应的衰减速度值和第二衰减区域中像素点与拼缝线之间的距离,对第二衰减区域进行衰减处理。在对第一拼接区域中的第一衰减区域和第二拼接区域中的第二衰减区域进行衰减处理后,可以将衰减处理后的第一拼接区域和衰减处理后的第二拼接区域拼接成目标图像(如全景图像或高分辨率图像),从而可以将存在较大差异(如色彩差异和/或亮度差异)的第一原始图像和第二原始图像拼接成目标图像,目标图像中不会存在较大的拼缝痕迹,能够改善色彩差异和亮度差异,图像拼接效果较好,实现目标图像的平滑过渡。
附图说明
图1是本申请一种实施方式中的图像处理方法的流程示意图;
图2A-图2E是本申请一种实施方式中的拼接图像的示意图;
图3是本申请一种实施方式中的衰减区域的示意图;
图4是本申请另一种实施方式中的图像处理方法的流程示意图;
图5是本申请一种实施方式中的图像处理装置的结构示意图;
图6是本申请一种实施方式中的图像处理设备的硬件结构图。
具体实施方式
本申请实施例提出一种图像处理方法,可以应用于前端设备(如摄像机等)或后端设备(如后台服务器等)。若图像处理方法应用于前端设备,则前端设备采集两帧或多帧具有重叠区域的图像,并将这两帧或多帧图像拼接成一帧全景图像或高分辨率图像。若图像处理方法应用于后端设备,则前端设备采集两帧或多帧具有重叠区域的图像,并将这两帧或多帧图像输入给后端设备,由后端设备将这两帧或多帧图像拼接成一帧全景图像或高分辨率图像。
若将两帧图像拼接成一帧全景图像或高分辨率图像,则将这两帧图像记为第一原始图像和第二原始图像,采用本实施例的图像处理方法,将这两帧图像拼接成一帧全景图像或高分辨率图像。若将多帧图像拼接成一帧全景图像或高分辨率图像,以三帧图像(如图像a1、图像a2和图像a3)为例,将图像a1和图像a2记为第一原始图像和第二原始图像,采用本实施例的图像处理方法,将图像a1和图像a2拼接成一帧图像a4。将图像a2和图像a3记为第一原始图像和第二原始图像,采用本实施例的图像处理方法,将图像a2和图像a3拼接成一帧图像a5。将图像a4和图像a5记为第一原始图像和第二原始图像,采用本实施例的图像处理方法,将图像a4和图像a5拼接成一帧全景图像或高分辨率图像。
为了方便描述,在后续实施例中,以两帧待拼接的图像为例进行说明,将这两帧图像称为第一原始图像和第二原始图像。
参见图1所示,为图像处理方法的流程示意图,该方法可以包括:
步骤101,基于第一原始图像和第二原始图像获取拼接图像,该拼接图像包括拼缝线,该拼缝线的一侧为基于该第一原始图像确定的第一拼接区域,该拼缝线的另一侧为基于该第二原始图像确定的第二拼接区域。
比如说,可以获取第一原始图像和第二原始图像,第一原始图像和第二原始图像是不同摄像机或者相同摄像机采集的图像,且第一原始图像和第二原始图像的采集时刻相同,且第一原始图像和第二原始图像是针对同一场景的图像。
然后,对第一原始图像和第二原始图像进行图像配准,在图像配准过程中,可以确定第一原始图像和第二原始图像之间的变换关系,并基于该变换关系建立图像坐标变换的数学模型,通过求解该数学模型的参数将第一原始图像和第二原始图像变换到同一个坐标系,对此图像配准过程不做限制。
然后,对第一原始图像和第二原始图像进行图像融合,在图像融合过程中,可以将变换到同一个坐标系的第一原始图像和第二原始图像拼接成一帧图像,对此图像融合过程不做限制。为了区分方便,将拼接后的图像记为拼接图像,该拼接图像可以包括拼缝线、第一拼接区域和第二拼接区域。
若需要对第一原始图像和第二原始图像进行左右拼接,则在该拼接图像中,拼缝线可以为一条拼缝竖线,该拼缝线的左侧为第一拼接区域,该拼缝线的右侧为第二拼接区域。或者,若需要对第一原始图像和第二原始图像进行上下拼接,则在该拼接图像中,拼缝线可以为一条拼缝横线,该拼缝线的上侧为第一拼接区域,该拼缝线的下侧为第二拼接区域。为了方便描述,在后续实施例中,以对第一原始图像和第二原始图像进行左右拼接为例。
在一种可能的实施方式中,第一原始图像和第二原始图像可以具有重叠区域,基于此,将拼接图像中位于重叠区域的一条边界线作为拼缝线,例如,拼缝线为一条拼缝竖线时,将拼接图像中位于重叠区域的一条边界竖线作为拼缝线,即拼缝线的高度与图像高度相同,拼缝线的每行有一个像素点。基于此,第一拼接区域为第一原始图像,第二拼接区域为第二原始图像的局部;或,第一拼接区域为第一原始图像的局部,第二拼接区域为第二原始图像,或,第一拼接区域为第一原始图像的局部,第二拼接区域为第二原始图像的局部。
比如说,参见图2A所示,该第一原始图像中的区域b1和该第二原始图像中的区域b2是重叠区域,也就是说,区域b1和区域b2是针对同一物理空间的画面,在此应用场景下,在拼接图像中,可以将区域b1和区域b2重合,二者重合的区域就是重叠区域,可以将位于重叠区域的一条边界线作为拼缝线。
拼接图像可以参见图2B或者图2C所示,在图2B中,拼缝线的左侧为第一拼接区域,该第一拼接区域为第一原始图像的局部,即已经舍弃第一原始图像中的重叠区域(即区域b1,也就是说,将区域b1和区域b2重合时,舍弃区域b1),拼缝线的右侧为第二拼接区域,该第二拼接区域为第二原始图像,即保留第二原始图像中的重叠区域(即区域b2,也就是说,将区域b1和区域b2重合时,保留区域b2)。在图2B中,拼缝线位于区域b2的最左侧一列,当然,拼缝线可以是区域b2的任意一列,对此拼缝线的位置不做限制。
在图2C中,拼缝线的左侧为第一拼接区域,该第一拼接区域为第一原始图像,即保留第一原始图像中的重叠区域(即区域b1),拼缝线的右侧为第二拼接区域,该第二拼接区域为第二原始图像的局部,即已经舍弃第二原始图像中的重叠区域(即区域b2)。在图2C中,拼缝线位于区域b1的最右侧一列,当然,拼缝线可以是区域b1的任意一列,对此拼缝线的位置不做限制。
在另一种可能的实施方式中,第一原始图像和第二原始图像可以不具有重叠区域,基于此,将拼接图像中位于中间区域的一条边界线作为拼缝线,比如说,拼缝线为一条拼缝竖线时,将拼接图像中位于中间区域的一条边界竖线作为拼缝线,即拼缝线的高度与图像高度相同,拼缝线的每行有一个像素点。基于此,第一拼接区域为第一原始图像,第二拼接区域为第二原始图像。
拼接图像的中间区域,可以是中间位置的一列,也可以是中间位置的多列,在拼接图像中,中间位置左侧的宽度与中间位置右侧的宽度一致。
参见图2D所示,第一原始图像和第二原始图像没有重叠区域,即不存在针对同一物理空间的画面,拼接图像可以参见图2E所示。拼缝线的左侧为第一拼接区域,该第一拼接区域也就是第一原始图像,将第一原始图像与拼缝线拼接,即第一原始图像的最后一列对接拼缝线。拼缝线的右侧为第二拼接区域,该第二拼接区域也就是第二原始图像,将第二原始图像与拼缝线拼接,即第二原始图像的第一列对接拼缝线。显然,图2E是以拼缝线位于中间位置的中心一列为例,拼缝线也可以是中间位置的其它位置,对此拼缝线的位置不做限制。
在上述实施例中,针对拼接图像来说,可以参见图2B、图2C和图2E所示,对于拼缝线左侧的第一拼接区域,可以保留第一拼接区域中各像素点的像素值,即拼缝线左侧区域的像素值保持不变。对于拼缝线右侧的第二拼接区域,可以保留第二拼接区域中各像素点的像素值,即拼缝线右侧区域的像素值保持不变。
对于拼缝线中各像素点的像素值(即拼缝线这一列中各像素点的像素值,每行只有一个像素点),可以采用如下方式:基于第一拼接区域中与拼缝线相邻的N个像素点的像素值和第二拼接区域中与拼缝线相邻的N个像素点的像素值,确定该拼缝线中每个像素点的像素值,并基于拼缝线中每个像素点的像素值确定拼缝线,至此,可以得到拼接图像中的该拼缝线。
比如说,假设拼缝线包括像素点c1-像素点c8(即拼缝线存在8行像素点,每行存在一个像素点),针对拼缝线中的像素点c1,可以基于像素点c1左侧与像素点c1相邻的N个像素点的像素值(即与像素点c1处于同一行,且与像素点c1的距离比较小的N个像素点的像素值)、像素点c1右侧与像素点c1相邻的N个像素点的像素值,确定像素点c1的像素值。比如说,将2N个像素点的像素值的平均值作为像素点c1的像素值,或者,将2N个像素点的像素值的中位数作为像素点c1的像素值,或者,将2N个像素点的像素值的最大值作为像素点c1的像素值,或者,将2N个像素点的像素值的最小值作为像素点c1的像素值,对此确定方式不做限制。同理,也可以得到像素点c2-像素点c8的像素值。然后,可以将像素点c1-像素点c8的像素值组成拼缝线。
在上述实施例中,N的取值可以根据经验配置,如3、5等,对此不做限制。
在上述实施例中,第一原始图像和第二原始图像可以是图片类图像,如智能终端采集的图像、地图图像等,这些图像的拼接过程可以是离线处理,对实时性要求不高,因此,可以采用离线方式对第一原始图像和第二原始图像进行拼接。或者,第一原始图像和第二原始图像也可以是视频类图像,如视频流中的每帧图像等,这些图像的拼接过程可以是在线处理,对实时性要求较高,因此,可以采用在线方式对第一原始图像和第二原始图像进行拼接。
步骤102,针对拼接图像中的第一拼接区域(即位于拼缝线左侧的拼接区域),从该第一拼接区域中确定第一衰减区域,基于该第一衰减区域的尺寸、该第一衰减区域对应的已配置的衰减速度值和该第一衰减区域中像素点与拼缝线之间的距离,对第一衰减区域进行衰减处理,得到衰减处理后的第一拼接区域。
示例性的,针对拼接图像中的第一拼接区域,可以将第一拼接区域中与拼缝线相邻的M个像素点作为第一衰减区域,继而确定出第一衰减区域。
比如说,假设拼缝线包括像素点c1-像素点c8,针对拼缝线中的像素点c1,第一拼接区域中与像素点c1相邻的M个像素点(即与像素点c1处于同一行,且与像素点c1的距离比较小的M个像素点)属于第一衰减区域。针对拼缝线中的像素点c2,第一拼接区域中与像素点c2相邻的M个像素点属于第一衰减区域,以此类推。参见图3所示,为第一衰减区域的示意图。
从图3可以看出,假设M为6,则第一拼接区域中与像素点c1相邻的像素点d11、像素点d12、像素点d13、像素点d14、像素点d15和像素点d16属于第一衰减区域,第一拼接区域中与像素点c2相邻的像素点d21-像素点d26属于第一衰减区域,以此类推,最终得到第一拼接区域中的第一衰减区域。
示例性的,第一衰减区域的尺寸可以包括第一衰减区域的宽度值(即横向像素点数量)和/或第一衰减区域的高度值(即纵向像素点数量)。在第一衰减区域位于拼缝线的左侧或右侧时,第一衰减区域的尺寸为第一衰减区域的宽度值,在第一衰减区域位于拼缝线的上侧或下侧时,第一衰减区域的尺寸为第一衰减区域的高度值。本实施例中,以第一衰减区域的宽度值为例。
比如说,在将第一拼接区域中与拼缝线相邻的M个像素点作为第一衰减区域时,则第一衰减区域的宽度值就是M,表示横向像素点数量为M。
第一衰减区域对应的衰减速度值表示衰减程度值的变化速度,也就是说,若该衰减速度值越大,则衰减程度值的变化速度越快,若该衰减速度值越小,则衰减程度值的变化速度越慢。第一衰减区域对应的衰减速度值是已配置的经验值,即可以根据经验配置第一衰减区域对应的衰减速度值,对此不做限制。
第一衰减区域中像素点与拼缝线之间的距离,表示该像素点与拼缝线之间间隔的像素点数量。比如说,参见图3所示,像素点d11与像素点c1间隔1个像素点,因此,d11与拼缝线之间的距离为1;像素点d12与像素点c1间隔2个像素点,因此,d12与拼缝线之间的距离为2,以此类推。
在一种可能的实施方式中,在从第一拼接区域中确定出第一衰减区域之后,就可以基于该第一衰减区域的尺寸、该第一衰减区域对应的衰减速度值和该第一衰减区域中像素点与拼缝线之间的距离,对该第一衰减区域进行衰减处理,得到衰减处理后的第一拼接区域,比如说,该过程可以包括以下步骤:
步骤S11、针对该第一衰减区域中每个像素点,基于该第一衰减区域的尺寸、该第一衰减区域对应的衰减速度值和该像素点与拼缝线之间的距离,确定该像素点对应的衰减程度值。示例性的,该衰减程度值与该尺寸可以成正比,该衰减程度值与该衰减速度值可以成反比,该衰减程度值与该距离可以成反比。
比如说,针对像素点(x,y),可以采用公式(1)和公式(2)确定像素点(x,y)对应的衰减程度值,x表示像素点的横坐标,y表示像素点的纵坐标。
Tx,y=abs(x–x0)/max_off 公式(1)
alphax,y=1–Tx,y^k 公式(2)
在公式(1)和公式(2)中,像素点(x,y)表示第一衰减区域中的任意一个像素点,x0表示拼缝线中像素点的横坐标,且横坐标x0与横坐标x对应同一行,即x表示第y行的第x个像素点,x0表示第y行的第x0个像素点。显然,abs(x–x0)表示像素点(x,y)与拼缝线之间的距离,abs表示绝对值。
max_off表示第一衰减区域的尺寸,即第一衰减区域的宽度值。k表示第一衰减区域对应的衰减速度值,是一个已配置的经验值,如2、3、4等。alphax,y表示像素点(x,y)对应的衰减程度值。Tx,y^k表示Tx,y的k次方,Tx,y是一个中间变量,用于表示abs(x–x0)/max_off,即由abs(x–x0)和max_off确定。
综上所述,针对第一衰减区域中每个像素点(x,y),在获知第一衰减区域的尺寸max_off、第一衰减区域对应的衰减速度值k、像素点(x,y)与拼缝线之间的距离abs(x–x0)后,就可以基于公式(1)和公式(2)确定像素点(x,y)对应的衰减程度值alphax,y。从公式(1)和公式(2)可以看出,衰减程度值alphax,y与尺寸max_off成正比,max_off越大,则alphax,y越大,max_off越小,则alphax,y越小。衰减程度值alphax,y与衰减速度值k成反比,k越大,则alphax,y越小,k越小,则alphax,y越大。衰减程度值alphax,y与距离abs(x–x0)成反比,abs(x–x0)越大,则alphax,y越小,abs(x–x0)越小,则alphax,y越大。
从公式(2)可以看出,衰减程度值alphax,y与衰减速度值k成反比,且衰减速度值k越大,衰减程度值alphax,y的变化速度越快,衰减速度值k越小,衰减程度值alphax,y的变化速度越慢。比如说,alphax,y的取值范围是0-1,alphax,y的最大值为1,alphax,y的最小值为0,alphax,y从1到0变化。显然,在k大于1时,若k越大,alphax,y的变化速度越快,k越小,alphax,y的变化速度越慢。
当然,公式(1)和公式(2)只是确定衰减程度值的示例,对此衰减程度值的确定方式不做限制,只要能够基于第一衰减区域的尺寸、第一衰减区域对应的衰减速度值和像素点与拼缝线之间的距离,确定衰减程度值即可。
步骤S12、针对该第一衰减区域中每个像素点,基于该像素点对应的衰减程度值确定该像素点对应的目标衰减因子。比如说,先获取与该像素点对应的最大衰减因子,并基于该衰减程度值和该最大衰减因子,确定该像素点对应的目标衰减因子,即,得到第一衰减区域中每个像素点对应的目标衰减因子。
示例性的,获取与该像素点对应的最大衰减因子,可以包括但不限于:
获取与该像素点对应的已配置的最大衰减因子,比如说,预先配置一个衰减因子,将该衰减因子作为第一衰减区域中每个像素点对应的最大衰减因子。
或者,基于第一拼接区域和第二拼接区域确定拼缝线对应的初始比例因子,并对该初始比例因子进行滤波,得到该拼缝线对应的目标比例因子。然后,可以基于该目标比例因子确定与该像素点对应的最大衰减因子。
在一种可能的实施方式中,在步骤S12中,针对第一衰减区域中的每个像素点,可以采用如下步骤确定该像素点对应的目标衰减因子:
步骤S121、基于第一拼接区域和第二拼接区域确定拼缝线对应的初始比例因子,比如说,可以采用公式(3)确定拼缝线对应的初始比例因子Rx0,y。
Rx0,y=(Px0+1,y+Px0+2,y+…Px0+n,y+1)/(Px0-1,y+Px0-2,y+…Px0-n,y+1) 公式(3)
比如说,拼缝线中的像素点记为(x0,y),而像素点(x0,y)对应的初始比例因子记为Rx0,y。x0是拼缝线中像素点的横坐标,拼缝线中所有像素点的横坐标相同,均为x0,y是拼缝线中像素点的纵坐标,拼缝线中所有像素点的纵坐标不同,依次为1,2…。参见图3所示,拼缝线包括像素点c1-像素点c8,像素点c1为(x0,1),像素点c2为(x0,2),…,像素点c8为(x0,8)。
在公式(3)中,像素点(x0+1,y)表示像素点(x0,y)右侧的第一个像素点,Px0+1,y表示像素点(x0+1,y)的像素值,像素点(x0+2,y)表示像素点(x0,y)右侧的第二个像素点,Px0+2,y表示像素点(x0+2,y)的像素值,…,像素点(x0+n,y)表示像素点(x0,y)右侧的第n个像素点,Px0+n,y表示像素点(x0+n,y)的像素值。显然,关于像素点(x0,y)右侧的像素点,均是第二拼接区域中的像素点。
在公式(3)中,像素点(x0-1,y)表示像素点(x0,y)左侧的第一个像素点,Px0-1,y表示像素点(x0-1,y)的像素值,像素点(x0-2,y)表示像素点(x0,y)左侧的第二个像素点,Px0-2,y表示像素点(x0-2,y)的像素值,…,像素点(x0-n,y)表示像素点(x0,y)左侧的第n个像素点,Px0-n,y表示像素点(x0-n,y)的像素值。显然,关于像素点(x0,y)左侧的像素点,均是第一拼接区域中的像素点。
综上所述,可以基于第一拼接区域中像素点的像素值和第二拼接区域中像素点的像素值,确定拼缝线中像素点(x0,y)对应的初始比例因子。当然,公式(3)只是示例,对此确定方式不做限制,只要能够确定初始比例因子即可。
参见图3所示,若y为1,则采用公式(3)确定像素点c1对应的初始比例因子,若y为2,则采用公式(3)确定像素点c2对应的初始比例因子,以此类推,可以采用公式(3)确定拼缝线中每个像素点对应的初始比例因子。
在公式(3)中,对于拼缝线中任意一个像素点(即任意一个垂直分量y),选取拼缝线左侧的n个像素点和拼缝线右侧的n个像素点,确定初始比例因子Rx0,y,Rx0,y为第y行的初始比例因子,n可以小于x0,x0是拼缝线中像素点的横坐标。公式(3)中加1是为了防止除零和初始比例因子为0。
步骤S122、对初始比例因子进行滤波,得到拼缝线对应的目标比例因子。
比如说,针对拼缝线中的像素点(x0,y),在得到像素点(x0,y)对应的初始比例因子Rx0,y后,可以将该初始比例因子Rx0,y确定为像素点(x0,y)对应的目标比例因子,或者,对初始比例因子Rx0,y进行滤波,得到像素点(x0,y)对应的目标比例因子。比如说,基于像素点(x0,y)上侧的m个像素点(均位于拼缝线)对应的初始比例因子和像素点(x0,y)下侧的m个像素点(均位于拼缝线)对应的初始比例因子,对像素点(x0,y)对应的初始比例因子Rx0,y进行滤波,得到像素点(x0,y)对应的目标比例因子Tx0,y。例如,可以将上侧的m个像素点对应的初始比例因子、下侧的m个像素点对应的初始比例因子、以及初始比例因子Rx0,y的平均值,确定为像素点(x0,y)对应的目标比例因子Tx0,y。
m为平滑半径,可以根据经验配置,如1、2、3等,后续以m为1为例。
参见图3所示,拼缝线可以包括像素点c1-像素点c8,像素点c1为(x0,1),像素点c2为(x0,2),…,像素点c8为(x0,8)。在对像素点c1对应的初始比例因子Rx0,1进行滤波时,像素点c1上侧没有像素点,像素点c1下侧的m个(即1个)像素点为像素点c2,因此,可以确定初始比例因子Rx0,1和初始比例因子Rx0,2的平均值,而该平均值就是像素点(x0,1)对应的目标比例因子Tx0,1。
同理,在对像素点c2对应的初始比例因子Rx0,2进行滤波时,像素点c2上侧的m个像素点为像素点c1,而像素点c2下侧的m个像素点为像素点c3,因此,可以确定初始比例因子Rx0,1、初始比例因子Rx0,2和初始比例因子Rx0,3的平均值,而该平均值就是像素点(x0,2)对应的目标比例因子Tx0,2。
以此类推,可以得到拼缝线中每个像素点对应的目标比例因子。
综上所述,针对拼缝线中像素点(x0,y),可以对像素点(x0,y)对应的初始比例因子Rx0,y进行平滑滤波,得到像素点(x0,y)对应的目标比例因子Tx0,y。
步骤S123、针对第一衰减区域中每个像素点(x,y),基于目标比例因子确定与该像素点(x,y)对应的最大衰减因子。比如说,基于像素点(x,y)的纵坐标,从拼缝线中确定与该纵坐标相同的像素点(x0,y),并基于像素点(x0,y)对应的目标比例因子Tx0,y确定与该像素点(x,y)对应的最大衰减因子。
比如说,针对第一衰减区域中每个像素点(x,1),即第一衰减区域中y为1的所有像素点,基于像素点(x0,1)对应的目标比例因子Tx0,1确定像素点(x,1)对应的最大衰减因子。针对第一衰减区域中每个像素点(x,2),基于像素点(x0,2)对应的目标比例因子Tx0,2确定像素点(x,2)对应的最大衰减因子,以此类推。
示例性的,基于像素点(x0,y)对应的目标比例因子Tx0,y确定与像素点(x,y)对应的最大衰减因子,可以包括但不限于如下方式:采用如下公式确定像素点(x,y)对应的最大衰减因子LDivx,y:LDivx,y=(1+Tx0,y)/2。当然,上述公式只是示例,对此确定方式不做限制。需要注意的是,针对第一衰减区域中y为1的所有像素点,其最大衰减因子相同,均为LDivx,1,针对第一衰减区域中y为2的所有像素点,其最大衰减因子相同,均为LDivx,2,以此类推。
步骤S124、针对第一衰减区域中每个像素点(x,y),基于像素点(x,y)对应的衰减程度值和像素点(x,y)对应的最大衰减因子,确定像素点(x,y)对应的目标衰减因子。比如说,可以采用公式(4)确定目标衰减因子LSx,y。
LSx,y=1–alphax,y+LDivx,y*alphax,y 公式(4)
alphax,y表示像素点(x,y)对应的衰减程度值,确定方式参见步骤S11,LDivx,y表示像素点(x,y)对应的最大衰减因子,确定方式参见步骤S121-步骤S123,在此不再重复赘述。LSx,y表示像素点(x,y)对应的目标衰减因子。
至此,步骤S12中,得到第一衰减区域中每个像素点对应的目标衰减因子。
步骤S13、针对第一衰减区域中每个像素点,基于该像素点对应的目标衰减因子和该像素点的原始像素值,确定该像素点的目标像素值。比如说,可以基于该像素点对应的目标衰减因子与该像素点的原始像素值的乘积,确定该像素点的目标像素值,例如,可以通过如下公式(5)确定目标像素值。
LTx,y=LPx,y*LSx,y 公式(5)
在公式(5)中,LPx,y表示像素点(x,y)的原始像素值,LSx,y表示像素点(x,y)对应的目标衰减因子,LTx,y表示像素点(x,y)的目标像素值。
步骤S14、基于第一衰减区域中每个像素点的目标像素值生成衰减处理后的第一拼接区域,也就是说,针对拼接图像中的第一拼接区域,是衰减处理后的第一拼接区域。在衰减处理后的第一拼接区域中,可以包括衰减处理后的第一衰减区域和未衰减区域,针对衰减处理后的第一衰减区域,由第一衰减区域中每个像素点的目标像素值组成。针对未衰减区域,由未衰减区域中每个像素点的原始像素值组成,即未衰减区域中每个像素点的像素值保持不变。
至此,对拼接图像中的第一拼接区域进行衰减处理,即拼接图像中包括的是衰减处理后的第一拼接区域,而不是衰减处理前的第一拼接区域。
步骤103,针对拼接图像中的第二拼接区域(即位于拼缝线右侧的拼接区域),从该第二拼接区域中确定第二衰减区域,基于该第二衰减区域的尺寸、该第二衰减区域对应的已配置的衰减速度值和该第二衰减区域中像素点与拼缝线之间的距离,对第二衰减区域进行衰减处理,得到衰减处理后的第二拼接区域。
示例性的,针对拼接图像中的第二拼接区域,可以将第二拼接区域中与拼缝线相邻的M个像素点作为第二衰减区域,继而确定出第二衰减区域。
示例性的,第二衰减区域的尺寸可以包括第二衰减区域的宽度值和/或第二衰减区域的高度值。在第二衰减区域位于拼缝线的左侧或右侧时,该尺寸为宽度值,在第二衰减区域位于拼缝线的上侧或下侧时,该尺寸为高度值。
第二衰减区域对应的衰减速度值表示衰减程度值的变化速度,且第二衰减区域对应的衰减速度值是已配置的经验值。第二衰减区域中像素点与拼缝线之间的距离,表示该像素点与拼缝线之间间隔的像素点数量。
示例性的,可以采用如下步骤对第二衰减区域进行衰减处理:
步骤S21、针对该第二衰减区域中每个像素点,基于该第二衰减区域的尺寸、该第二衰减区域对应的衰减速度值和该像素点与拼缝线之间的距离,确定该像素点对应的衰减程度值。示例性的,该衰减程度值与该尺寸可以成正比,该衰减程度值与该衰减速度值可以成反比,该衰减程度值与该距离可以成反比。
其中,步骤S21的实现过程与步骤S11的实现过程类似,在此不再赘述。
步骤S22、针对该第二衰减区域中每个像素点,基于该像素点对应的衰减程度值确定该像素点对应的目标衰减因子。比如说,先获取与该像素点对应的最大衰减因子,并基于该衰减程度值和该最大衰减因子,确定该像素点对应的目标衰减因子,从而得到第二衰减区域中每个像素点对应的目标衰减因子。
其中,获取最大衰减因子的过程,可以参见步骤S12,在此不再赘述。
在一种可能的实施方式中,在步骤S22中,针对第二衰减区域中的每个像素点,可以采用如下步骤确定该像素点对应的目标衰减因子:
步骤S221、基于第一拼接区域和第二拼接区域确定拼缝线对应的初始比例因子,步骤S221的实现过程与步骤S121的实现过程相同,在此不再赘述。
步骤S222、对初始比例因子进行滤波,得到拼缝线对应的目标比例因子。
其中,步骤S222的实现过程与步骤S122的实现过程相同,在此不再赘述。
步骤S223、针对第二衰减区域中每个像素点(x,y),基于目标比例因子确定与该像素点(x,y)对应的最大衰减因子。比如说,基于拼缝线中像素点(x0,y)对应的目标比例因子Tx0,y确定与像素点(x,y)对应的最大衰减因子。如采用如下公式确定像素点(x,y)对应的最大衰减因子RDivx,y:RDivx,y=(1+1/Tx0,y)/2。
其中,步骤S223的实现过程与步骤S123的实现过程类似,只是将第一衰减区域中像素点(x,y)对应的最大衰减因子LDivx,y替换为第二衰减区域中像素点(x,y)对应的最大衰减因子RDivx,y,在此不再重复赘述。
步骤S224、针对第二衰减区域中每个像素点(x,y),基于像素点(x,y)对应的衰减程度值和像素点(x,y)对应的最大衰减因子,确定像素点(x,y)对应的目标衰减因子。如采用如下公式确定目标衰减因子RSx,y:RSx,y=1-alphax,y+RDivx,y*alphax,y。其中,步骤S224的实现过程与步骤S124的实现过程类似,只是将第一衰减区域中像素点(x,y)对应的目标衰减因子LSx,y替换为第二衰减区域中像素点(x,y)对应的目标衰减因子RSx,y,在此不再重复赘述。
步骤S23、针对第二衰减区域中每个像素点,基于该像素点对应的目标衰减因子和该像素点的原始像素值,确定该像素点的目标像素值。
比如说,可以通过如下公式确定目标像素值:RTx,y=RPx,y*RSx,y,RPx,y表示像素点(x,y)的原始像素值,RTx,y表示像素点(x,y)的目标像素值。
步骤S24、基于第二衰减区域中每个像素点的目标像素值生成衰减处理后的第二拼接区域,也就是说,针对拼接图像中的第二拼接区域,是衰减处理后的第二拼接区域。在衰减处理后的第二拼接区域中,可以包括衰减处理后的第二衰减区域和未衰减区域,针对衰减处理后的第二衰减区域,由第二衰减区域中每个像素点的目标像素值组成。针对未衰减区域,由未衰减区域中每个像素点的原始像素值组成,即未衰减区域中每个像素点的像素值保持不变。
至此,对拼接图像中的第二拼接区域进行衰减处理,即拼接图像中包括的是衰减处理后的第二拼接区域,而不是衰减处理前的第二拼接区域。
步骤104,基于衰减处理后的第一拼接区域和衰减处理后的第二拼接区域生成目标图像,该目标图像包括拼缝线,该拼缝线的一侧为衰减处理后的第一拼接区域,该拼缝线的另一侧为衰减处理后的第二拼接区域。
比如说,在得到拼接图像后,可以对拼接图像中的第一拼接区域进行衰减处理,得到衰减处理后的第一拼接区域,对拼接图像中的第二拼接区域进行衰减处理,得到衰减处理后的第二拼接区域。至此,可以将衰减处理后的第一拼接区域、拼接图像中的拼缝线、衰减处理后的第二拼接区域组成一帧目标图像,目标图像是全景图像或者高分辨率图像(即超广视角图像)。
示例性的,上述执行顺序只是为了方便描述给出的示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。
由以上技术方案可见,本申请实施例中,在对第一拼接区域中的第一衰减区域和第二拼接区域中的第二衰减区域进行衰减处理后,可以将衰减处理后的第一拼接区域和衰减处理后的第二拼接区域拼接成目标图像(如全景图像或高分辨率图像),从而将存在较大差异(如色彩差异和/或亮度差异)的第一原始图像和第二原始图像拼接成目标图像,目标图像中不会存在较大的拼缝痕迹,能够改善色彩差异和亮度差异,图像拼接效果较好,实现目标图像的平滑过渡。
在一种可能的实施方式中,第一拼接区域可以包括第一低频分量和第一高频分量,第二拼接区域可以包括第二低频分量和第二高频分量,拼接图像可以包括第一拼接图像和第二拼接图像,基于此,参见图4所示,为图像处理方法的另一个流程示意图,该方法可以包括以下步骤:
步骤401,获取第一拼接图像和第二拼接图像,第一拼接图像的拼缝线的一侧为第一低频分量,该拼缝线的另一侧为第二低频分量,第二拼接图像的拼缝线的一侧为第一高频分量,该拼缝线的另一侧为第二高频分量。
示例性的,步骤401的实现过程可以与步骤101的实现过程类似。
比如说,可以获取第一拼接区域中的第一低频分量和第一高频分量,并获取第二拼接区域中的第二低频分量和第二高频分量。为了区分方便,可以将第一拼接区域中的低频分量记为第一低频分量(也可以称为第一基础层图像或者第一模糊层图像),可以将第一拼接区域中的高频分量记为第一高频分量(也可以称为第一细节层图像)。以及,可以将第二拼接区域中的低频分量记为第二低频分量(也可以称为第二基础层图像或者第二模糊层图像),可以将第二拼接区域中的高频分量记为第二高频分量(也可以称为第二细节层图像)。
示例性的,在得到第一拼接区域后,可以对该第一拼接区域进行低通滤波处理,得到该第一拼接区域中的第一低频分量。然后,基于该第一拼接区域和该第一低频分量确定该第一拼接区域中的第一高频分量,比如说,将该第一拼接区域与该第一低频分量确之间的差值,确定为该第一高频分量。
示例性的,在得到第二拼接区域后,可以对该第二拼接区域进行低通滤波处理,得到该第二拼接区域中的第二低频分量。然后,基于该第二拼接区域和该第二低频分量确定该第二拼接区域中的第二高频分量,比如说,将该第二拼接区域与该第二低频分量确之间的差值,确定为该第二高频分量。
在一种可能的实施方式中,由于高频是引起重影的主因,低频是引起亮度差和色度差的主因,因此,可以对第一拼接区域和第二拼接区域分别进行分频处理,得到第一拼接区域中的第一低频分量和第一高频分量、第二拼接区域中的第二低频分量和第二高频分量,然后,对第一低频分量和第二低频分量进行融合,对第一高频分量和第二高频分量进行融合,从而对低频分量和高频分量进行有区别的融合,能够在改善亮度差和色度差的同时,使得图像不产生重影。
在一种可能的实施方式中,可以将第一低频分量和第二低频分量拼接成第一拼接图像,该第一拼接图像包括第一拼缝线(即第一拼接图像中的拼缝线),该第一拼缝线的一侧为第一低频分量,该第一拼缝线的另一侧为第二低频分量。
以及,可以将第一高频分量和第二高频分量拼接成第二拼接图像,该第二拼接图像包括第二拼缝线(即第二拼接图像中的拼缝线),该第二拼缝线的一侧为第一高频分量,该第二拼缝线的另一侧为第二高频分量。
步骤402,针对第一拼接图像中的第一低频分量,从该第一低频分量中确定第一衰减区域(后续记为第一衰减区域E1),基于第一衰减区域E1的尺寸(后续记为第一尺寸)、第一衰减区域E1对应的已配置的衰减速度值(后续记为第一衰减速度值)和第一衰减区域E1中像素点与第一拼缝线之间的距离,对第一衰减区域E1进行衰减处理,得到衰减处理后的第一低频分量。
示例性的,步骤402与步骤102类似,将步骤102中的第一拼接区域替换为第一低频分量,且第一衰减区域记为E1即可,在此不再重复赘述。
步骤403,针对第二拼接图像中的第一高频分量,从该第一高频分量中确定第一衰减区域(后续记为第一衰减区域E2),基于第一衰减区域E2的尺寸(后续记为第二尺寸)、第一衰减区域E2对应的已配置的衰减速度值(后续记为第二衰减速度值)和第一衰减区域E2中像素点与第二拼缝线之间的距离,对第一衰减区域E2进行衰减处理,得到衰减处理后的第一高频分量。
示例性的,步骤403与步骤102类似,将步骤102中的第一拼接区域替换为第一高频分量,且第一衰减区域记为E2即可,在此不再重复赘述。
步骤404,针对第一拼接图像中的第二低频分量,从该第二低频分量中确定第二衰减区域(后续记为第二衰减区域E3),基于第二衰减区域E3的尺寸(后续记为第三尺寸)、第二衰减区域E3对应的已配置的衰减速度值(后续记为第三衰减速度值)和第二衰减区域E3中像素点与第一拼缝线之间的距离,对第二衰减区域E3进行衰减处理,得到衰减处理后的第二低频分量。
示例性的,步骤404与步骤103类似,将步骤103中的第二拼接区域替换为第二低频分量,且第二衰减区域记为E3即可,在此不再重复赘述。
步骤405,针对第二拼接图像中的第二高频分量,从该第二高频分量中确定第二衰减区域(后续记为第二衰减区域E4),基于第二衰减区域E4的尺寸(后续记为第四尺寸)、第二衰减区域E4对应的已配置的衰减速度值(后续记为第四衰减速度值)和第二衰减区域E4中像素点与第二拼缝线之间的距离,对第二衰减区域E4进行衰减处理,得到衰减处理后的第二高频分量。
示例性的,步骤405与步骤103类似,将步骤103中的第二拼接区域替换为第二高频分量,且第二衰减区域记为E4即可,在此不再重复赘述。
在上述实施例中,参见步骤402和步骤403,第一衰减区域E1的第一尺寸可以大于第一衰减区域E2的第二尺寸,且第一衰减区域E1对应的第一衰减速度值小于或者等于第一衰减区域E2对应的第二衰减速度值。或者,第一衰减区域E1的第一尺寸可以等于第一衰减区域E2的第二尺寸,且第一衰减区域E1对应的第一衰减速度值小于第一衰减区域E2对应的第二衰减速度值。
采用上述设计的原因是:参见公式(1)、公式(2)和公式(4)所示,
针对低频分量来说,第一尺寸越大时,alphax,y越大,目标衰减因子LSx,y越小(LDivx,y为大于0且小于1的数值时,通过公式(4)可以得出该结论),即从第一衰减区域右侧像素点向左侧像素点衰减时,目标衰减因子依次变大,但是目标衰减因子的变化速度较小,使得低频分量慢速衰减(即被衰减的像素点的数量较多),这些像素点能够平滑过渡,更多的体现第一拼接区域的低频特征。针对高频分量来说,第二尺寸越小时,alphax,y越小,目标衰减因子LSx,y越大,即从第一衰减区域右侧像素点向左侧像素点衰减时,目标衰减因子依次变大,且目标衰减因子的变化速度较大,使得高频分量快速衰减(即被衰减的像素点数量很少),能够保留第一拼接区域的高频特征,但是高频特征快速变化,不会影响视觉体验。综上所述,第一尺寸可以较大,而第二尺寸可以较小,也就是说,第一衰减区域E1的第一尺寸可以大于第一衰减区域E2的第二尺寸。
针对低频分量来说,第一衰减速度值越小时,alphax,y越大,目标衰减因子LSx,y越小,即从第一衰减区域右侧像素点向左侧像素点衰减时,目标衰减因子依次变大,但是目标衰减因子的变化速度较小,使得低频分量慢速衰减,这些像素点能够平滑过渡,更多的体现第一拼接区域的低频特征。针对高频分量来说,第二衰减速度值越大时,alphax,y越小,目标衰减因子LSx,y越大,即从第一衰减区域右侧像素点向左侧像素点衰减时,目标衰减因子依次变大,且目标衰减因子的变化速度较大,使得高频分量快速衰减,能够保留第一拼接区域的高频特征,但是高频特征快速变化,不会影响视觉体验。综上所述,第一衰减速度值可以较小,而第二衰减速度值可以较大,也就是说,第一衰减区域E1对应的第一衰减速度值可以小于第一衰减区域E2对应的第二衰减速度值。
在上述实施例中,参见步骤404和步骤405,第二衰减区域E3的第三尺寸可以大于第二衰减区域E4的第四尺寸,且第二衰减区域E3对应的第三衰减速度值小于或者等于第二衰减区域E4对应的第四衰减速度值。或者,第二衰减区域E3的第三尺寸可以等于第二衰减区域E4的第四尺寸,且第二衰减区域E3对应的第三衰减速度值小于第二衰减区域E4对应的第四衰减速度值。
同理,采用上述设计的原因是:针对第二拼接区域的低频分量来说,从第二衰减区域左侧像素点向右侧像素点衰减时,目标衰减因子依次变大,但是目标衰减因子的变化速度较小,使得低频分量慢速衰减,这些像素点能够平滑过渡,更多的体现第二拼接区域的低频特征。针对第二拼接区域的高频分量来说,从第二衰减区域左侧像素点向右侧像素点衰减时,目标衰减因子依次变大,且目标衰减因子的变化速度较大,使得高频分量快速衰减,能够保留第一拼接区域的高频特征,但是高频特征快速变化,不会影响视觉体验。
在一种可能的实施方式中,针对上述各属性值,第一衰减区域E1的第一尺寸可以等于第二衰减区域E3的第三尺寸,第一衰减区域E1对应的第一衰减速度值可以等于第二衰减区域E3对应的第三衰减速度值。以及,第一衰减区域E2的第二尺寸可以等于第二衰减区域E4的第四尺寸,第一衰减区域E2对应的第二衰减速度值可以等于第二衰减区域E4对应的第四衰减速度值。
步骤406,基于衰减处理后的第一低频分量和衰减处理后的第二低频分量得到低频拼接图像,该低频拼接图像的拼缝线的一侧为对第一低频分量的第一衰减区域进行衰减处理后的低频分量(即衰减处理后的第一低频分量),该拼缝线的另一侧为对第二低频分量的第二衰减区域进行衰减处理后的低频分量(即衰减处理后的第二低频分量)。步骤406与步骤104类似,在此不再重复赘述。
步骤407,基于衰减处理后的第一高频分量和衰减处理后的第二高频分量得到高频拼接图像,该高频拼接图像的拼缝线的一侧为对第一高频分量的第一衰减区域进行衰减处理后的高频分量(即衰减处理后的第一高频分量),该拼缝线的另一侧为对第二高频分量的第二衰减区域进行衰减处理后的高频分量(即衰减处理后的第二高频分量)。步骤407与步骤104类似,在此不再重复赘述。
步骤408,对低频拼接图像和高频拼接图像进行融合,得到目标图像。
比如说,对低频拼接图像中的衰减处理后的第一低频分量与高频拼接图像中的衰减处理后的第一高频分量进行融合,得到衰减处理后的第一拼接区域。对低频拼接图像中的衰减处理后的第二低频分量与高频拼接图像中的衰减处理后的第二高频分量进行融合,得到衰减处理后的第二拼接区域。对低频拼接图像中的拼缝线与高频拼接图像中的拼缝线进行融合,得到融合后的拼缝线。至此,可以得到目标图像,该目标图像可以包括融合后的拼缝线,该拼缝线的一侧为衰减处理后的第一拼接区域,该拼缝线的另一侧为衰减处理后的第二拼接区域,目标图像是全景图像或者高分辨率图像(即超广视角图像)。
在上述实施例中,像素点的像素值可以为亮度值,或者,像素点的像素值可以为色度值,或者,像素点的像素值可以为亮度值和色度值。
由以上技术方案可见,本申请实施例中,通过滤波对图像进行分频,分别对高频和低频进行不同区域大小的衰减因子平滑,从而实现一种拼接图像的无重影平滑方法,能够在重叠区域很小或者没有重叠区域的情况下实现拼接图像的平滑,能够消除色差和亮差,能够过渡配准错误导致的拼接痕迹。
基于与上述方法同样的申请构思,本申请实施例中提出另一种图像处理方法,该方法可以包括:获取一张拼接图像,对该拼接图像中至少一行像素点执行平滑处理。获取拼接图像的过程可以参见步骤101,且以左右拼接为例,即可以对拼接图像中的每行像素点执行平滑处理,具体平滑处理过程可以包括:
步骤S51、在一行像素点中选择一个像素点作为拼缝点。
示例性的,拼缝点可以是:在拼接图像存在重叠区域时,选择重叠区域的左边界点或右边界点作为该拼缝点;以及,在拼接图像不存在重叠区域时,选择位于拼接图像中间区域的一个像素点作为该拼缝点。
步骤S52、响应于拼缝点,基于目标衰减因子对除了拼缝点以外的多个其它像素点执行平滑处理,生成处理后的多个其它像素点。示例性的,目标衰减因子被限定为以其它像素点与拼缝点的横向坐标差值、最大衰减因子为参变量的函数运算得到,以使最大衰减因子小于1时,多个其它像素点执行平滑处理后的像素值与执行平滑处理前的像素值之间的变化量,随着横向坐标差值的增大而增大,且最大衰减因子大于1时,多个其它像素点执行平滑处理后的像素值与执行平滑处理前的像素值之间的变化量,随着横向坐标差值的增大而减少。
在上述实施例中,拼缝点左侧的多个其它像素点对应同一个左侧最大衰减因子,该左侧最大衰减因子被限定为以预设平滑半径、拼缝点左侧多个其它像素点的像素值总和、拼缝点右侧多个其它像素点的像素值总和为参变量的函数运算得到。拼缝点右侧的多个其它像素点对应同一个右侧最大衰减因子,该右侧最大衰减因子被限定为以预设平滑半径、拼缝点左侧多个其它像素点的像素值总和、拼缝点右侧多个其它像素点的像素值总和为参变量的函数运算得到。
示例性的,当左侧最大衰减因子大于1时,右侧最大衰减因子小于1。或者,当左侧最大衰减因子小于1时,右侧最大衰减因子大于1。
在上述实施例中,当左侧最大衰减因子大于1,右侧最大衰减因子小于1时,拼缝点左侧的多个其它像素点对应的多个目标衰减因子,被限定为随着与拼缝点的距离由小到大而呈现逐步减小,以使拼缝点左侧的多个其它像素点的像素值的衰减比例逐步向左减小到1;以及,拼缝点右侧的多个其它像素点对应的多个目标衰减因子,被限定为随着与拼缝点的距离由小到大而呈现逐步增加,以使拼缝点右侧的多个其它像素点的像素值的衰减比例逐步向右增加到1。
在上述实施例中,当左侧最大衰减因子小于1,右侧最大衰减因子大于1时,拼缝点左侧的多个其它像素点对应的多个目标衰减因子,被限定为随着与拼缝点的距离由小到大而呈现逐步增加,以使拼缝点左侧的多个其它像素点的像素值的衰减比例逐步向左增加到1;以及,拼缝点右侧的多个其它像素点对应的多个目标衰减因子,被限定为随着与拼缝点的距离由小到大而呈现逐步减小,以使拼缝点右侧的多个其它像素点的像素值的衰减比例逐步向右减小到1。
在上述实施例中,像素值可以为亮度值和/或色度值。
在一种可能的实施方式中,参见公式(5)所示,针对拼缝点左侧第一衰减区域中每个像素点,可以基于该像素点的目标衰减因子LSx,y对该像素点执行平滑处理,生成处理后的像素点,也就是说,可以对拼缝点左侧第一衰减区域中多个像素点执行平滑处理,生成处理后的多个像素点。同理,可以对拼缝点右侧第一衰减区域中多个像素点执行平滑处理,生成处理后的多个像素点。
参见公式(4)所示,像素点的目标衰减因子LSx,y由该像素点的alphax,y(即衰减程度值)和该像素点的LDivx,y(即最大衰减因子)确定,参见公式(1)和公式(2)所示,alphax,y由该像素点与拼缝点的横向坐标差值(x–x0)确定,因此,像素点的目标衰减因子LSx,y被限定为以该像素点与拼缝点的横向坐标差值(x–x0)、最大衰减因子LDivx,y为参变量的函数运算得到。
示例性的,针对拼缝点左侧的多个像素点,这些像素点对应同一个最大衰减因子,即左侧最大衰减因子,记为LDivx,y,针对拼缝点右侧的多个像素点,这些像素点对应同一个最大衰减因子,即右侧最大衰减因子,记为RDivx,y。
针对拼缝点左侧的多个像素点对应的左侧最大衰减因子LDivx,y,参见步骤S121-步骤S123,LDivx,y由公式LDivx,y=(1+Tx0,y)/2确定,而Tx0,y与预设平滑半径m、拼缝点左侧多个像素点的像素值总和(Px0-1,y+Px0-2,y+…Px0-n,y)、拼缝点右侧多个像素点的像素值总和(Px0+1,y+Px0+2,y+…Px0+n,y)确定,因此,LDivx,y被限定为以预设平滑半径、拼缝点左侧多个其它像素点的像素值总和、拼缝点右侧多个其它像素点的像素值总和为参变量的函数运算得到。
针对拼缝点右侧的多个像素点对应的右侧最大衰减因子RDivx,y,参见步骤S221-步骤S223,RDivx,y由公式RDivx,y=(1+1/Tx0,y)/2确定,而Tx0,y与预设平滑半径m、拼缝点左侧多个像素点的像素值总和(Px0-1,y+Px0-2,y+…Px0-n,y)、拼缝点右侧多个像素点的像素值总和(Px0+1,y+Px0+2,y+…Px0+n,y)确定,因此,RDivx,y被限定为以预设平滑半径、拼缝点左侧多个其它像素点的像素值总和、拼缝点右侧多个其它像素点的像素值总和为参变量的函数运算得到。
示例性的,从上述公式LDivx,y=(1+Tx0,y)/2和RDivx,y=(1+1/Tx0,y)/2可以看出,若Tx0,y大于1,则LDivx,y大于1,且RDivx,y小于1;或者,若Tx0,y小于1,则LDivx,y小于1,且RDivx,y大于1。综上所述,当左侧最大衰减因子LDivx,y大于1时,右侧最大衰减因子RDivx,y小于1。或者,当左侧最大衰减因子LDivx,y小于1时,右侧最大衰减因子RDivx,y大于1。
示例性的,当左侧最大衰减因子LDivx,y大于1时,参见公式(4)所示,LSx,y与alphax,y成正比,参见公式(1)和公式(2)所示,alphax,y与横向坐标差值(x–x0)成反比,因此,LSx,y与横向坐标差值(x–x0)成反比。拼缝点左侧的多个像素点对应的多个目标衰减因子,被限定为随着与拼缝点的距离由小到大而呈现逐步减小,拼缝点左侧的多个像素点的像素值的衰减比例逐步向左减小到1,多个像素点的像素值对应的LSx,y逐步向左减小到1,即从大到小变化。
当右侧最大衰减因子RDivx,y小于1时,由以下公式可知RSx,y=1-alphax,y+RDivx,y*alphax,y,RSx,y与alphax,y成反比,又由于alphax,y与横向坐标差值(x–x0)成反比,因此,RSx,y与横向坐标差值(x–x0)成正比。拼缝点右侧的多个像素点对应的多个目标衰减因子,被限定为随着与拼缝点的距离由小到大而呈现逐步增加,拼缝点右侧的多个像素点的像素值的衰减比例逐步向右增加到1,多个像素点的像素值对应的RSx,y逐步向右增加到1,即从小到大变化。
示例性的,当左侧最大衰减因子LDivx,y小于1时,LSx,y与alphax,y成反比,alphax,y与横向坐标差值(x–x0)成反比,因此,LSx,y与横向坐标差值(x–x0)成正比。拼缝点左侧的多个像素点对应的多个目标衰减因子,被限定为随着与拼缝点的距离由小到大而呈现逐步增加,拼缝点左侧的多个像素点的像素值的衰减比例逐步向左增加到1,即LSx,y逐步向左增加到1,即从小到大变化。
当右侧最大衰减因子RDivx,y大于1时,RSx,y与alphax,y成正比,alphax,y与横向坐标差值(x–x0)成反比,因此,RSx,y与横向坐标差值(x–x0)成反比。基于此,拼缝点右侧的多个像素点对应的多个目标衰减因子,被限定为随着与拼缝点的距离由小到大而呈现逐步减小,拼缝点右侧的多个像素点的像素值的衰减比例逐步向右减小到1,即RSx,y逐步向右减小到1,即从大到小变化。
综上可以看出,在最大衰减因子小于1时,多个像素点执行平滑处理后的像素值与执行平滑处理前的像素值之间的变化量,随着横向坐标差值的增大而增大,在最大衰减因子大于1时,多个像素点执行平滑处理后的像素值与执行平滑处理前的像素值之间的变化量,随着横向坐标差值的增大而减少。例如,左侧最大衰减因子LDivx,y大于1,右侧最大衰减因子RDivx,y小于1时,右侧多个像素点执行平滑处理后的像素值与执行平滑处理前的像素值之间的变化量,随着横向坐标差值的增大而增大,左侧多个像素点执行平滑处理后的像素值与执行平滑处理前的像素值之间的变化量,随着横向坐标差值的增大而减少。左侧最大衰减因子LDivx,y小于1,右侧最大衰减因子RDivx,y大于1时,左侧多个像素点执行平滑处理后的像素值与执行平滑处理前的像素值之间的变化量,随着横向坐标差值的增大而增大,右侧多个像素点执行平滑处理后的像素值与执行平滑处理前的像素值之间的变化量,随着横向坐标差值的增大而减少。
在上述实施例中,拼接图像可以包括基于原始拼接图像进行滤波后生成的模糊拼接图像(即第一拼接图像,第一拼接图像的拼缝线的一侧为第一低频分量,拼缝线的另一侧为第二低频分量)和基于原始拼接图像减去模糊拼接图像生成的细节拼接图像(即第二拼接图像,第二拼接图像的拼缝线的一侧为第一高频分量,拼缝线的另一侧为第二高频分量),对模糊拼接图像和细节拼接图像中至少一行像素点执行平滑处理。比如说,可以将处理后的模糊拼接图像与处理后的细节拼接图像进行相加融合,生成融合后的拼接图像。
基于与上述方法同样的申请构思,本申请实施例中提出一种图像处理装置,参见图5所示,为所述图像处理装置的结构示意图,所述装置可以包括:获取模块51,用于基于第一原始图像和第二原始图像获取拼接图像,所述拼接图像包括拼缝线,所述拼缝线的一侧为基于所述第一原始图像确定的第一拼接区域,所述拼缝线的另一侧为基于所述第二原始图像确定的第二拼接区域;处理模块52,用于从所述第一拼接区域中确定第一衰减区域,基于所述第一衰减区域的尺寸、所述第一衰减区域对应的已配置的衰减速度值和所述第一衰减区域中像素点与所述拼缝线之间的距离,对所述第一衰减区域进行衰减处理;以及,从所述第二拼接区域中确定第二衰减区域,基于所述第二衰减区域的尺寸、所述第二衰减区域对应的已配置的衰减速度值和所述第二衰减区域中像素点与所述拼缝线之间的距离,对所述第二衰减区域进行衰减处理;生成模块53,用于基于衰减处理后的第一拼接区域和衰减处理后的第二拼接区域生成目标图像,所述目标图像包括所述拼缝线,所述拼缝线的一侧为衰减处理后的第一拼接区域,所述拼缝线的另一侧为衰减处理后的第二拼接区域。
示例性的,所述处理模块52基于所述第一衰减区域的尺寸、所述第一衰减区域对应的已配置的衰减速度值和所述第一衰减区域中像素点与所述拼缝线之间的距离,对所述第一衰减区域进行衰减处理时具体用于:
针对所述第一衰减区域中每个像素点,基于所述第一衰减区域的尺寸、所述第一衰减区域对应的已配置的衰减速度值和该像素点与所述拼缝线之间的距离,确定该像素点对应的衰减程度值;其中,该衰减程度值与该尺寸成正比,该衰减程度值与该衰减速度值成反比,该衰减程度值与该距离成反比;
基于该衰减程度值确定该像素点对应的目标衰减因子,基于该目标衰减因子和该像素点的原始像素值确定该像素点的目标像素值,并基于所述第一衰减区域中每个像素点的目标像素值生成衰减处理后的第一拼接区域。
示例性的,所述第一拼接区域包括第一低频分量和第一高频分量,所述第二拼接区域包括第二低频分量和第二高频分量,所述拼接图像包括第一拼接图像和第二拼接图像,所述第一拼接图像的拼缝线的一侧为所述第一低频分量,该拼缝线的另一侧为所述第二低频分量,所述第二拼接图像的拼缝线的一侧为所述第一高频分量,该拼缝线的另一侧为所述第二高频分量;所述生成模块53基于衰减处理后的第一拼接区域和衰减处理后的第二拼接区域生成目标图像时具体用于:基于第一拼接图像生成低频拼接图像,所述低频拼接图像的拼缝线的一侧为对第一低频分量的第一衰减区域进行衰减处理后的低频分量,拼缝线的另一侧为对第二低频分量的第二衰减区域进行衰减处理后的低频分量;
基于第二拼接图像生成高频拼接图像,所述高频拼接图像的拼缝线的一侧为对第一高频分量的第一衰减区域进行衰减处理后的高频分量,拼缝线的另一侧为对第二高频分量的第二衰减区域进行衰减处理后的高频分量;
对所述低频拼接图像和所述高频拼接图像进行融合,得到所述目标图像。
基于与上述方法同样的申请构思,本申请实施例中提出一种图像处理设备,参见图6所示,所述图像处理设备可以包括:处理器61和机器可读存储介质62,所述机器可读存储介质62存储有能够被所述处理器61执行的机器可执行指令;所述处理器61用于执行机器可执行指令,以实现如下步骤:
基于第一原始图像和第二原始图像获取拼接图像,所述拼接图像包括拼缝线,所述拼缝线的一侧为基于所述第一原始图像确定的第一拼接区域,所述拼缝线的另一侧为基于所述第二原始图像确定的第二拼接区域;
从所述第一拼接区域中确定第一衰减区域,基于所述第一衰减区域的尺寸、所述第一衰减区域对应的已配置的衰减速度值和所述第一衰减区域中像素点与所述拼缝线之间的距离,对所述第一衰减区域进行衰减处理;
从所述第二拼接区域中确定第二衰减区域,基于所述第二衰减区域的尺寸、所述第二衰减区域对应的已配置的衰减速度值和所述第二衰减区域中像素点与所述拼缝线之间的距离,对所述第二衰减区域进行衰减处理;
基于衰减处理后的第一拼接区域和衰减处理后的第二拼接区域生成目标图像,所述目标图像包括所述拼缝线,所述拼缝线的一侧为衰减处理后的第一拼接区域,所述拼缝线的另一侧为衰减处理后的第二拼接区域。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的图像处理方法。
其中,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (7)
1.一种图像处理方法,其特征在于,所述方法包括:
获取由第一原始图像和第二原始图像拼接得到的拼接图像,所述拼接图像包括拼缝线,所述拼缝线的一侧为第一拼接区域,所述拼缝线的另一侧为第二拼接区域;
从所述第一拼接区域中确定与所述拼缝线相邻的第一衰减区域,从所述第二拼接区域中确定所述拼缝线相邻的第二衰减区域;
分别对所述第一衰减区域和所述第二衰减区域进行衰减处理,得到目标图像,其中,所述衰减处理的过程如下:
针对所述第一衰减区域和所述第二衰减区域中的每个区域的像素点,基于该区域的尺寸、该区域对应的已配置的衰减速度值和该区域中像素点与所述拼缝线之间的距离,确定该像素点对应的衰减程度值;其中,该衰减程度值与该尺寸成正比,该衰减程度值与该衰减速度值成反比,该衰减程度值与该距离成反比;
在所述拼缝线为垂直方向的拼缝线的情况下,从所述拼缝线中确定与该像素点纵坐标相同的第一像素点,基于该第一像素点的目标比例因子确定与该像素点对应的最大衰减因子,基于该衰减程度值和该最大衰减因子确定该像素点对应的目标衰减因子,基于该目标衰减因子和该像素点的原始像素值确定该像素点的目标像素值;
其中,所述拼缝线上的各第一像素点的目标比例因子基于以下方式确定:分别从所述拼缝线的左侧和右侧各确定与该第一像素点纵坐标相同的n个像素点,基于左侧的n个像素点的像素值与右侧的n个像素点的像素值确定该第一像素点的初始比例因子,并对所述初始比例因子进行滤波,得到该第一像素点对应的目标比例因子,其中,n为正整数,且小于该第一像素点的横坐标。
2.根据权利要求1所述的方法,其特征在于,
所述第一拼接区域包括第一低频分量和第一高频分量,所述第二拼接区域包括第二低频分量和第二高频分量,所述拼接图像包括第一拼接图像和第二拼接图像,所述第一拼接图像的拼缝线的一侧为所述第一低频分量,该拼缝线的另一侧为所述第二低频分量,所述第二拼接图像的拼缝线的一侧为所述第一高频分量,该拼缝线的另一侧为所述第二高频分量;所述基于衰减处理后的第一拼接区域和衰减处理后的第二拼接区域生成目标图像,包括:
基于第一拼接图像生成低频拼接图像,所述低频拼接图像的拼缝线的一侧为对第一低频分量的第一衰减区域进行衰减处理后的低频分量,拼缝线的另一侧为对第二低频分量的第二衰减区域进行衰减处理后的低频分量;
基于第二拼接图像生成高频拼接图像,所述高频拼接图像的拼缝线的一侧为对第一高频分量的第一衰减区域进行衰减处理后的高频分量,拼缝线的另一侧为对第二高频分量的第二衰减区域进行衰减处理后的高频分量;
对所述低频拼接图像和所述高频拼接图像进行融合,得到所述目标图像。
3.根据权利要求1-2任一项所述的方法,其特征在于,
在所述第一原始图像和所述第二原始图像不具有重叠区域时,将所述拼接图像中位于中间区域的一条边界线作为所述拼缝线,所述第一拼接区域为所述第一原始图像,所述第二拼接区域为所述第二原始图像;
在所述第一原始图像和所述第二原始图像具有重叠区域时,将所述拼接图像中位于所述重叠区域的一条边界线作为所述拼缝线,所述第一拼接区域为第一原始图像,所述第二拼接区域为第二原始图像的局部;或,所述第一拼接区域为第一原始图像的局部,所述第二拼接区域为第二原始图像,或,所述第一拼接区域为第一原始图像的局部,所述第二拼接区域为第二原始图像的局部;
其中,所述拼接图像中的拼缝线的获取方式,包括:
基于所述第一拼接区域中与拼缝线相邻的N个像素点的像素值和所述第二拼接区域中与拼缝线相邻的N个像素点的像素值,确定拼缝线中每个像素点的像素值,基于拼缝线中每个像素点的像素值确定拼缝线。
4.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取由第一原始图像和第二原始图像拼接得到的拼接图像,所述拼接图像包括拼缝线,所述拼缝线的一侧为第一拼接区域,所述拼缝线的另一侧为第二拼接区域;
处理模块,用于从所述第一拼接区域中确定与所述拼缝线相邻的第一衰减区域,从所述第二拼接区域中确定所述拼缝线相邻的第二衰减区域;分别对所述第一衰减区域和所述第二衰减区域进行衰减处理,得到目标图像,其中,所述衰减处理的过程如下:
针对所述第一衰减区域和所述第二衰减区域中的每个区域的像素点,基于该区域的尺寸、该区域对应的已配置的衰减速度值和该区域中像素点与所述拼缝线之间的距离,确定该像素点对应的衰减程度值;其中,该衰减程度值与该尺寸成正比,该衰减程度值与该衰减速度值成反比,该衰减程度值与该距离成反比;
在所述拼缝线为垂直方向的拼缝线的情况下,从所述拼缝线中确定与该像素点纵坐标相同的第一像素点,基于该第一像素点的目标比例因子确定与该像素点对应的最大衰减因子,基于该衰减程度值和该最大衰减因子确定该像素点对应的目标衰减因子,基于该目标衰减因子和该像素点的原始像素值确定该像素点的目标像素值;
其中,所述拼缝线上的各第一像素点的目标比例因子基于以下方式确定:分别从所述拼缝线的左侧和右侧各确定与该第一像素点纵坐标相同的n个像素点,基于左侧的n个像素点的像素值与右侧的n个像素点的像素值确定该第一像素点的初始比例因子,并对所述初始比例因子进行滤波,得到该第一像素点对应的目标比例因子,其中,n为正整数,且小于该第一像素点的横坐标。
5.一种图像处理方法,其特征在于,包括:
获取一张拼接图像;
对所述拼接图像中至少一行像素点执行平滑处理,包括:
在所述一行像素点中选择一个像素点作为拼缝点;
响应于所述拼缝点,基于目标衰减因子对除了所述拼缝点以外的多个其它像素点执行平滑处理,生成处理后的多个其它像素点;其中,所述目标衰减因子被限定为以所述其它像素点与所述拼缝点的横向坐标差值、最大衰减因子为参变量的函数运算得到,以使所述最大衰减因子小于1时,所述多个其它像素点执行平滑处理后的像素值与执行平滑处理前的像素值之间的变化量,随着所述横向坐标差值的增大而增大,且所述最大衰减因子大于1时,所述多个其它像素点执行平滑处理后的像素值与执行平滑处理前的像素值之间的变化量,随着所述横向坐标差值的增大而减少;其中,所述像素值为亮度值和/或色度值。
6.根据权利要求5所述的方法,其特征在于,所述拼缝点是:
在所述拼接图像存在重叠区域时,选择重叠区域的左边界点或右边界点作为所述拼缝点;以及
在所述拼接图像不存在重叠区域时,选择位于所述拼接图像中间区域的一个像素点作为所述拼缝点。
7.根据权利要求5所述的方法,其特征在于,
所述拼缝点左侧的多个其它像素点对应同一个左侧最大衰减因子,所述左侧最大衰减因子被限定为以预设平滑半径、拼缝点左侧多个其它像素点的像素值总和、拼缝点右侧多个其它像素点的像素值总和为参变量的函数运算得到;
所述拼缝点右侧的多个其它像素点对应同一个右侧最大衰减因子,所述右侧最大衰减因子被限定为以预设平滑半径、拼缝点左侧多个其它像素点的像素值总和、拼缝点右侧多个其它像素点的像素值总和为参变量的函数运算得到;
其中,当所述左侧最大衰减因子大于1时,所述右侧最大衰减因子小于1,当所述左侧最大衰减因子小于1时,所述右侧最大衰减因子大于1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110402157.7A CN113077387B (zh) | 2021-04-14 | 2021-04-14 | 一种图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110402157.7A CN113077387B (zh) | 2021-04-14 | 2021-04-14 | 一种图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113077387A CN113077387A (zh) | 2021-07-06 |
CN113077387B true CN113077387B (zh) | 2023-06-27 |
Family
ID=76617901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110402157.7A Active CN113077387B (zh) | 2021-04-14 | 2021-04-14 | 一种图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113077387B (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2671894C (en) * | 2006-12-13 | 2013-07-16 | Dolby Laboratories Licensing Corporation | Methods and apparatus for stitching digital images |
CN106940877B (zh) * | 2016-01-05 | 2021-04-20 | 富士通株式会社 | 图像处理装置及方法 |
CN105931188A (zh) * | 2016-05-06 | 2016-09-07 | 安徽伟合电子科技有限公司 | 一种基于均值去重的图像拼接方法 |
CN105957018B (zh) * | 2016-07-15 | 2018-12-14 | 武汉大学 | 一种无人机影像滤波分频拼接方法 |
CN106469444B (zh) * | 2016-09-20 | 2020-05-08 | 天津大学 | 消除拼接缝隙的快速图像融合方法 |
CN107248137B (zh) * | 2017-04-27 | 2021-01-15 | 努比亚技术有限公司 | 一种实现图像处理的方法及移动终端 |
CN109300084B (zh) * | 2017-07-25 | 2023-07-04 | 杭州海康汽车技术有限公司 | 一种图像拼接方法、装置、电子设备及存储介质 |
CN110782424B (zh) * | 2019-11-08 | 2021-02-09 | 重庆紫光华山智安科技有限公司 | 图像融合方法、装置、电子设备及计算机可读存储介质 |
-
2021
- 2021-04-14 CN CN202110402157.7A patent/CN113077387B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113077387A (zh) | 2021-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Matsushita et al. | Full-frame video stabilization with motion inpainting | |
US20180160046A1 (en) | Depth-based zoom function using multiple cameras | |
US9111342B2 (en) | Method of time-efficient stereo matching | |
US7359576B1 (en) | Using difference kernels for image filtering | |
CA2702165C (en) | Image generation method and apparatus, program therefor, and storage medium which stores the program | |
TWI478097B (zh) | 影像顯示中增強取樣測試效能的無切割時間以及鏡片界限 | |
US6959117B2 (en) | Method and apparatus for deblurring and re-blurring image segments | |
CN109509146A (zh) | 图像拼接方法及装置、存储介质 | |
JP2009519625A (ja) | 画像信号の深度依存性フィルタリング | |
US7840070B2 (en) | Rendering images based on image segmentation | |
CN106934806B (zh) | 一种基于结构清晰度的无参考图失焦模糊区域分割方法 | |
JP2011060216A (ja) | 画像処理装置および画像処理方法 | |
US10810707B2 (en) | Depth-of-field blur effects generating techniques | |
US11282176B2 (en) | Image refocusing | |
CN106447602A (zh) | 一种图像拼接方法及装置 | |
JP5225313B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
CN105574823B (zh) | 一种失焦模糊图像的去模糊方法和装置 | |
CN113077387B (zh) | 一种图像处理方法及装置 | |
CN106791331A (zh) | 基于透镜阵列成像的图像处理方法、装置及成像*** | |
Lancelle et al. | Controlling motion blur in synthetic long time exposures | |
CN112184609A (zh) | 图像融合方法及装置、存储介质、终端 | |
JP3492151B2 (ja) | 画像のシャープネス処理方法及びその装置並びにプログラムを記録した記憶媒体 | |
KR102587298B1 (ko) | 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템 | |
Liang et al. | Guidance network with staged learning for image enhancement | |
CN111105350A (zh) | 大视差场景下基于自身单应性变换的实时视频拼接方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |