CN106469444B - 消除拼接缝隙的快速图像融合方法 - Google Patents

消除拼接缝隙的快速图像融合方法 Download PDF

Info

Publication number
CN106469444B
CN106469444B CN201610839477.8A CN201610839477A CN106469444B CN 106469444 B CN106469444 B CN 106469444B CN 201610839477 A CN201610839477 A CN 201610839477A CN 106469444 B CN106469444 B CN 106469444B
Authority
CN
China
Prior art keywords
area
gap
pixel
threshold value
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610839477.8A
Other languages
English (en)
Other versions
CN106469444A (zh
Inventor
史再峰
张嘉平
杜增权
王晶波
高阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201610839477.8A priority Critical patent/CN106469444B/zh
Publication of CN106469444A publication Critical patent/CN106469444A/zh
Application granted granted Critical
Publication of CN106469444B publication Critical patent/CN106469444B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

本发明涉及图像处理领域，针对于拼接后重合区域为不规则图形的情况，为实现更加快速、准确的消除图像拼接后的缝隙。本发明采用的技术方案是，消除拼接缝隙的快速图像融合方法，步骤如下：Step1：首先设定一个阈值T，阈值范围为16至64个像素点；Step2：搜索重合区域中沿x轴正方向和y轴负方向距离拼接缝隙不大于阈值的区域，A区为与上边界缝隙距离不大于阈值的区域，B区为与右边界缝隙不大于阈值的区域，C区为同时与上边界缝隙和右边界缝隙不大于阈值的区域；Step3：对过渡区中的点进行加权平均运算。本发明主要应用于设计制造场合。

Description

消除拼接缝隙的快速图像融合方法
技术领域
本发明涉及图像处理领域，用于优化拼接后的图像，消除拼接图像的缝隙。
背景技术
在日常生活中，我们可以使用广角镜头或者扫描式摄像机拍摄宽视野的图像，但是这种设备一般价格昂贵，而且所拍摄的图像存在扭曲变形；而普通相机拍摄宽视野场景时，所得到的图像分辨率较低。为了在不降低图像分辨率的基础上，得到宽视野的图像，由此产生了图像拼接技术，图像拼接技术即利用几幅小视角的图像拼接成一幅大视角的图像，我们可以通过图像拼接技术得到全景图像。该技术在海底勘探，遥感技术，医学图像处理和军事领域都有着广泛的应用。
图像拼接技术的核心包含图像配准和图像融合。图像配准是指通过对待拼接的两幅或多幅图像中的匹配信息进行提取，从而得到最佳的匹配方案。具体过程如下。
通过不同的图像匹配方法，可以对左右两幅待配准图像的特征分别进行提取，然后进行特征匹配，即利用图像相关性算法，在提取出的特征集之间建立一个对应关系，可用如下等式表示：
Figure BDA0001117359210000011
其中
Figure BDA0001117359210000012
为仿射矩阵，其中m2代表水平方向的位移，m5代表垂直方向的位移；m0m1m3m4反映了图像的旋转、缩放的变化。(x,y)为右图上的像素点在右图坐标系上的坐标，(x1,y1)为右图中像素点经仿射矩阵变换后对应到左图坐标系后的像素点的坐标。
通过图像之间特征值点的匹配关系，我们可以选取三对不共线的特征点对仿射矩阵中的六个参数进行求解，从而确定两幅图的变换关系。利用仿射矩阵我们可以将右图坐标系中的点的坐标变换到左图坐标系中，得到重叠区域边界的坐标。
两幅图像拍摄过程中可能存在动态场景，光照条件等不定因素的差异，使拼接后出现相邻图像间的强度或颜色不连续的问题，图像的某些相关特性发生了跃变，从而留下拼接痕迹。
图像融合的目的就是消除图像拼接过程中所留下的痕迹，即消除拼接缝隙，减小两幅图像拼接后的阶跃效应。因此图像融合算法对整体拼接后的图像的主观视觉效果有着一定影响。如何减少图像融合的处理时间和提高拼接质量成为图像拼接融合研究的重点。
传统的加权平均的方法为分别取两图像重叠区域x轴方向和y轴方向的最大值和最小值点即ymax、ymin、xmax、xmin，重叠区域的像素值为：
Figure BDA0001117359210000013
由于旋转图像拼接后的重合区域为不规则图形，若重合区域较大，对重合区域中所有点进行加权平均运算，运算量较大。而且权重的分母相同，会使融合后的像素点的像素值的计算出现误差。
发明内容
为克服现有技术的不足，本发明旨在提出一种改进的旋转图像拼接融合的算法，尤其针对于拼接后重合区域为不规则图形的情况，可以更加快速、准确的消除图像拼接后的缝隙。本发明采用的技术方案是，消除拼接缝隙的快速图像融合方法，步骤如下：
Step1：首先设定一个阈值T，该阈值与两幅图亮度差异和重合区域大小相关，阈值范围为16至64个像素点，左、右图为待融合的位于左、右位置的两幅图；
Step2：搜索重合区域中沿x轴正方向和y轴负方向距离拼接缝隙不大于阈值的区域，A区为与上边界缝隙距离不大于阈值的区域，B区为与右边界缝隙不大于阈值的区域，C区为同时与上边界缝隙和右边界缝隙不大于阈值的区域，这三个区域为需要进行加权平均运算的区域，定义这个区域为过渡区；重合区域中除A、B、C区以外的其他区域的像素点的像素值，保持左图中该像素点的像素值不变，不需要进行加权运算，非重合区域中的像素点的像素值保持该位置的原图像的像素值不变；
Step3：对过渡区中的点进行加权平均运算，经加权平均后的像素点的像素值为：
Figure BDA0001117359210000021
其f(x,y)为融合后的(x,y)点的像素值，f1(x,y)为左图在(x,y)点的像素值，f2(x,y)为右图在(x,y)点处的像素值，N为融合区域与缝隙垂直方向的像素点的个数；
权重的分母N为不定值，0＜N≤T；
对于上边界缝隙融合区域A区域和C区域而言，N＜T的区域，其每一列的像素点的个数小于阈值，此时N取该区域中指定纵坐标下，沿x轴方向实际像素点的总数，0＜N＜T；其余区域N＝T，i为(x,y)坐标下的该像素点沿x轴负方向到上边界缝隙的距离，通过计算即得到上边界缝隙融合区域的像素点的像素值fu(x,y)；
对于右边界缝隙融合区域B区域和C区域而言，N＝T,i为(x,y)坐标下的该像素点沿y轴正方向到右边界缝隙的距离，通过计算即得到右边界缝隙融合区域的像素点的像素值fr(x,y)。
本发明的特点及有益效果是：
本发明所提出的融合算法较传统算法所需要计算的融合的像素点的个数少，因此速度更快，同时对拼接后图像重合区域为不规则图形的情况采用不等权重的方法，使融合后的图像更接近于实际情况，更加准确的消除图像拼接后所产生的缝隙。
附图说明：
图1图像拼接缝隙和融合区域说明图。
图2融合A区域权重计算说明图。
图3实例说明图。
具体实施方式
传统算法是对重合区域内所有像素点进行加权平均运算，如果重合区域较大，计算量会很大，而实际上远离拼接缝隙处的像素点加权平均运算是不必要的。此外重合区域为不规则图像，若权重的分母相同，会使像素点的像素值的计算出现误差。
为了解决上述问题，我们提出了一种改进的拼接图像加权融合算法。图1中粗线为两幅图像拼接后的缝隙。具体算法如下：
Step1：首先我们设定一个阈值T，该阈值与两幅图亮度差异和重合区域大小相关，阈值范围一般为16至64个像素点。
Step2：搜索重合区域中沿x轴正方向和y轴负方向距离拼接缝隙不大于阈值的区域，如图1所示，A区为与上边界缝隙距离不大于阈值的区域，B区为与右边界缝隙不大于阈值的区域，C区为同时与上边界缝隙和右边界缝隙不大于阈值的区域。这三个区域为我们需要进行加权平均运算的区域，我们定义这个区域为过渡区；重合区域中除A、B、C区以外的其他区域(图1中的阴影区域)的像素点的像素值，保持A图中该像素点的像素值不变，不需要进行加权运算，非重合区域中的像素点的像素值保持该位置的原图像的像素值不变。
Step3：对过渡区中的点进行加权平均运算，经加权平均后的像素点的像素值为：
Figure BDA0001117359210000031
其f(x,y)为融合后的(x,y)点的像素值，f1(x,y)为左图在(x,y)点的像素值，f2(x,y)为右图在(x,y)点处的像素值。
本算法中权重的分母N为不定值，0＜N≤T，N为融合区域与缝隙垂直方向的像素点的个数。
对于上边界缝隙融合区域A区域和C区域而言，图2中阴影区域为N＜T的区域，其每一列的像素点的个数小于阈值，此时N取该区域中指定纵坐标下，沿x轴方向实际像素点的总数，0＜N＜T；其余区域N＝T。i为(x,y)坐标下的该像素点沿x轴负方向到上边界缝隙的距离。通过计算即可得到上边界缝隙融合区域的像素点的像素值fu(x,y)。
对于右边界缝隙融合区域B区域和C区域而言，N＝T,i为(x,y)坐标下的该像素点沿y轴正方向到右边界缝隙的距离。通过计算即可的到右边界缝隙融合区域的像素点的像素值fr(x,y)。
由于C区域为上边界缝隙和右边界缝隙共同的融合过渡区域，因此C区域中的像素值为
Figure BDA0001117359210000032
本发明提出一种针对旋转图像拼接的快速图像融合算法。
下面结合如图3所示的具体实例对本发明作进一步的解释和说明。假设图片的尺寸为800*600，经过角点匹配，对仿射矩阵进行了计算后，得到旋转角度ω＝30°，重合区域四个角点的坐标为(0,799),(414,799),(420,590),(0,548)。取上边界缝隙和右边界缝隙阈值为32。
本算法需要计算的像素点的数量远远小于重合区域中总的像素点数即小于原始算法所要计算的像素点数，减小了计算时长。
如点(12，780)经检测距离分别距离上边界缝隙和右边界缝隙都在阈值范围内，因此属于C区域，所以该点的像素值为：
Figure BDA0001117359210000041
以此类推即可计算出融合区域每个像素点的像素值，从而完成旋转拼接图像的融合，消除两幅图像拼接后所产生的阶跃现象，一定程度上消除两幅图片拼接之后的缝隙，使图片在视觉效果上的到了优化。

Claims (2)

1.一种消除拼接缝隙的快速图像融合方法，其特征是，步骤如下：
Step1：首先设定一个阈值T，该阈值与两幅图亮度差异和重合区域大小相关，阈值范围为16至64个像素点，左、右图为待融合的位于左、右位置的两幅图；
Step2：搜索重合区域中沿x轴正方向和y轴负方向距离拼接缝隙不大于阈值的区域，A区为与上边界缝隙距离不大于阈值的区域，B区为与右边界缝隙不大于阈值的区域，C区为同时与上边界缝隙和右边界缝隙不大于阈值的区域，这三个区域为需要进行加权平均运算的区域，定义这个区域为过渡区；重合区域中除A、B、C区以外的其他区域的像素点的像素值，保持左图中该像素点的像素值不变，不需要进行加权运算，非重合区域中的像素点的像素值保持该位置的原图像的像素值不变；
Step3：对过渡区中的点进行加权平均运算，经加权平均后的像素点的像素值为：
Figure FDA0002289334040000011
其f(x,y)为融合后的(x,y)点的像素值，f1(x,y)为左图在(x,y)点的像素值，f2(x,y)为右图在(x,y)点处的像素值，N为融合区域边界到对应缝隙的距离；
对于上边界缝隙融合区域A区域和C区域而言，i为(x,y)坐标下的该像素点沿x轴负方向到上边界缝隙的距离；对于右边界缝隙融合区域B区域和C区域而言，i为(x,y)坐标下的该像素点沿y轴正方向到右边界缝隙的距离，C区域为上边界缝隙和右边界缝隙共同的融合过渡区域。
2.如权利要求1所述的消除拼接缝隙的快速图像融合方法，其特征是，权重的分母N为不定值，0＜N≤T；
对于上边界缝隙融合区域A区域和C区域而言，N＜T的区域，其每一列的像素点的个数小于阈值，此时N取该区域中指定纵坐标下，沿x轴方向实际像素点的总数，0＜N＜T；其余区域N＝T，通过计算即得到上边界缝隙融合区域的像素点的像素值fu(x,y)；
对于右边界缝隙融合区域B区域和C区域而言，N＝T,通过计算即得到右边界缝隙融合区域的像素点的像素值fr(x,y)。
CN201610839477.8A 2016-09-20 2016-09-20 消除拼接缝隙的快速图像融合方法 Expired - Fee Related CN106469444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610839477.8A CN106469444B (zh) 2016-09-20 2016-09-20 消除拼接缝隙的快速图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610839477.8A CN106469444B (zh) 2016-09-20 2016-09-20 消除拼接缝隙的快速图像融合方法

Publications (2)

Publication Number Publication Date
CN106469444A CN106469444A (zh) 2017-03-01
CN106469444B true CN106469444B (zh) 2020-05-08

Family

ID=58230638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610839477.8A Expired - Fee Related CN106469444B (zh) 2016-09-20 2016-09-20 消除拼接缝隙的快速图像融合方法

Country Status (1)

Country Link
CN (1) CN106469444B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066954B (zh) * 2017-03-23 2019-07-23 浙江零跑科技有限公司 一种车载360度环视显示方法及***
CN107194866B (zh) * 2017-04-29 2020-06-26 天津大学 减少拼接图像错位的图像融合方法
CN108042158B (zh) * 2017-12-22 2021-04-13 飞依诺科技(苏州)有限公司 多焦点超声图像拼接方法及其***
CN112581413B (zh) * 2019-09-29 2022-10-11 天津工业大学 自适应非线性加权的人脸图像融合方法
CN111008985B (zh) * 2019-11-07 2021-08-17 贝壳找房(北京)科技有限公司 全景图拼缝检测方法、装置、可读存储介质及电子设备
CN111177464A (zh) * 2019-12-30 2020-05-19 星络智能科技有限公司 一种菜品制作方法、服务器及存储介质
CN112365407B (zh) * 2021-01-13 2021-04-20 西南交通大学 视角可配置的摄像机全景拼接方法
CN113077387B (zh) * 2021-04-14 2023-06-27 杭州海康威视数字技术股份有限公司 一种图像处理方法及装置
CN114888805B (zh) * 2022-05-23 2024-02-27 广东工业大学 轮胎模具字符图案的机器人视觉自动获取方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820965A (zh) * 2015-04-30 2015-08-05 武汉大学 一种低空无人机影像无地理编码快速拼接方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2006134306A (ru) * 2004-02-27 2008-04-10 Интергрэф Софтвеа Текнолоджис Кампэни Способ и система обработки изображения и машиночитаемый носитель

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820965A (zh) * 2015-04-30 2015-08-05 武汉大学 一种低空无人机影像无地理编码快速拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种拼接缝消除方法;史金霞等;《现代电子技术》;20051231(第13期);116,117,120 *

Also Published As

Publication number Publication date
CN106469444A (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
CN106469444B (zh) 消除拼接缝隙的快速图像融合方法
CN105957015B (zh) 一种螺纹桶内壁图像360度全景拼接方法及***
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
US9325899B1 (en) Image capturing device and digital zooming method thereof
CN103517041B (zh) 基于多相机旋转扫描的实时全景监控方法和装置
Rengarajan et al. From bows to arrows: Rolling shutter rectification of urban scenes
CN110782394A (zh) 全景视频快速拼接方法及***
WO2016086754A1 (zh) 一种大场景视频图像拼接方法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN111815517B (zh) 一种基于球机抓拍图片的自适应全景拼接方法
CN112085659B (zh) 一种基于球幕相机的全景拼接融合方法、***及存储介质
CN108734657B (zh) 一种具有视差处理能力的图像拼接方法
CN111723801B (zh) 鱼眼相机图片中目标检测矫正的方法与***
CN110838086B (zh) 一种基于相关性模板匹配的室外图像拼接方法
TWI639136B (zh) 即時視訊畫面拼接方法
CN103971375A (zh) 一种基于图像拼接的全景凝视相机空间标定方法
CN103295231A (zh) 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
US20220172331A1 (en) Image inpainting with geometric and photometric transformations
CN107038714B (zh) 多型视觉传感协同目标跟踪方法
CN113221665A (zh) 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
CN108154536A (zh) 二维平面迭代的相机标定法
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
CN110430400B (zh) 一种双目可运动摄像机的地平面区域检测方法
CN113096016A (zh) 一种低空航拍图像拼接方法和***
CN111815511A (zh) 一种全景图像拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200508

Termination date: 20200920