CN112801870B - 一种基于网格优化的图像拼接方法，拼接***及可读存储介质 - Google Patents
一种基于网格优化的图像拼接方法，拼接***及可读存储介质 Download PDFInfo
- Publication number
- CN112801870B CN112801870B CN202110115167.2A CN202110115167A CN112801870B CN 112801870 B CN112801870 B CN 112801870B CN 202110115167 A CN202110115167 A CN 202110115167A CN 112801870 B CN112801870 B CN 112801870B
- Authority
- CN
- China
- Prior art keywords
- grid
- transformation
- image
- images
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000005457 optimization Methods 0.000 title claims abstract description 15
- 230000009466 transformation Effects 0.000 claims abstract description 179
- 239000011159 matrix material Substances 0.000 claims abstract description 118
- 238000012216 screening Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 15
- 230000007704 transition Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 150000001875 compounds Chemical class 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000002146 bilateral effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000000844 transformation Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000282320 Panthera leo Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于网格优化的图像拼接方法，拼接***及可读存储介质，所述方法包括：步骤S1：获取待拼接的图像，并筛选出待拼接图像中的特征点；步骤S2：对各个单列图像进行网格划分，并至少结合区域相似变换和局部单应变换计算得到图像上每个网格的变换矩阵；步骤S3：基于单列图像中每个网格的变换矩阵并利用各单列图像之间的相邻关系进行网格变换的递推，实现列与列图像之间的拼接。所述方法解决了横向重叠率不一致的问题，且可以被广泛应用于航拍图像拼接以及红外图像拼接。
Description
技术领域
本发明属于红外图像拼接技术领域，具体涉及一种基于网格优化的图像拼接方法，拼接***及可读存储介质。
背景技术
图像拼接是将数张具有重叠部分的图像进行匹配的过程，其能够提供广视域、大视角、高分辨率、丰富信息量的合成图像，目前已广泛应用于全景拍摄，医学图像分析和遥感图像处理等诸多领域。其中，顺序远红外(FIR)图像序列拼接，能有效地减少图像的信息冗余，合成宽视角和高分辨率的远红外图像，获得更丰富和更精准的场景信息。这些场景信息为目标搜索与跟踪，检测与识别等应用提供了非常重要的基础。
通常，图像特征的提取是图像拼接中最重要的一个环节。Lowe提出了SIFT(Scale-Invariant Feature Transform)特征提取算法，其具有尺度不变性和旋转不变性，尽管SIFT在可见光图像中具有准确率高的优点，但直接应用于红外图像存在一些问题。即由于红外图像的场景复杂，能够检测到并成功匹配上的特征的数量可能很少，且分布可能不均匀。另外，由于远红外图像覆盖区域很广，因此图像的光线强度存在显著差异，在特征匹配中存在许多异常值。
而广视角的大量远红外图像的序列拼接往往会带有视差，而在自然光图像拼接的研究中，处理视差的方法是采用局部变换的方式，将图像划分为多个网格，针对每一个网格单独建立计算参数的模型，来保证重叠区域的对齐。Zaragoza等人提出的APAP(AS-Projective-As-Possible)方法就是将图像划分为多个网格，并利用“Moving DLT”(DirectLinear Transformation)计算单独计算每个网格的局部单应性(载于Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition，2013)。APAP虽然被认为是一种高效扭曲变形图像来对齐重叠区域的方法，但是其非重叠区域往往会产生严重的图像畸变，尤其在大视差的场景下。Lin等人提出的AANAP(Adaptive-As-Natural-As-Possible)方法结合局部单应性与全局相似变换，能够获取更加自然的结果(载于Proceedings of the IEEE Conference on Computer Vision and PatternRecognition，2015)。虽然以上方法在少量自然光图像的拼接中取得了很好的效果，但是却解决不了大量图像拼接的问题，更无法解决大量远红外图像的序列拼接问题。
综上所述，针对红外图像拼接，远红外图像配准相比可见光图像或近红外(NIR)图像配准更困难，这是由于远红外图像的分辨率、对比度低、信噪比(SNR)低，存在重复结构和稀疏机构，并且纹理和边缘特征较少等因素。其内部几何因素(例如重复的图案，图像模糊和噪声等)和外部环境因素(例如照明变化，结构稀疏的场景等)会严重影响拼接的效果。传统的自然光图像的拼接方法无法完成远红外图像的拼接。
此外，红外图像拼接过程常常出现透视问题，譬如航拍图像，这是由于存在近大远小的关系，所以取景器在不同倾斜角度时，所容纳的信息量是不一致的。当飞机对当前列取景完后，位移一段距离，那么根据透视原理，此时再次对下一列取景时会出现横向重叠率不一致的问题。这是一个目前缺少研究，并且亟待解决的问题。
发明内容
本发明的目的是提供一种基于网格优化的图像拼接方法，拼接***及可读存储介质，所述拼接方法考虑到了横向重叠率不一致的问题，提供了一种列与列的横向图像拼接的技术手段，可以被广泛应用于航拍图像拼接以及红外图像拼接。
一方面，本发明提供一种基于网格优化的图像拼接方法，包括如下步骤：
步骤S1：获取待拼接的图像，并筛选出待拼接图像中的特征点；
其中，待拼接的图像为若干个单列图像；
步骤S2：对各个所述单列图像进行网格划分，并至少结合区域相似变换和局部单应变换计算得到图像上每个网格的变换矩阵，其中，依据网格位置确定每个网格中区域相似变换和局部单应变换所占权重，从而得到网格的变换矩阵，且所述网格的变换矩阵对应的投影关系是依据列与列图像拼接过程所选择的投影顺序来确定；
步骤S3：基于所述单列图像中每个网格的变换矩阵并利用各单列图像之间的相邻关系进行网格变换的递推，实现列与列图像之间的拼接。
本发明考虑到透视问题，取景器在不同倾斜角度时，所容纳的信息量是不一致的。即当取景器非固定的，对当前列取景完后，若发生了移动，那么根据透视原理，此时再次对下一列取景时会出现横向重叠率不一致的问题。针对上述问题，本发明提供一种划分网格并逐网格优化，利用投影变换的递推关系来处理非一致重叠率的列间拼接问题。不再计算全局单应性，而是结合网格的局部单应性以及区域相似变换，实现重叠区域的像素对齐的同时，确保非重叠区域不会产生图像畸变。局部单应性变换的递推关系能够实现非一致重叠率的多列图像拼接。
另外针对远红外图像对比度较低且特征信息较少，在单序列图像拼接的过程中，若依照自然光图像的拼接方法，逐张循环拼接，由于包含变换关系的单应性矩阵为了确保重叠区域能够实现配准，非重叠区域在变换之后可能会出现扭曲与畸变，后续图像的拼接将出现有效特征点逐渐减少，甚至消失的问题。本发明通过单应性的递推来解决，利用原待拼接图像进行两两配准，均使用未经进一步变换的图像提取足够到特征点。
其中，本发明在图像的非重叠区域更多的使用区域相似变换而非单应变换，就不会引入任何透视变形，能够有效减少畸变，使拼接的图像更加自然。而针对重叠区域，通过全局单应变换会导致列与列之间的重叠区域难以对齐，因此考虑划分网格，利用局部单应变换来对齐重叠区域。故针对重叠区域更多选择局部单应变换。
可选地，所述区域相似变换的实现过程如下：
A：将图像中的特征点进行区域划分；
B：基于区域内的特征点以及如下公式计算出各个区域的相似矩阵；
其中，将网格所属区域的相似矩阵作为网格的相似矩阵，所述相似矩阵的变换公式如下：
其中，S为相似矩阵，δ为旋转角，s为缩放尺度，tx和ty为平移矢量，(x'，y',1),(x，y,1)分别为待变换图像中像素点变换后以及变换前的坐标。
可选地，所述局部单应变换的实现过程如下：
a：基于网格中的每个特征点的单应性变换矩阵，采用最小二乘法使得累计平方和误差最小来确定网格的局部单应性矩阵，计算公式如下：
式中，
为网格k的局部单应性矩阵，n为网格k的特征点总数，h表示特征点的单应性矩阵，h的自由度为8，||·||2表示L2范数，W(k)是权重wi (k)(i＝1,2,...,n)的对角线组合矩阵W(k)＝diag(w1 (k),w2 (k),...,wn (k))，wi (k)为网格k中第i个特征点对应的权重，组合矩阵A表示：A＝(a1 T,a2 T,...,an T)T，T为转置符号，a1为第1个特征点的线性参数矩阵a，其中，特征点的坐标Pi(x,y,1)T和其投影坐标Pi'(x',y',1)T的线性参数矩阵a为：
可选地，网格k中第i个特征点对应的权重wi (k)按照如下公式确定：
其中，(x(k),y(k))是网格k的中心坐标，(xi,yi)是第i个特征点的坐标，γ是柯西分布密度函数的尺度参数。
考虑到待拼接图像的边缘处的网格远离所有特征点，因此特征点贡献的权重趋近于0，会导致边缘出现波浪形畸变。本发明提出使用更为简洁的柯西-洛伦兹分布计算各特征点的贡献权重，如上所示。但是应当理解，除了上述柯西-洛伦兹分布，APAP中利用高斯分布确定各个特征点对网格的贡献权重也是可以基本满足需求的。
可选地，每个网格的变换矩阵中涉及区域相似变换，局部单应变换以及加权线性化的局部单应性矩阵，所述变换矩阵的公式如下所示：
式中，
为网格k的变换矩阵，h(k)是网格k的局部单应性矩阵；hL (k)是网格k的加权线性化的局部单应性矩阵；Si是为网格k所属区域的相似矩阵，设μ＝μ1+μ2，其中，μ1和μ2是局部单应性的线性部分和非线性部分所占权重；μ和ω是局部单应变换和区域相似变换所占权重。
针对图像的重叠区域，划分网格并分别进行局部单应变换能够获取更加精细的对齐效果，但是局部单应变换外推到非重叠区域时，容易产生极端和非自然的缩放效果，导致严重的透视失真。因此，本发明优选在图像边界以等差距离构建锚点，它们就属于不同的网格，有不同的局部单应性。进而本发明提出在非重叠区域和重叠区域的过渡区域中，使用通过锚点线性化的局部单应性矩阵hL (k)。其计算方式：利用泰勒级数(Taylor series)前两项对锚点线性化，其它网格的加权线性化的局部单应性矩阵基于线性化的锚点并通过T分布加权获取。
从上述可知，本发明优选考虑了重叠区域，非重叠区域以及过渡区域，尤其是针对过渡区域优选更多选择线性化的局部单应性矩阵hL (k)。其他可行的实施例中，不考虑过渡区域(不添加线性化)，仅对重叠区域以及非重叠区域进行设置，即网格的变换矩阵仅由区域相似变换，局部单应变换的元素及其权重构成，也是能满足本发明的基本需求，融合效果降低一点但是速度会提高。
可选地，权重μ1，μ2和ω的公式如下：
其中，(x(k),y(k))是第k个网格的中心坐标，(xl,yl)、(xr,yr)、(xrc,yrc)和(xmax,ymax)分别是Kl、Kr、Krc和Kmax的坐标；其中，一条直线L分别穿过基准图像Ir的中心点Or，以及拼接后右侧图像的原图It的中心点Ot，得到以上四个坐标，Kmin，Kmax分别是拼接后图像的最左侧和最右侧，Klc，Krc分别是线段
的中点，Klc:Kl，Kr:Krc分别是过渡区域，Kl:Kr是重叠区域。
本发明优选按照上述公式确定权重，应当理解，若是本发明网格的变换矩阵未考虑加权线性化的局部单应性矩阵，也是可以对权重进行适应性调整。另外，除了上述权重的确定方式，针对重叠区域，更多考虑局部单应变化，对应权重最大；针对非重叠区域，更多考虑区域相似变换，对应权重最大；针对过渡区域，更多考虑加权线性化的局部单应性矩阵，对应权重最大，基于该准则对权重μ1，μ2和ω可以进行适应性调整。
权重μ1，μ2和ω的计算公式中Kl、Kr、Krc和Kmax的坐标均是可以计算得到，设定的基准图像Ir为两列图像拼接中选定的基准图像，即左侧图像的原图，图像It为拼接后右侧图像的原图，即待变换的图像。
可选地，步骤S3中列与列图像之间的拼接过程中第i张图像中网格k内的某一坐标pi,k投影到基准坐标系的坐标pi,k'的公式如下所示：
其中，
是第j张图像的网格k经过网格变换投影到上一张图像坐标系的变换矩阵；N为图像的列数，m为图像中的网格总数。
可选地，若是图像为航拍图像，步骤S1之前还包括：对航拍图像进行单列图像拼接，并将拼接后的单列图像作为步骤S1中的所述待拼接图像；
其中，所述单列图像拼接过程进行局部特征点密度抑制，再计算相邻图像的单应性矩阵以及推导传递关系以获得当前图像间的坐标关系来进行单列远红外图像的拼接。
远红外图像由于拍摄距离较远、环境噪声干扰以及热辐射成像等硬件条件限制，存在分辨率和对比度较低，边缘和纹理特征清晰度较低等特点，因此在图像发生各种几何变换后，其特征点数量显著下降，会严重干扰图像配准的精度，甚至导致图像无法拼接。
远红外图像对比度较低且特征信息较少，在单序列图像拼接的过程中，若依照自然光图像的拼接方法，逐张循环拼接，由于包含变换关系的单应性矩阵为了确保重叠区域能够实现配准，非重叠区域在变换之后可能会出现扭曲与畸变，后续图像的拼接将出现有效特征点逐渐减少，甚至消失的问题。这个问题，可以通过单应性的递推来解决。即选取一张图像作为基准图像，为了确保能够提取到足够多的有效特征点，利用原图像进行两两配准，让每张图像都能使用未经变换的原图像进行特征点的提取，进而求取出相邻两张图像的变换关系，通过不断传递变换关系将所有图像的坐标统一到全局基准图像的坐标系下。
图像Ai中的某一坐标Pi,i(xi,i,yi,i,1)T经过单应性矩阵变换为Ai-1的坐标系中，其公式如下：
其中，矩阵Hi-1是相邻图像Ai以Ai-1的坐标系为基准坐标系进行投影变换的单应性矩阵，坐标Pi,i(xi,i,yi,i,1)T和Pi,i-1(xi,i-1,yi,i-1,1)T分别是图像Ai投影变换前后对应的一对齐次坐标。
如图1所示，假设以第一张图象A1作为全局基准图像，所有图像都需要统一到A1的基准坐标系下，通过递推，图像Ai的任一坐标可以变换到基准坐标下，公式如下：
其中，坐标Pi,i和Pi,1分别是图像Ai投影变换到图像A1的基准坐标系前后对应的一对齐次坐标。Hk(k＝1,2,...,i-1)分别为Pi,i变换到Ak坐标系下的单应性矩阵。
因此，将Ai图像变换到A1的基准坐标系的单应性矩阵
可表示如下：
第二方面，本发明提供一种基于所述方法的拼接***，包括：
单列图像的特征提取模块，用于获取待拼接的图像，并筛选出待拼接图像中的特征点；
其中，待拼接的图像为若干个单列图像；
网格划分模块，用于对各个所述单列图像进行网格划分；
网格的变换矩阵计算模块，用于至少结合区域相似变换和局部单应变换计算得到图像上每个网格的变换矩阵，其中，依据网格位置确定每个网格中区域相似变换和局部单应变换所占权重，从而得到网格的变换矩阵，且所述网格的变换矩阵对应的投影关系是依据列与列图像拼接过程所选择的投影顺序来确定；
拼接模块，用于基于所述单列图像中每个网格的变换矩阵并利用各单列图像之间的相邻关系进行网格变换的递推实现列与列图像之间的拼接。
第三方面，本发明提供一种终端，其包括处理器和存储器，所述存储器内存储了计算机程序，所述处理器调用所述计算机程序以执行所述一种基于网格优化的图像拼接方法的步骤。
第四方面，本发明提供一种可读存储介质，存储了计算机程序，所述计算机程序被处理器调用以执行所述一种基于网格优化的图像拼接方法的步骤。
有益效果
本发明公开一种基于网格优化的图像拼接方法，所述方法针对列图像进行列与列之间拼接。具体通过划分网格，并结合区域相似变换和局部单应变换，逐网格优化各类变换所占的权重，最后通过列图像之间的位置关系，进行网格变换的递推，实现列间远红外图像的拼接。该方法运行速度快，效果好，不需要人工干预，成本代价低，而且能远程运行于云端，利用高性能服务器实现实时拼接。根据图像拼接中易出现重叠率不一致，以及连续拼接特征点消息的特征，通过图像网格化，并逐网格优化，能够在极端情况下进行图像拼接，且不限于远红外图像和航拍图像，同时能应用于城市全景图像，遥感图像和其他宽视野图像的拼接，能够进行上千张图像的连续拼接，具有很强的通用性。
其中，尤其是针对具有透视问题的图像拼接，本发明提供一种划分网格并逐网格优化，利用投影变换的递推关系来处理非一致重叠率的列间拼接问题。不再计算全局单应性，而是结合网格的局部单应性以及区域相似变换，实现重叠区域的像素对齐的同时，确保非重叠区域不会产生图像畸变。本发明提供的局部单应性变换的递推关系能够实现非一致重叠率的多列图像拼接。
附图说明
图1为图像的单应性传递示意图；
图2为本发明实施例1和实施例2采集图像的示意图；
图3为经过双边滤波降噪之后的图像与原始图像的对比图；
图4为SIFT和RANSAC进行特征点筛选之后的匹配效果图；
图5为局部特征密度抑制对拼接效果影响的对比图；其中图a-c为原始拼接效果，图d-f为对局部特征的密度进行抑制之后的拼接效果；
图6为本发明实施例1的单列拼接结果图；
图7为本发明实施例1和实施例2中因为透视关系导致图像横向重叠率不一致；其中图a为拍摄一个图像序列，图b为拍摄下一个序列时导致的重叠率不一致；
图8为将特征点分组，用于计算区域相似矩阵；
图9为本发明通过是否重叠来对区域相似度与局部单应性所占比重的划分；
图10为本发明网格变换递推与列间拼接的示意图
图11为本发明实施例1的拼接结果图；
图12为本发明实施例2的拼接结果图；
图13为本发明实施例3的拼接结果图。
图14是本发明实施例1提供的流程示意图。
具体实施方式
本发明提供的一种基于网格优化的图像拼接方法，所述方法用于图像拼接，尤其是适用于具有透视问题的图像横向拼接。其中，本发明所述方法在红外图像中拼接效果可观，尤其适用于红外图像拼接。但是本发明的应用领域也不局限于此，譬如全景图像拼接。下文将以航拍的远红外图像为例，结合实施例对本发明做进一步的说明。
针对航拍红外图像拼接，其存在两个问题：
(1)远红外图像能够检测到并成功匹配上的特征的数量可能很少，且分布可能不均匀，因此很多传统的自然光图像的拼接方法无法完成远红外图像的拼接；
(2)航拍图像的拼接需要考虑透视问题，因为存在近大远小的关系，所以取景器在不同倾斜角度时，所容纳的信息量是不一致的。当飞机对当前列取景完后，位移一段距离，那么根据透视原理，此时再次对下一列取景时会出现横向重叠率不一致的问题。
因此针对航拍的红外图像，若待拼接的图像是由航拍器一个点拍摄的多张序列照片，再位移转换另一个点拍摄多序列照片的方式得到，进行图像拼接时则包含了两大过程，分别为：单列图像的拼接以及列与列图像之间的拼接。实施例1：
本实施例是针对万米高空航拍与水平线45度至60度角之间的一座岛屿(20*15张图像)，示意图如图2所示，其图像精细化拼接过程按如下步骤进行：
步骤A：在单列图像拼接阶段，对局部特征点密度进行抑制，来求取单应性矩阵，并推导传递关系以获得当前图像间的坐标关系来进行单列远红外图像的拼接。
其中，本实施例中针对航拍图像，先在单列图像中进行拼接，过程如下：
1)图像预处理：双边滤波降噪
其中，远红外图像存在许多噪点，噪点会严重干扰特征点的检测与匹配。双边滤波(Bilateral filter)是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种滤波方法。双边滤波可以在保留远红外图像细节的同时，消除大部分噪点。经过双边滤波后，图3(a)变换为图3(b)。
2)特征点的匹配与局部密度抑制
尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种用来检测与描述图像中局部性特征的算法，它在空间尺度中寻找极值点，并提取出其位置、尺度和旋转不变量。然后结合RANSAC筛选出合适的特征点，将两张图像中特征高度相似的部分关联起来。
特征均匀分布能够实现更精细的拼接效果，因此通过在未对齐区域中***特征也能够提升对齐能力。本发明将提供一种更简单有效的方法：局部特征点密度抑制。即特征提取过程中降低SIFT中的阈值来获取更多特征点，特征点往往密集出现，通过抑制局部特征点的密度，使得特征密集区域稀疏化，保留一定距离范围内最大响应的特征点，能够使特征更均匀地分布在更多区域。除此之外，局部特征点密度抑制能通过更低的阈值能够获取更多的特征信息，弥补远红外图像特征信息较少的缺点，同时不提高后续的计算量。
其中，根据预处理步骤得到完成去噪的图像，如图3中(b)图所示，通过SHIT方法和RNASAC方法对该类图像进行特征点的提取、匹配与筛选，如图4所示。
本发明针对远红外图像特征信息不足，在特征提取过程中将SHIT检测器设为更低的阈值来获取更多特征点，同时局部特征点密度抑制进行了过滤，仅保留最大响应的特征点，使得特征密集区域稀疏化。结果如图5左下角的(d)图，对比图5左上角(a)图，两者几乎拥有同样的特征点数量，但特征分布在更多区域的，更均匀。
3)单应性的递推
一个单列的序列图像，被标定为A1,A2,...,An。设矩阵Hi是相邻图像Ai以Ai-1的坐标系为基准坐标系进行投影变换的单应性矩阵，坐标Pi(x,y,1)T和Pi'(x',y',1)T分别是图像Ai投影变换前后对应的一对齐次坐标，Pi'与Pi满足如下关系：
其中，假设以A1图像作为基准图像，所有图像都需要统一到A1的基准坐标系下，通过递推，图像Ai的任一坐标可以变换到基准坐标下，公式如下：
因此将Ai图像变换到A1的基准坐标系的单应性矩阵
可表示如下：
通过上述变换公式可以拼接完成被标记为A1,A2,...,An的单个序列图像，如图6所示。
步骤B：在列图像与列图像之间拼接的阶段，对各个所述单列图像进行网格划分，结合区域相似变换和局部单应变换逐网格优化变换矩阵的权重，并通过网格变换的递推实现列间远红外图像的拼接。
航拍图像的拼接需要考虑透视问题，如图7所示，不同俯视角度时取景框内的信息量是不一致的，图7中(a)图中A1到An，取景框中所容纳的信息量会减少。当飞机对当前列取景完后，位移一段距离d0，那么根据透视原理，A1-An所在的区域相对于取景框会分别位移d1-dn的距离，且d1＝dn，此时再次对下一列取景时会出现图3中(b)图中所示的横向重叠率O1-On不一致的问题。
1)区域相似变换
相似变换只做平移、旋转和等比例缩放的变换，它和保持欧式距离的刚体变换一样具有保角性。其点之间的距离不再保持不变，但距离比依旧保持不变。在图像的非重叠区域使用相似变换而非单应变换，就不会引入任何透视变形，能够有效减少畸变，使拼接的图像更加自然。相似变换的公式如下：
其中，S为相似矩阵，δ为旋转角，s为缩放尺度，tx和ty为平移矢量。
步骤A中所获取的单列长图像是由很多图像拼接而成的，重叠率不一致，直接通过所有特征点求取全局相似变换存在较大误差，因此通过RANSAC方法对特征点进行分组，按照分组对不同的区域分别计算相似矩阵。
首先，获取步骤A后的单列长图像，并通过步骤A中提到的改进的特征点检测和匹配方法，对已经完成拼接的整个单列求取特征点，再通过RANSAC方法去除异常值，然后迭代进行特征点分组并计算各区域的相似矩阵，算法步骤如下：
(i)提取特征点，再设置RANSAC去除异常值的阈值为K1(一般设置为0.01)，利用RANSAC方法筛选出可用内点；
(ii)重新设置阈值为Ki(i＝2,3,...,n)，(一般首先设置为上一个阈值大小的1/10，K2＝K1)筛选出K2阈值下的一组特征点，计算旋转角θ和相似矩阵S，然后去除该组特征点，进行迭代；
(iii)对于旋转角θ异常的特征点集，如果该区域按照其相似矩阵进行变换会导致图片被割裂，因此舍弃该旋转角所对应的相似变换。
结果如图8所示，白色圆圈为异常值，黑色圆圈是未被分组的特征点，正方形和十字形为分成的两组的特征点，分别对应两个区域R1和R2，具有不同的相似矩阵S1和S2。
2)局部单应变换
通过全局单应变换会导致列与列之间的重叠区域难以对齐，因此考虑划分网格，利用局部单应变换来对齐重叠区域。
将图像划分成多个网格，通过移动直接线性变换(MovingDLT)计算局部单应矩阵，对不同网格内的坐标执行不同的单应变换，令重叠区域精准对齐。单应性变换展开后为：
进行直接线性变换(DLT，DirectLinearTransformation)，将单应性矩阵转化为向量h＝(h1,h2,...,h9)T，同时将特征点的坐标Pi(x,y,1)T和其投影坐标Pi'(x',y',1)T的变量转换为线性参数矩阵a：
即：
ah＝0
上述公式为一对特征点的转换公式，而两幅待拼接图像中可能存在几百上千对特征点。将图像划分成m个网格，假设每个网格中存在n对特征点，通常使用最小二乘法使得累计平方和误差最小来估计各个网格的局部单应性矩阵：
其中||·||2表示L2范数，即欧氏距离，h的自由度为8，因此用||h||2＝1来限制；组合矩阵A表示：A＝(a1 T,a2 T,...,an T)T，大小为2n×9；W(k)是权重wi (k)(i＝1,2,...,n)的对角线组合矩阵W(k)＝diag(w1 (k),w2 (k),...,wn (k))。同时由于待拼接图像的边缘处的网格远离所有特征点，因此特征点贡献的权重趋近于0，会导致边缘出现波浪形畸变。APAP中再提出使用一个阈值参数l用来限制权重的最小值。本发明提出使用更为简洁的柯西-洛伦兹分布计算各特征点的贡献权重。柯西分布的密度函数如下：
柯西分布与高斯分布相比，形态更加稳健。其波峰更低，分布的尾部衰减更加缓慢，因此边缘即便远离所有特征点，但会获得相似的加权。改进的权重wi (k)的计算方式如下所示：
其中(x(k),y(k))是网格k的中心坐标，(xi,yi)是第i个特征点的坐标。上述公式表明特征点越靠近网格中心则对当前网格的局部单应性贡献越大。
3)逐网格平滑优化
图像的重叠区域划分网格分别进行局部单应变换能够获取更加精细的对齐效果，但是局部单应变换外推到非重叠区域时，容易产生极端和非自然的缩放效果，导致严重的透视失真。但在图像边界以等差距离构建锚点，它们就属于不同的网格，有不同的局部单应性。因此本发明提出在非重叠区域和重叠区域的过渡区域中，使用通过锚点线性化的局部单应性矩阵hL (k)。其计算方式：利用泰勒级数(Taylor series)前两项对锚点线性化，其它网格的加权线性化的局部单应性矩阵利用线性化的锚点以及T分布加权获取。
本发明同时划分了重叠区域和非重叠区域，如图8所示，需要从左至右逐渐将网格的变换形由局部单应变换平滑地转换为区域相似变换。在重叠区域利用局部单应性变换实现像素的精确对齐；在非重叠区域利用区域相似变换避免产生图像畸变；而重叠和非重叠的过渡区域结合线性化的局部单应性变换、局部单应性变换以及区域相似变换，来实现拼接时更加自然的过渡，为此我们给出各网格变换矩阵的公式如下：
其中，h(k)是上述公式所求得的各网格的局部单应性矩阵；hL (k)是各网格加权线性化的局部单应性矩阵；Si是各区域的相似变换矩阵(各网格中心点所属区域的相似变换矩阵)。设μ＝μ1+μ2，其中μ1和μ2是局部单应性的线性部分和非线性部分所占权重；μ和ω是局部单应性和区域相似度所占权重。求取权重μ1、μ2和ω的公式如下所示：
其中(x(k),y(k))是第k个网格的中心坐标，(xl,yl)、(xr,yr)、(xrc,yrc)和(xmax,ymax)分别是Kl、Kr、Krc和Kmax的坐标，如图9所示，一条直线L分别穿过基准图像Ir的中心点Or，以及单应变换后的图像It的中心点Ot，得到以上四个坐标，其中Kmin，Kmax分别是拼接后图像的最左侧和最右侧，Klc，Krc分别是线段
的中点，Klc～Kl，Kr～Krc分别是过渡区域，Kl～Kr是重叠区域。
应当理解，除了上述计算公式确定权重，还可以按照非重叠区区的区域相似变换的权重大，重叠区的局部单应变换的权重大，过渡区域的加权线性化的局部单应性矩阵的权重大的原则进行权重设置和适应性调整。因此，从重叠区域到过渡区域，再到非重叠区域，这些区域中的网格遵循局部单应变换权重大过渡到线性加权的权重大，最后过渡到区域相似变换权重大，同一区域中不同网格中三种变换的权重也是不一致的，是慢慢过渡的
步骤C：基于所述单列图像中每个网格的变换矩阵并利用各单列图像之间的相邻关系进行网格变换的递推，实现列与列图像之间的拼接。
网格变换的递推
由于飞机采集图像时存在非一致重叠率的问题，将单列图像划分为网格，并通过多种变换加权实现更精确的对齐结果，以及更自然的拼接效果。为了得到更平滑的拼接结果，前文将各个网格的变换矩阵由区域相似度矩阵、局部单应性矩阵以及线性化的局部单应性矩阵加权融合成而成，我们此处称之为网格变换。
此处将两列图像的拼接扩展到三列图像的拼接，如图10中(a)图所示，当拼接A、B和C时，网格变换矩阵
将B图像投影到A图像所在的基准坐标系下，网格变换矩阵
将C图像投影到B图像所在的基准坐标系下，如图10(b)。因此，
将C图像投影到A图像所在的基准坐标系下，如图10(c)。
设有N张拼接好的单列图像，将网格变换递推关系扩展到更多图像的拼接，计算公式如下：
其中，pi,k是其中第i张图像的第k个网格中的某一坐标，
是第j张图像的第k个网格，经过网格变换投影到上一张图像坐标系的变换矩阵。pi,k'为第i张图像的某一坐标投影到基准坐标系(假设第一张图像为基准图像)的坐标。
实际上，一般选取中间列作为基准图像，这样可以避免最终拼接图出现左侧直而右侧斜的情况，最终仅需要通过透视变换将透视图矫正为观感更加自然的平面图。
所拼接出的图像如图11所示。
实施例2：
本实施例是针对万米高空航拍与水平线30度至60度角之间的大陆(33*32张图像)，图像采集的示意图如图2所示。第一步是利用SIFT和RANSAC检测、匹配和筛选出合适的特征点。
第二步是使用上一步提取到的特征点计算单应性变换矩阵，然后通过图像位置关系递推单应性变换矩阵，实现单列图像的全部拼接。
第三步是对完成拼接的各列进行列与列间的拼接，首先利用SIFT和RANSAC获得合适的全部特征点，然后将单列长图像细分为40*200网格，将网格归属于不同的区域(包括重叠区和非重叠区)，根据所属于不同的位置，判断是其区域相似变换和局部单应性变换分别所占比重，不同网格最终的变换方程有细微差异，能实现一列图像平滑的映射到另一列图像中。
第四步是使用权利说明书中给出的公式进行网格递推，其公式如下：
获得的完整拼接图像如图12所示。
实施例3：
本实施例是针对360度全景拼接(9-18张图像)，广角镜头采集的图像畸变严重，分辨率较高。第一步是利用SIFT和RANSAC检测、匹配和筛选出合适的特征点。
第二步是使用上一步提取到的特征点计算单应性变换矩阵，将图像细分为80*80网格，将网格归属于不同的区域(包括重叠区和非重叠区)，根据所属于不同的位置，判断是其区域相似变换和局部单应性变换分别所占比重，不同网格最终的变换方程有细微差异，能实现一列图像平滑的映射到另一列图像中，同时有利于减少畸变，能够更好的融合图像。
第四步是使用权利说明书中给出的公式进行网格递推，获得的完整拼接图像如图13所示。此实例说明该发明具有很强的通用性。
在一些可行的方式中，本发明提供基于所述精细化拼接方法的拼接***，包括：
单列图像的特征提取模块，用于获取待拼接的图像，并筛选出待拼接图像中的特征点；
其中，待拼接的图像为若干个单列图像；
网格划分模块，用于对各个所述单列图像进行网格划分；
网格的变换矩阵计算模块，用于至少结合区域相似变换和局部单应变换计算得到图像上每个网格的变换矩阵，其中，依据网格位置确定每个网格中区域相似变换和局部单应变换所占权重，从而得到网格的变换矩阵，且所述网格的变换矩阵对应的投影关系是依据列与列图像拼接过程所选择的投影顺序来确定；
拼接模块，用于基于所述单列图像中每个网格的变换矩阵并利用各单列图像之间的相邻关系进行网格变换的递推实现列与列图像之间的拼接。
其他可行的方式中，所述拼接***还包括单列图像拼接模块，用于实现单列图像拼接阶段。
其中，各个单元模块的具体实现过程请参照前述方法的对应过程。应当理解，上述单元模块的具体实现过程参照方法内容，本发明在此不进行具体的赘述，且上述功能模块单元的划分仅仅是一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。同时，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
在一些可行的方式中，本发明还提供本发明提供一种终端，其包括处理器和存储器，所述存储器内存储了计算机程序，所述处理器调用所述计算机程序以执行所述一种基于网格优化的图像拼接方法的步骤。
在一些可行的方式中，本发明提供一种可读存储介质，存储了计算机程序，所述计算机程序被处理器调用以执行所述一种基于网格优化的图像拼接方法的步骤。
具体的各个步骤的实现过程请参照前述方法的阐述。
应当理解，在本发明实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
所述可读存储介质为计算机可读存储介质，其可以是前述任一实施例所述的控制器的内部存储单元，例如控制器的硬盘或内存。所述可读存储介质也可以是所述控制器的外部存储设备，例如所述控制器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述可读存储介质还可以既包括所述控制器的内部存储单元也包括外部存储设备。所述可读存储介质用于存储所述计算机程序以及所述控制器所需的其他程序和数据。所述可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。
Claims (7)
1.一种基于网格优化的图像拼接方法，其特征在于：包括如下步骤：
步骤S1：获取待拼接的图像，并筛选出待拼接图像中的特征点；
其中，待拼接的图像为若干个单列图像；
步骤S2：对各个所述单列图像进行网格划分，并至少结合区域相似变换和局部单应变换计算得到图像上每个网格的变换矩阵，其中，依据网格位置确定每个网格中区域相似变换和局部单应变换所占权重，从而得到网格的变换矩阵，且所述网格的变换矩阵对应的投影关系是依据列与列图像拼接过程所选择的投影顺序来确定；
步骤S3：基于所述单列图像中每个网格的变换矩阵并利用各单列图像之间的相邻关系进行网格变换的递推，实现列与列图像之间的拼接；
网格k中第i个特征点对应的权重wi (k)按照如下公式确定：
其中，(x(k),y(k))是网格k的中心坐标，(xi,yi)是第i个特征点的坐标，γ是柯西分布密度函数的尺度参数；
每个网格的变换矩阵中涉及区域相似变换，局部单应变换以及加权线性化的局部单应性矩阵，所述变换矩阵的公式如下所示：
式中，
为网格k的变换矩阵，h(k)是网格k的局部单应性矩阵；hL (k)是网格k的加权线性化的局部单应性矩阵；Si是为网格k所属区域的相似矩阵，设μ＝μ1+μ2，其中，μ1和μ2是局部单应性的线性部分和非线性部分所占权重；μ和ω是局部单应变换和区域相似变换所占权重；
权重μ1，μ2和ω的公式如下：
其中，(x(k),y(k))是网格k的中心坐标，(xl,yl)、(xr,yr)、(xrc,yrc)和(xmax,ymax)分别是Kl、Kr、Krc和Kmax的坐标；其中，一条直线L分别穿过基准图像Ir的中心点Or，以及拼接后右侧图像的原图It的中心点Ot，得到以上四个坐标，Kmin，Kmax分别是直线L与拼接图像的最左侧和最右侧的交点，Klc，Krc分别是线段
的中点，Klc:Kl，Kr:Krc分别是过渡区域，Kl:Kr是重叠区域。
2.根据权利要求1所述的方法，其特征在于：所述区域相似变换的实现过程如下：
A：将图像中的特征点进行区域划分；
B：基于区域内的特征点以及如下公式计算出各个区域的相似矩阵；
其中，将网格所属区域的相似矩阵作为网格的相似矩阵，所述相似矩阵的变换公式如下：
其中，S为相似矩阵，δ为旋转角，s为缩放尺度，tx和ty为平移矢量，(x'，y',1),(x，y,1)分别为待变换图像中像素点变换后以及变换前的坐标。
3.根据权利要求1所述的方法，其特征在于：所述局部单应变换的实现过程如下：
a：基于网格中的每个特征点的单应性变换矩阵，采用最小二乘法使得累计平方和误差最小来确定网格的局部单应性矩阵，计算公式如下：
式中，
为网格k的局部单应性矩阵，n为网格k的特征点总数，h表示特征点的单应性矩阵，h的自由度为8，||·||2表示L2范数，W(k)是权重wi (k)(i＝1,2,...,n)的对角线组合矩阵W(k)＝diag(w1 (k),w2 (k),...,wn (k))，wi (k)为网格k中第i个特征点对应的权重，组合矩阵A表示：A＝(a1 T,a2 T,...,an T)T，T为转置符号，a1为第1个特征点的线性参数矩阵a，其中，特征点的坐标Pi(x,y,1)T和其投影坐标Pi'(x',y',1)T的线性参数矩阵a为：
4.根据权利要求1所述的方法，其特征在于：步骤S3中列与列图像的拼接过程中第i张图像中网格k内的某一坐标pi,k投影到基准坐标系的坐标pi,k'的公式如下所示：
其中，
是第j张图像的网格k经过网格变换投影到上一张图像坐标系的变换矩阵；N为图像的列数，m为图像中的网格总数。
5.根据权利要求1所述的方法，其特征在于：若是图像为航拍图像，步骤S1之前还包括：对航拍图像进行单列图像拼接，并将拼接后的单列图像作为步骤S1中的所述待拼接图像；
其中，所述单列图像拼接过程进行局部特征点密度抑制，再计算相邻图像的单应性矩阵以及推导传递关系以获得当前图像间的坐标关系来进行单列远红外图像的拼接。
6.一种基于权利要求1-5任一项所述方法的拼接***，其特征在于：
单列图像的特征提取模块，用于获取待拼接的图像，并筛选出待拼接图像中的特征点；
其中，待拼接的图像为若干个单列图像；
网格划分模块，用于对各个所述单列图像进行网格划分；
网格的变换矩阵计算模块，用于至少结合区域相似变换和局部单应变换计算得到图像上每个网格的变换矩阵，其中，依据网格位置确定每个网格中区域相似变换和局部单应变换所占权重，从而得到网格的变换矩阵，且所述网格的变换矩阵对应的投影关系是依据列与列图像拼接过程所选择的投影顺序来确定；
拼接模块，用于基于所述单列图像中每个网格的变换矩阵并利用各单列图像之间的相邻关系进行网格变换的递推实现列与列图像之间的拼接。
7.一种可读存储介质，其特征在于：存储了计算机程序，所述计算机程序被处理器调用以执行权利要求1-5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110115167.2A CN112801870B (zh) | 2021-01-28 | 2021-01-28 | 一种基于网格优化的图像拼接方法，拼接***及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110115167.2A CN112801870B (zh) | 2021-01-28 | 2021-01-28 | 一种基于网格优化的图像拼接方法，拼接***及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112801870A CN112801870A (zh) | 2021-05-14 |
| CN112801870B true CN112801870B (zh) | 2022-05-17 |
Family
ID=75812314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110115167.2A Active CN112801870B (zh) | 2021-01-28 | 2021-01-28 | 一种基于网格优化的图像拼接方法，拼接***及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112801870B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113310722A (zh) * | 2021-05-26 | 2021-08-27 | 中南大学 | 一种对粉料进行网格分区自动随机取样的设备和方法 |
| CN113313771B (zh) * | 2021-07-19 | 2021-10-12 | 山东捷瑞数字科技股份有限公司 | 一种工业复杂设备的全方位测量方法 |
| CN117333368B (zh) * | 2023-10-10 | 2024-05-21 | 南京矩视科技有限公司 | 一种基于局部边缘分析的图像拼接方法、设备和存储介质 |
| CN117575902B (zh) * | 2024-01-16 | 2024-03-29 | 四川新视创伟超高清科技有限公司 | 大场景监控图像拼接方法及拼接*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658370A (zh) * | 2018-11-29 | 2019-04-19 | 天津大学 | 基于混合变换的图像拼接方法 |
| CN109886878A (zh) * | 2019-03-20 | 2019-06-14 | 中南大学 | 一种基于由粗到精配准的红外图像拼接方法 |
| CN109978760A (zh) * | 2017-12-27 | 2019-07-05 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3726457A1 (en) * | 2019-04-15 | 2020-10-21 | Tata Consultancy Services Limited | System and a method for stitching images using non-linear optimization and multi-constraint cost function minimization |
-
2021
- 2021-01-28 CN CN202110115167.2A patent/CN112801870B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978760A (zh) * | 2017-12-27 | 2019-07-05 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法及装置 |
| CN109658370A (zh) * | 2018-11-29 | 2019-04-19 | 天津大学 | 基于混合变换的图像拼接方法 |
| CN109886878A (zh) * | 2019-03-20 | 2019-06-14 | 中南大学 | 一种基于由粗到精配准的红外图像拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112801870A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112801870B (zh) | 一种基于网格优化的图像拼接方法，拼接***及可读存储介质 | |
| Zhang et al. | Zoom to learn, learn to zoom | |
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| KR101175097B1 (ko) | 파노라마 영상 생성 방법 | |
| Adel et al. | Image stitching based on feature extraction techniques: a survey | |
| US9224189B2 (en) | Method and apparatus for combining panoramic image | |
| CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
| Zhang | Iterative closest point (ICP) | |
| CN104392416B (zh) | 一种运动场景的视频拼接方法 | |
| Vollmer | Infrared thermal imaging | |
| CN109118544B (zh) | 基于透视变换的合成孔径成像方法 | |
| CN108734657B (zh) | 一种具有视差处理能力的图像拼接方法 | |
| WO2021017588A1 (zh) | 一种基于傅立叶频谱提取的图像融合方法 | |
| CN113191954B (zh) | 一种基于双目相机的全景图像拼接方法 | |
| CN111383252B (zh) | 多相机目标追踪方法、***、装置及存储介质 | |
| Buades et al. | Multi image noise estimation and denoising | |
| Tan | Image-based modeling | |
| Lai et al. | Hyperspectral Image Super Resolution With Real Unaligned RGB Guidance | |
| CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
| CN114663284A (zh) | 红外热成像全景图像处理方法、***及存储介质 | |
| Jayasuriya | Image sensors | |
| Chan | Image-based rendering | |
| Banaeyan et al. | A novel concept for smart camera image stitching | |
| Brown | Image Stitching | |
| Langer | Interreflections |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |