CN105761233A - 一种基于fpga的实时全景图像拼接方法 - Google Patents

Abstract

本发明提出了一种基于FPGA的实时全景图像拼接方法。首先，对采集到的视频数据进行灰度转换；接着，利用Harris角点检测法提取视频流中每一帧图像的特征点；得到前后两帧图像的角点坐标后，分别对以角点为中心的领域利用NCC-SSDA融合算法进行计算，找出两帧图像特征点之间的对应关系。然后，采用RANSAC算法去除非匹配点对，估计仿射变换模型参数，找到最佳模型，并将符合模型的所有局内点作为最终匹配结果；最后，采用加权平滑算法对图像边缘进行融合，无缝显示拼接后的图像。本发明能迅速而且精确地完成单摄像头360°全景拼接，具有配准精度高、实时性强、稳定性好的特点。

Description

一种基于FPGA的实时全景图像拼接方法

技术领域

本发明属于实时全景图像拼接领域，具体涉及一种基于FPGA的实时全景图像拼接方法。

背景技术

图像拼接是一个日益流行的研究领域，它是指将同一场景的、相互间存在重叠部分的多幅图像进行空间匹配对准，经重采样融合后形成一幅包含各图像序列信息的、宽视角场景的、完整的、高清晰的全景图。图像拼接被广泛应用于计算机视觉、图像处理、计算机、图形学、医学图像分析及虚拟现实等领域。

图像拼接的关键是图像的匹配。图像匹配技术包括：基于图像灰度的匹配，基于特征的匹配和基于变换域的匹配。其中基于特征的匹配由于利用图像中数量较少、特征较稳定的一些点、线或边缘等进行匹配，大大减少了所需处理的信息量，使得匹配搜索的计算量小、速度较快、匹配精度较高，而且该方法对图像灰度的变化具有鲁棒性，是目前研究最多、应用最广的一类匹配方法。

文献一(郑志彬，叶中付.一种基于Harris角点特征的图像拼接方法，2010,36(10):23-25.)首先利用Harris角检测算法提取特征点，然后通过归一化相关法进行初匹配，接着引入马氏距离实现图像的精匹配，虽然算法简单，但精度有待提高；文献二(李柏林,基于特征点图像拼接的配准算法研究：[硕士学位论文]天津大学2008)将精匹配部分换成了RANSAC算法，但是RANSAC必须以串行迭代的方式进行足够多的抽样来保证成功率，运算速度受到限制，需要进一步简化改进以达到实时的效果。

为了实现图像拼接***的实时性，FPGA凭借它并行的结构、海量的逻辑阵列，可以实现高速信号处理运算，成为众多设计者的首选。考虑到Harris角点检测法并行性较强，在FPGA硬件平台上能达到实时检测，因此，本文提出了一种在FPGA上实现的基于Harris角点检测算子的图像拼接方法，通过NCC-SSDA融合算法和RANSAC算法进行匹配，可以得到精度好、实时性高的全景拼接图像。

发明内容

本发明公开了一种基于FPGA的实时全景图像拼接方法，能快速精确地完成单摄像头360°全景拼接，具有配准精度高、实时性强、稳定性好的特点。

为了解决上述技术问题，本发明提出一种基于FPGA的实时全景图像拼接方法，包括以下步骤：

步骤一：通过单摄像头旋转采集BT656格式的视频图像，并对视频图像进行格式转换，输出灰度图像。

步骤二：采用FPGA流水线的设计思想，在无需存储整幅图像的情况下，利用Harris角点检测法提取视频图像中每一帧图像的特征点，并做上标记。

步骤三：存储前后两帧图像，并标记计算特征点坐标，利用特征点坐标分别从两幅图像中读出以角点为中心，3×3窗口的图像数据，使用NCC-SSDA融合算法进行计算比较，找出两帧图像特征点之间的对应关系。

步骤四：为了提高图像拼接的精度，采用RANSAC算法去除非匹配点对。采用RANSAC算法时，对仿射变换模型进行参数估计，找到最佳模型，并将符合模型的所有局内点作为最终匹配结果，完成匹配。

步骤五：往往两幅图像拼接处存在明显的裂缝，必须对图像进行平滑处理。这里采用加权平滑算法，使颜色逐渐过渡，以避免图像的模糊和明显的边界。最终，依次将处理完成的每一帧的视频数据存入寄存器中并显示。

本发明与现有技术相比，其显著优点在于，充分利用了FPGA的流水线特点，简化Harris中高斯滤波等复杂计算，实现了实时的角点提取；结合NCC算法和SSDA算法的优点，将两种算法进行融合完成初匹配，既保证了匹配的准确度也提高***速度；利用FPGA并行执行的特点，取消RANSAC算法中的迭代，让k次“假设-检验”过程同时进行，加快匹配速度。本算法采用纯硬件实现，数据传输率快，运算速度快，实时性好，效率高。

附图说明

图1为本发明基于FPGA的实时全景图像拼接方法流程图；

图2为本发明基于FPGA的实现Harris角点提取的流程图；

图3为本发明利用RAM代替FIFO实现3×3窗口的结构图；

图4为本发明基于FPGA的归一化互相关系数计算的流程图；

图5为本发明基于FPGA的RANSAC算法实现的流程图；

图6为本发明基于FPGA的伪随机数产生器实现的流程图；

图7为本发明基于FPGA的实时全景图像拼接方法的实验效果图。

具体实施方式

如图1所示，本发明实现了通过单摄像头旋转360°获得实时视频全景拼接图像，具体包括以下步骤：

步骤一：通过单摄像头旋转采集BT656格式的视频图像，并将视频灰度化。

BT656格式的每行数据包括水平控制信号和YCbCr视频数据信号，视频数据以27Mbit/s的速率传送，顺序是Cb、Y、Cr、Y、Cb、Y、Cr……其中，Cb、Y、Cr指的是同址的亮度和色差信号取样，后面的Y对应于下一个亮度取样。所以将其灰度化，即提取每个像素的亮度信息Y。

步骤二：得到灰度视频数据流后，首先利用Harris角点检测法提取图像的特征点，Harris角点检测算法只涉及到图像的一阶导数，首先定义与自相关函数矩阵相关联的矩阵M：

$M=G\⊗\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]=\left[\begin{array}{cc}A& C\\ C& B\end{array}\right]$

其中I_x和I_y分别为图像I在x方向和y方向的梯度值，G为高斯模板，A、B、C分

别为对I_xI_y进行高斯滤波后的结果。

在矩阵M的基础上,可以得到如下的角点响应函数:

CRF＝det(M)-k·trace²(M)

式中，det为矩阵的行列式，k是一个正数，通常取0.04-0.2，trace表示矩阵的迹，即主对角线元素数值的和，CRF取得局部极大值的点即为候选角点。

如图2所示，采用FPGA流水线的设计思想，在无需存储整幅图像的情况下，Harris角点检测法提取图像的特征点的具体实现方法如下：

(1)首先分别计算像素点在x，y方向上的梯度。在实际操作时，采取类似卷积的形式，分别使用模板[-101]和[-101]^T在图像上移动,并在每个位置计算对应中心像素的梯度值,得到x方向和y方向的两幅梯度图像：

$I_x=\frac{\∂I}{\∂x}=I\⊗\left[\begin{array}{ccc}-1& 0& 1\end{array}\right],I_y=\frac{\∂I}{\∂y}=I\⊗{\left[\begin{array}{ccc}-1& 0& 1\end{array}\right]}^T$

为了同时求得两个方向的梯度值，我们将模板整合为 $\left[\begin{array}{ccc}0& -1& 0\\ -1& 0& 1\\ 0& 1& 0\end{array}\right].$ 但为了节约资源，本发明用一个双口的RAM代替两个FIFO来实现3×3的窗口。RAM设置为readfirst模式，即可实现与FIFO一样先进先出的效果。得到3X3矩阵 $\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right],$ 其中a₁₁，a₁₂…a₃₃为像素灰度值。如图3所示，那么，I_x＝a₂₃-a₂₁，I_y＝a₂₂-a₁₂。

(2)计算梯度乘积：I_xI_y＝I_x·I_y。

上述计算要消耗三个乘法器，消耗资源较多。由于|I_x|和|I_y|的数值范围已知，在[0,255]的区间内，故我们选择将0到255所有整数的平方做成查找表，以coe的形式存储在ROM中。同时，本发明将I_xI_y的计算方法改为(I_x+I_y)²同样用查找表实现，除以2则能用右移实现。这样很大程度上节约了FPGA的资源。

(3)将I_xI_y分别进行高斯滤波，从而可以得到M矩阵的A、B、C三个参数： $A=I_x^2\⊗G,B=I_y^2\⊗G,C=I_x{I}_y\⊗G.$

为了能够达到更快的处理速度，这里采用并行的处理方式。其中高斯滤波选用3×3模板，根据高斯滤波公式由于FPGA中2的幂可以通过简单的移位操作来完成，因此，将模板系数近似为 $\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right],$ 减少了乘法器的使用，节省了资源，同时Matlab仿真表明对高斯卷积的最后结果影响不大。其中，3×3窗口的实现过程与1中相同，将窗口中的9个数分别与高斯模板中对应位置的系数相乘后，累加就可得到高斯卷积结果。

(4)计算每个像素的角点响应函数，得到由CRF值组成的测度图。这里使用经典的Harris方法：

CRF＝det(M)-k·trace²(M)＝(AB-C²)-k(A+B)²

其中，k是一个正的常数，通常取0.04-0.2，为了计算方便，本发明将k的取值选为1/16，这样在计算出(A+B)²后只需向右移四位即可。

(5)得到角点测度图像后，需要通过非极大值抑制，剔除角点特征不明显的点。比较3×3窗口内中心点的响应函数值与其余8个点的响应函数值大小，找到局部极值点。然而局部极值点的数目往往很多，必须通过设置CRF门限。为了计算方便，本发明将门限设置为CEF_t＝CRF_max/8，只需将求出的CRF左移3位(即放大八倍)再与CRF_max比较即可。同时，考虑到视频是数据流形式，CRF_max只能在一帧图像结束后求得，而前后两帧的图像数据相差不大，故我们选择使用前一帧的CRF_max值来计算当前帧图像的CRF门限。

步骤三：经过Harris角点提取之后，获得两幅图像的角点标记值为1的像素点的具体的坐标，而要想实现图像的配准拼接，就需要利用图像匹配技术就能够找出特征点的对应关系。

归一化互相关系数法(NCC)是一种常用的角点匹配方法，具有一定的抗噪声能力，但其计算速度很慢，需要在非匹配点上做无用功。而序列相似性检测算法(SSDA)是一种快速的块匹配算法，是针对一般模板匹配算法计算量大而提出的减少计算量的误差累计算法。这里采用NCC-SSDA融合算法，先使用SSDA算法进行角点间的非相似度检测，如果通过检测，那么继续计算其相关系数；否则，直接进行下一对角点的匹配。

假定X_s(x_s，y_s)、X_k(x_k，y_k)分别是待匹配图像I₁与参考图像I₂中第s个和第k个角点，以X_s，X_k为中心的窗口大小为W＝(2n+1)(2n+1)。首先计算以X_s，X_k为中心的窗口误差和序列；

$E(X_s,X_k)=\underset{t=0}{\overset{w}{\mathrm{\Σ}}}|I_1(X_s+t)-I_2(X_k+t)|$

融合算法采用固定阈值T的SSDA算法，而且改进了误差序列的计算方法，不是顺序计算W_s中(2n+1)(2n+1)个点计算误差。离中心点越近的像素点对于非相似度的计算越重要，如果两个角点确实不匹配，那么E的值会迅速增加，从而很快超过设置的阈值。所以首先计算中心点的误差，然后累加距离中心点欧式距离为1的点的误差，逐渐往外扩散。

将E与定义好的阈值序列T比较，如果E>T，则停止计算，计算下一个待匹配点处的误差；如果E<T，则继续累加，直到t＝W，转而进行相关系数计算。为了减少FPGA的资源消耗，尽量减少除法运算，在实际的FPGA运算中，我们采用去均值的NCC。两图像相关窗口的相关系数Cor的公式：

$\mathrm{Cor}(X_s,X_k)=\frac{{\mathrm{\&Sigma;}}_{i=-n}^n{\mathrm{\&Sigma;}}_{j=-n}^n(P_{\mathrm{ij}}\&times;Q_{\mathrm{ij}})}{\sqrt{{\mathrm{\&Sigma;}}_{i=-n}^n{\mathrm{\&Sigma;}}_{j=-n}^n{P_{\mathrm{ij}}}^2\&times;{\mathrm{\&Sigma;}}_{i=-n}^n{\mathrm{\&Sigma;}}_{j=-n}^n{Q_{\mathrm{ij}}}^2}}$

P_ij＝W_s×I₁(x_s+i，y_s+j)-S(X_s)，Q_ij＝W_k×I₂(x_k+i，y_k+j)-S(X_k)

$S\left(X\right)=\underset{i=-n}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=-n}{\overset{n}{\mathrm{\&Sigma;}}}I(x+i,y+j)$

其中，n为窗口半径，i、j为像素与窗口中心点的相对位置，P、Q、S为计算公式的中间变量。归一化互相关系数计算具体过程如图4所示。为了方便起见本发明只用3×3的窗口进行计算，即n＝1。

首先令s＝1，依次读取I₂角点地址，判断与X₁的位置关系，若小于某一阈值，则用I₁中X₁的窗口与I₂的X_k窗口进行NCC-SSDA融合算法计算。比较得到的归一化互相关系数，本发明认为，最小系数所对应的I₂的角点与I₁的角点1相互匹配。但是考虑到3×3窗口计算的精度比较低，容易产生错配，本发明加上两个附加条件：给归一化互相关系数设一个阈值，当它必须大于这个阈值；同时，考虑到是序列图像，且摄像头是水平旋转，当相匹配的两角点的坐标差值在某个范围内才算有效，而范围由摄像头的旋转速度决定。满足上述三个条件，则完成初步匹配，并将这两个角点的坐标存储在一起，为步骤三精匹配做准备。

接着s＝2，用I₁中的窗口X₂与I₂的窗口X_k重复上述判断，求得匹配点。以此类推，s+1，直到第一幅图的所有角点都在第二幅图找到匹配点为止。在本步骤中，通过提高运算时钟的方法来达到实时的效果。

步骤四：在角点邻域相关匹配步骤中所建立的初步匹配点对中，产生的误匹配的点对极大地影响图像拼接的精度，使拼接结果出现偏差，需要找出一种算法去除非匹配点对。而RANSAC算法刚好可以做到这一点。RANSAC是一种具有良好鲁棒性的模型参数估计方法，其传统串行实现方式的基本原理是：

(1)在大小为N的数据集A中随机采样一组由n个点组成的样本a_i，其中，n为估计模型所需的最少点数。

(2)根据采样样本a_i计算基础模型参数，得到估计模型M_i。仿射变换是一个非奇异的线性变换接上一个平移变换，相比于其他变换，需要更少的特征点对来达到较高的精度，矩阵表达式如下：

$\left[\begin{array}{c}{q}_x\\ q_y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{00}& a_{01}& t_x\\ a_{10}& a_{11}& t_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{p}_x\\ p_y\\ 1\end{array}\right]$

其中q为变换后图像，p为变换前图像，x、y为坐标值，t为平移变换参数，a为其他变换参数。一个平面上的仿射变换有6个自由度，对应6个矩阵元素，也就是说从两幅图中找出相对应的3组特征点就可以解出仿射变换的参数。

(3)对A中所有数据进行检验，如果符合Mi的点足够多，则判断模型的参数有效。利用仿射变换模型，对待匹配图像进行再投影，用公式计算变换后的待匹配图像与参考图像之间的误差：如果误差小于设定的阈值，则认为这个特征点是线内点，最终迭代找到最大线内点集。

(4)重复1-3，在完成一定次数的迭代之后仍未找到一致集则算法失效，反之选择抽样后对应最大一致集(误差最小)的模型作为最佳模型M，并将符合M的所有局内点作为结果输出。

假设样本集合中内点的比例为ω，迭代次数为g，拟合模型最小样本集个数为n，若每次抽样之间为独立抽样，抽取集合中n点全部为内点的概率是ωⁿ，至少有一个外点的抽样概率为1-ωⁿ。当采样集有一个外点时模型拟合参数为异常，故算法拟合出正确结果的概率p具有以下关系：

可以得到迭代次数的关系式为：

$g=\frac{\log (1-p)}{\log (1-{\mathrm{\&omega;}}^n)}$

在仿射变换模型中，n为3。假设由步骤二得到的匹配结果中，内点比例为60％，而正确率要求大于99％，则根据上述公式计算得到，迭代次数只需要20次，即g＝20。

实际运算中，传统串行RANSAC算法要求对“假设-检验”过程进行g次迭代，导致计算速度难以提高，很难实现实时的要求。为了提高运算速度，充分利用FPGA并行执行的特点，取消迭代，让g次“假设-检验”过程同时进行，即在数据集A中同时采集20组样本a_i，估计出g个模型M_i。如图5所示，基于FPGA利用RANSAC算法剔除错误匹配点对，实现精匹配的过程如下：

1)首先设计一个伪随机数产生器，利用产生的随机数，随机从地址存储器中读取匹配点对的地址，即产生随机样本a_i。

通过一定的算法对事先选定的随机种子(seed)做一定的运算可以得到一组人工生成的周期序列，在这组序列中以相同的概率选取其中一个数字，该数字称作伪随机数，由于所选数字并不具有完全的随机性，但是从实用的角度而言，其随机程度已足够了。产生伪随机数的方法最常见的是利用一种线性反馈移位寄存器(LFSR)，它是由n个D触发器和若干个异或门组成的，如图6所示。其中，gn为反馈系数，取值只能为0或1，取为0时表明不存在该反馈之路，取为1时表明存在该反馈之路；n个D触发器最多可以提供2^n-1个状态(不包括全0的状态)。最终产生的随机数为Q＝{Q0,Q1,…,Qn-1}。

2)接着根据1中得到的随机样本ai计算仿射变换模型参数。由矩阵表达式已知，计算模型参数就是求解仿射变换矩阵：

$H=\left[\begin{array}{ccc}{a}_{00}& a_{01}& t_x\\ a_{10}& a_{11}& t_y\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}{x}_1^{\&prime;}& x_2^{\&prime;}& x_3^{\&prime;}\\ y_1^{\&prime;}& y_2^{\&prime;}& y_3^{\&prime;}\\ 1& 1& 1\end{array}\right]{\left[\begin{array}{ccc}{x}_1& x_2& x_3\\ y_1& y_2& y_3\\ 1& 1& 1\end{array}\right]}^{-1}$

其中，主要的难点在于对矩阵的求逆，这里采用矩阵分解法完成矩阵求逆。矩阵分解法通过把原始矩阵化简为简单矩阵的乘积，如三角矩阵和酉矩阵等便于求逆的矩阵。较为常用的有三角矩阵。

第一步，是将矩阵分解为两个三角阵的积，设：

$A=\mathrm{LU}=\left[\begin{array}{ccc}1& 0& 0\\ l_{21}& 1& 0\\ l_{31}& l_{32}& 1\end{array}\right]\left[\begin{array}{ccc}{u}_{11}& u_{12}& u_{13}\\ 0& u_{22}& u_{23}\\ 0& 0& u_{33}\end{array}\right]$

LU分解的公式为：

第二步，采用初等变换法可以得到三角矩阵的逆矩阵的一般公式。对于3阶上三角矩阵U，求逆过程中与3阶单位阵E构成增广矩阵：

对第n列(n为最后一行)的操作步骤如下：从第n行开始，先除以u_nn；然后乘以-u_in加到第i行(i＝n-1,n-2,…1)消去U矩阵中第n列除了对角线外的所有元素，以此类推，指导处理完第一列。此时，U矩阵变换成了单位矩阵，而单位矩阵就变成了U的逆矩阵U^-1。

设V＝U^-1，综合上面的步骤可给出U的逆矩阵V的计算公式：

$\left\{\begin{array}{c}{v}_{\mathrm{ii}}=1/u_{\mathrm{ii}},i=\mathrm{1,2},...,n\\ v_{\mathrm{ij}}=-\underset{k=i+1}{\overset{j}{\mathrm{\&Sigma;}}}{v}_{\mathrm{kj}}{u}_{\mathrm{ik}}/u_{\mathrm{ii}},i=n-1,...,1;j=i+1,...,n\end{array}\right.$

采用FPGA并行思想，同时对两个三角矩阵进行求逆。对于下三角阵，先计算下三角矩阵L的转置，上三角矩阵L^T的逆，然后再转置求出L^-1：

L^-1＝((L^T)^T)^-1＝((L^T)^-1)^T

第三步，利用并行的相乘和累加模块，将两个三角矩阵的逆矩阵相乘，最终得到原始矩阵的逆矩阵：A^-1＝U^-1L^-1。

3)利用2中求得的仿射变换模型，将待匹配图像投影到参考图像的坐标系中。计算投影后的待匹配图像与参考图像中对应匹配点距离：

$\left[\begin{array}{c}\mathrm{dx}\\ \mathrm{dy}\\ 1\end{array}\right]=H*\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]-\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right]$

为了计算方便，用绝对差和的计算方式代替欧式距离公式：E＝|dx|+|dy|。对E小于1的匹配点对进行计数。比较所有的模型，选择计数结果最大的模型，作为最优模型。同时，将其对应的符合条件的匹配点对，作为最终精匹配的结果。

步骤五：采用上述方法进行图像拼接后，往往两幅图像拼接处存在明显的裂缝，为了去除裂缝，必须对图像进行平滑处理。这里采用加权平滑算法，使颜色逐渐过渡，以避免图像的模糊和明显的边界。该方法的主要思想是：将图像重叠区域的像素值按一定的权值相加合成新的图像。

相邻图像I₁、I₂在区间[x₁，x₂]上重叠，w₁(x)、w₂(x)为加权函数，这里采用的加权函数为：

w₂(x)＝1-w₁(x)＝1-i/w

式中，0≤i≥w，i是一个0到w递增的整数。w为重叠区域的宽度，那么重叠图像I在这个区间上(x，y)点的像素值为：

I(x，y)＝I₁(x，y)×w₁(x)+I₂(x，y)×w₂(x)

由于FPGA处理2的幂比较方便，这里，选用w为16，计算从后一帧左边缘开始与前一帧像素的重叠部分。利用步骤四中得到的匹配坐标，将处理完的视频数据，存储到外部寄存器，并用DVI显示到屏幕中。

本发明的有益效果可以根据以下实验进一步说明：如图7所示，图7(a)使用本发明步骤二利用Harris角点检测法分别提取前后两帧图像的特征点；图7(b)使用本发明步骤三、四对图像特征点进行匹配后的结果；图7(c)两帧图像拼接后结果；图7(d)FPGA实现对自然场景的全景拼接效果。从图中可以看出，本***实现了全景图像的无缝拼接，具有很好的准确性和稳定性。

Claims (5)

1.一种基于FPGA的实时全景图像拼接方法，其特征在于，包括以下步骤：

步骤一：通过单摄像头旋转采集BT656格式的视频图像，并对视频图像进行格式转换，输出灰度图像；

步骤二：利用Harris角点检测法提取视频图像中每一帧图像的特征点，并做上标记；

步骤三：存储前后两帧图像，并标记计算特征点坐标，利用特征点坐标分别从两幅图像中读出以角点为中心的窗口的图像数据，使用NCC-SSDA融合算法进行计算比较，找出两帧图像特征点之间的对应关系；

步骤四：采用RANSAC算法去除非匹配点对；

步骤五：采用加权平滑算法对待拼接的幅图像进行平滑处理。

2.如权利要求1所述的基于FPGA的实时全景图像拼接方法，其特征在于，步骤二定义与自相关函数矩阵相关联的矩阵为M，且有

$M=G\&CircleTimes;\begin{array}{}\end{array}\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]=\begin{array}{}\end{array}\left[\begin{array}{cc}A& C\\ C& B\end{array}\right]$

其中，I_x和I_y分别为图像I在x方向和y方向的阶导数，G为高斯模板，A、B、C分别为对I_xI_y进行高斯滤波后的结果；

在矩阵M的基础上得到的角点响应函数CRF为：

CRF＝det(M)-k·trace²(M)

式中，det为矩阵的行列式，k是一个常数，通常取0.04-0.2，trace表示矩阵的迹，即主对角线元素数值的和，CRF取得局部极大值的点即为候选角点。

3.如权利要求1所述的基于FPGA的实时全景图像拼接方法，其特征在于，步骤三中，使用SSDA算法进行角点间的非相似度检测，如果通过检测，则继续计算其相关系数；否则，直接进行下一对角点的匹配。

4.如权利要求1所述的基于FPGA的实时全景图像拼接方法，其特征在于，步骤四中，RANSAC的计算过程为：

(1)在大小为N的数据集A中随机采样一组由n个点组成的样本a_i，其中，n为估计模型所需的最少点数；

(2)根据采样样本a_i计算基础模型参数，得到估计模型M_i；仿射变换是一个非奇异的线性变换接上一个平移变换，矩阵表达式如下：

$\left[\begin{array}{c}{q}_x\\ q_y\\ 1\end{array}\right]=\begin{array}{}\end{array}\left[\begin{array}{ccc}{a}_{00}& a_{01}& t_x\\ a_{10}& a_{11}& t_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{p}_x\\ p_y\\ 1\end{array}\right]$

一个平面上的仿射变换有6个自由度，对应6个矩阵元素；

(3)对A中所有数据进行检验，如果符合Mi的点足够多，则判断模型的参数有效；利用仿射变换模型，对待匹配图像进行再投影，用公式计算变换后的待匹配图像与参考图像之间的误差：如果误差小于设定的阈值，则认为这个特征点是线内点，最终迭代找到最大线内点集；

(4)重复(1)至(3)，在完成一定次数的迭代之后，选择抽样后对应最大一致集的模型作为最佳模型M，并将符合M的所有局内点作为结果输出。

5.如权利要求4所述的基于FPGA的实时全景图像拼接方法，其特征在于，通过求解如下仿射变换矩阵H获得模型参数，

$H=\left[\begin{array}{ccc}{a}_{00}& a_{01}& t_x\\ a_{10}& a_{11}& t_y\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}{x}_1^{\&prime;}& x_2^{\&prime;}& x_3^{\&prime;}\\ y_1^{\&prime;}& y_2^{\&prime;}& y_3^{\&prime;}\\ 1& 1& 1\end{array}\right]{\left[\begin{array}{ccc}{x}_1& x_2& x_3\\ y_1& y_2& y_3\\ 1& 1& 1\end{array}\right]}^{-1}.$