CN104657553A

CN104657553A - 一种基于快速归一化互相关法的相似性测度硬件加速方法

Info

Publication number: CN104657553A
Application number: CN201510070071.3A
Authority: CN
Inventors: 赵雄波; 刘亮亮; 吴松龄; 范仁浩; 严志刚; 蒋彭龙; 田甜; 孟景
Original assignee: China Academy of Launch Vehicle Technology CALT; Beijing Aerospace Automatic Control Research Institute
Current assignee: China Academy of Launch Vehicle Technology CALT; Beijing Aerospace Automatic Control Research Institute
Priority date: 2015-02-10
Filing date: 2015-02-10
Publication date: 2015-05-27
Anticipated expiration: 2035-02-10
Also published as: CN104657553B

Abstract

一种基于快速归一化互相关法的相似性测度硬件加速方法，首先建立实时图与模板图之间相关系数的数学模型；然后利用两层流水线进行硬件算法的设计，并利用有限状态机方法计算搜索窗口选定的实时图与模板图之间的相关系数；在所有搜索窗口选定的实时图与模板图之间的相关系数计算完成后，找出相关系数中的最大值和对应搜索窗口左上角在实时图坐标系中的横坐标和纵坐标，该搜索窗口对应的选定区域即为匹配区域，本发明合理控制硬件资源代价，在Xilinx Virtex5-XC5VFX100T下满足达到100M的要求，对大小为80*64的实时图和大小为25*25的模板图进行相似性匹配运算只需3.5ms，极大的提高了算法速度。

Description

一种基于快速归一化互相关法的相似性测度硬件加速方法

技术领域

本发明涉及一种硬件加速方法，特别是一种基于快速归一化互相关法的相似性测度硬件加速方法，适用于专用算法硬件电路设计领域。

背景技术

基于图像匹配的信息处理技术在新一代航天型号中已经开始大量应用，图像处理的实时性直接影响着制导精度。以往基于通用处理器(如DSP)采用软件实现图像处理算法越来越难以满足航天型号的实时性要求。目前，经常采用简化算法牺牲算法精度的方式来减小算法运算时间。通过算法硬件化实现算法加速是减小算法运算时间的最有效手段。

目前图像处理采用的是基于灰度信息的匹配方法，这种方法匹配精度高但是运算量比较大。基于相似性测度的图像匹配算法是其中计算量最大，耗时最长的算法。相似性度量准则是计算目标模板图与实时图之间相似程度的准则。在众多相似性评判依据中，归一化互相关法(NCC)被认为是最佳的。它具有匹配精确度高，抗背景噪声能力强、图像畸变适应性强(当图像围绕中心点旋转、相对缩放所导致的畸变差异不大时，其匹配结果也能令人满意)等特性。基于以上特点，归一化互相关法在匹配问题上得到了广泛且有效的应用。但是归一化互相关法运算复杂度较高，计算时间耗费较长，对于实时性要求较高的匹配应用有一定的局限性。现基于归一化互相关法的相似性测度的图像匹配算法多采用高性能DSP来实现。但随着图像尺寸的增加运算量的增大，此方案很难满足航天型号的实时性要求。为满足实时性，甚至采用牺牲算法精度的方式，基于归一化互相关法的相似性测度算法的硬件加速迫在眉睫。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供了一种基于归一化互相关法的相似性测度硬件加速方法，通过优化改进相关系数算法公式，在硬件计算中采用两层流水线设计，合理控制硬件资源代价，采用状态机进行相关系数的计算，并在Xilinx virtex5-XC5VFX100T下满足达到100M的要求，极大的提高了算法速度，最大程度上满足了专用算法硬件电路设计的需求。

本发明的技术解决方案是：一种基于快速归一化互相关法的相似性测度硬件加速方法，步骤如下：

(1)建立实时图与模板图之间相关系数的数学模型；所述数学模型由公式：

ρ (p, q) = \frac{Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q) \cdot T (x, y) - \overset{&OverBar;}{T} \cdot Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q)}{\sqrt{(Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} {(s + p, y + q)}^{2}) \cdot m \cdot n - {(Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q))}^{2}} \cdot \sqrt{\frac{Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} T {(x, y)}^{2}}{m \cdot n} - {\overset{&OverBar;}{T}}^{2}}}

给出，ρ(p,q)为搜索窗口选定的实时图与模板图之间的相关系数；p和q分别为搜索窗口左上角在实时图坐标系中的横坐标和纵坐标，T(x,y)为模板图中坐标点(x,y)的图像灰度值，S(x+p,y+q)为实时图中对应点的图像灰度值，所述坐标点(x,y)位于模板图坐标系中，表示实时图中搜索窗口所覆盖子图区域的灰度均值，表示模板图的灰度均值，m为模板图宽度，n为模板图高度，所述搜索窗口为与模板图大小、形状均相同的矩形窗口，所述实时图坐标系的坐标原点为实时图的左上角，左上角向右为实时图坐标系X轴正方向，左上角向下为实时图坐标系Y轴正方向，所述模板图坐标系的坐标原点为模板图的左上角，左上角向右为模板图坐标系X轴正方向，左上角向下为模板图坐标系Y轴正方向；

(2)利用硬件从存储器中读取实时图和模板图，根据步骤(1)中的数学模型，分别求得数学模型中的和

(3)步骤(2)中的计算完成后，进入步骤(4)，利用步骤(1)中数学模型和步骤(2)中的结果计算搜索窗口选定的实时图与模板图之间的相关系数；同时，利用硬件从存储器中读取下一幅实时图和模板图，返回步骤(2)；

(4)利用有限状态机方法计算搜索窗口选定的实时图与模板图之间的相关系数；

(5)所有搜索窗口选定的实时图与模板图之间的相关系数计算完成后，找出相关系数中的最大值和对应搜索窗口左上角在实时图坐标系中的横坐标和纵坐标，该搜索窗口对应的选定区域即为目标区域。

所述步骤(2)中的硬件为FPGA或者ASIC。

所述步骤(4)中利用有限状态机方法计算搜索窗口选定的实时图与模板图之间的相关系数，具体为：

所述硬件中包括两个除法器和两个开方器，所述状态机包括6个状态，分别为sta0～sta5，每个状态下硬件的具体操作为：

sta0：备份步骤(2)中的计算结果，若是第一次相关系数运算，准备模板图两个除法和的除数和被除数，并打开两个除法器使能，计算实时图求和的平方以及实时图平方和与m*n的乘积转到sta1，若不是第一次相关系数，计算实时图求和的平方以及实时图平方和与m*n的乘积，转到sta2；

sta1：计算计算完成后保存数据并跳转至sta2；

sta2：由sta1中的结果计算中间变量并确定相关系数运算中的开方数，跳转至sta3；

sta3：由sta2中的中间变量计算相关系数数学模型中的分子；根据sta2中确定的相关系数运算开方数，若是第一次相关系数运算，则打开模板图和实时图开方运算使能，进行模板图和实时图开方运算；若不是第一次相关系数运算，则打开实时图开方运算使能，进行实时图开方运算；跳转至sta4；

sta4：实时图开方运算结束后，计算实时图与模板图开方结果的乘积；打开除法器使能；跳转至sta5；

sta5：进行除法计算得到相关系数，除法运算结束后跳转至sta0，进行下一幅实时图相关系数运算。

所述状态机中的状态采用格雷码编码，具体对应关系为：sta0～000，sta1～001，sta2～010，sta3～011，sta4～111，sta5～110。

本发明与现有技术相比的有益效果是：

(1)本发明对快速归一化互相关法公式进行硬件化变形，使其更适合硬件化实现，变化后的公式不需要读取图像数据计算平均值后再次读取图像数据，减少了运算；并将实时图和模板图运算分离，整个相关系数计算过程中模板图只需要计算一次，采用原始公式需要先计算图像平均值，在进行相似性系数计算，需要对图像数据读取两次；

(2)本发明采用两层流水线设计，通过并行计算大大提高了运算效率，采用优化的除法器和开方器，减小相似性系数运算所需周期和算法硬件资源，并通过采用支持非对齐访问的高位宽存储器，减小图像读取时间，缩减了算法运算时间；

(3)本发明采用了有限状态机来控制除法器、开方器的复用运算，完成相关系数公式的计算，合理利用了硬件资源，提高了运算的效率；

(4)目前基于归一化互相关法的相似性测度的图像匹配算法多采用高性能DSP来实现，本发明实现了该算法的硬件化设计，可用于FPGA或ASIC实现，相对于DSP运算大大提高了该算法的处理速度和效率。

附图说明

图1为本发明的流程图；

图2为模板图与实时图匹配示意图；

图3为单次匹配累积运算流水线示意图；

图4为相关系数两层流水线计算示意图；

图5为相似性测度状态机控制示意图。

具体实施方式

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。下面结合附图对本发明的具体实施方式进行进一步的详细描述。

相似性度量指用一种特定的度量方式来确定待匹配特征之间的相似性，其得到的相似性是图像匹配的关键依据，直接决定了图像是否能够被正确匹配。

如图1所示为本发明的流程图，从图1可知，本发明提出的一种基于归一化互相关法的相似性测度硬件加速方法，具体步骤如下：

(1)建立实时图与模板图之间相关系数的数学模型；

基于归一化互相关法的相似性测度算法是一种比较经典的统计匹配算法，其主要计算过程如下：如图2所示，实时图S的大小为M×N，模板图T的大小为m×n。实时图中黄色区域表示模板图T在实时图S上平移时，搜索窗口所覆盖的子图区域。(p,q)子图区域左上角顶点在实时图S中的坐标位置，然后通过相关函数(公式1)计算子图与模板图的归一化相关值。图像匹配对实时图S自左向右，自上向下进行遍历搜索，然后计算所有子图位置对应的相关系数，共(M-m+1)*(N-n+1)次匹配计算，得到(M-m+1)*(N-n+1)个匹配系数结果。基于归一化互相关法的相似性测度算法所计算出来的最佳匹配位置即为其相关系数最大的搜索子图所对应的位置。

公式1中ρ(p,q)为搜索窗口选定的实时图与模板图之间的相关系数；p和q分别为搜索窗口左上角在实时图坐标系中的横坐标和纵坐标，T(x,y)为模板图中坐标点(x,y)的图像灰度值，S(x+p,y+q)为实时图中对应点的图像灰度值，所述坐标点(x,y)位于模板图坐标系中，表示实时图中搜索窗口所覆盖子图区域的灰度均值，表示模板图的灰度均值，m为模板图宽度，n为模板图高度，所述搜索窗口为与模板图大小、形状均相同的矩形窗口，所述实时图坐标系的坐标原点为实时图的左上角，左上角向右为实时图坐标系X轴正方向，左上角向下为实时图坐标系Y轴正方向，所述模板图坐标系的坐标原点为模板图的左上角，左上角向右为模板图坐标系X轴正方向，左上角向下为模板图坐标系Y轴正方向；

ρ (p, q) = \frac{Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} [S (s + p, y + q) - {\overset{&OverBar;}{S}}_{p, q}] [T (x, y) - \overset{&OverBar;}{T}]}{{Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} {[S (x + p, y + q) - {\overset{&OverBar;}{S}}_{p, q}]}^{2}}^{1 / 2} {Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} {[T (x, y) - \overset{&OverBar;}{T}]}^{2}}^{1 / 2}} - - - (1)

将公式数学展开后化简可得：

ρ (p, q) = \frac{Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (s + p, y + q) \cdot T (x, y) - {\overset{&OverBar;}{S}}_{p, q} \cdot \overset{&OverBar;}{T} \cdot m \cdot n}{\sqrt{(Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} {(x + p, y + q)}^{2} - {\overset{&OverBar;}{S}}_{p, q}^{2} \cdot m \cdot n) \cdot (Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} T {(x, y)}^{2} - {\overset{&OverBar;}{T}}^{2} \cdot m \cdot n)}} - - - (2)

硬件操作中，除法操作远远比加减乘操作更费时、费资源，因此尽量减少除法操作次数可提高运算速度。每次相似性匹配计算时，模板图数据是不变的。因此将除法操作尽量转到模版图上，这样除法只需计算一次。因此公式可变换如公式(3)所示，只需计算模板图求和以及模板图平方和的平均值，不再计算实时图求和平均值。

ρ (p, q) = \frac{Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q) \cdot T (x, y) - \overset{&OverBar;}{T} \cdot Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q)}{\sqrt{((Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} {(x + p, y + q)}^{2}) \cdot m \cdot n - {(Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q))}^{2}) \cdot (\frac{Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} T {(x, y)}^{2}}{m \cdot n} - {\overset{&OverBar;}{T}}^{2})}} - - - (3)

开方运算一般需要多个周期，开方运算时间与开方器位宽成正比。将公式分母进行模板图和实时图分离，这样模板图部分开方只需计算一次，后面可作为常数参与运算，开方器位宽可大大减小，缩短了开方运算时间。最终应用公式变换如下：

ρ (p, q) = \frac{Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q) \cdot T (x, y) - \overset{&OverBar;}{T} \cdot Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q)}{\sqrt{(Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} {(s + p, y + q)}^{2}) \cdot m \cdot n - {(Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q))}^{2}} \cdot \sqrt{\frac{Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} T {(x, y)}^{2}}{m \cdot n} - {\overset{&OverBar;}{T}}^{2}}} - - - (4)

(2)利用硬件从存储器中读取实时图和模板图，根据步骤(1)中的数学模型，分别求得数学模型中的和所述硬件为FPGA或者ASIC，本实施例中选用Xilinx virtex5-XC5VFX100T。

计算这些累积数据采用取址计算、数据读取、累积计算三级流水线设计。模板图和实时图分别读取m*n个灰度，通过存储器优化设计，一次读取多个灰度，可减少单次匹配累积运算时间。本发明一次读取4个灰度，通过优化累积运算，单次匹配累积运算时间可减少至接近之前的四分之一。单次匹配累积运算流水线示意图具体如图3所示；

(3)步骤(2)中的计算完成后，进入步骤(4)，利用步骤(1)中数学模型和步骤(2)中的结果计算搜索窗口选定的实时图与模板图之间的相关系数；同时，利用硬件从存储器中读取下一幅实时图和模板图，返回步骤(2)，相关系数两层流水线计算示意图具体如图4所示；

单次匹配得到相关系数计算需要的平均值、求和、平方和、乘积和等累积值后，按照公式(4)开始计算相关系数，与此同时，进行下一匹配图累积运算。由于图像数据较大，一般单次匹配累积为流水线的关键路径。通过存储器优化设计，减少单次匹配累积运算时间，而且图像数据不大情况下，相关系数计算时间可能超过单次匹配累积运算时间，成为流水线的关键路径。

(4)利用有限状态机方法计算搜索窗口选定的实时图与模板图之间的相关系数；所述状态转换过程具体如图5所示，从图5可知，本发明中的有限状态机方法具体为：

sta1：计算计算完成后保存数据并跳转至sta2；

本发明在Xilinx virtex5-XC5VFX100T下FPGA实现，满足达到100M的要求。对大小为80*64的实时图和大小为25*25的模板图进行相似性匹配运算只需3.5ms，相对于在TI C6416系列DSP上运行速度提高了两个数量级。

Claims

1.一种基于快速归一化互相关法的相似性测度硬件加速方法，其特征在于步骤如下：

ρ (p, q) = \frac{Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q) \cdot T (x, y) - \overset{&OverBar;}{T} \cdot Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q)}{\sqrt{(Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} {(x + p, y + q)}^{2}) \cdot m \cdot n - {(Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q))}^{2}} \sqrt{\frac{Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} T {(x, y)}^{2}}{m \cdot n} {\overset{&OverBar;}{T}}^{2}}}

(2)利用硬件从存储器中读取实时图和模板图，根据步骤(1)中的数学模型，分别求得数学模型中的

Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} F (x, y),

Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q),

Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} {(x + p, y + q)}^{2},

Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} F {(x, y)}^{2}

和

Σ_{x = 0}^{m - 1} Σ_{y = 0}^{n - 1} S_{p, q} (x + p, y + q) \cdot F (x, y)

2.根据权利要求1中的一种基于快速归一化互相关法的相似性测度硬件加速方法，其特征在于：所述步骤(2)中的硬件为FPGA或者ASIC。

3.根据权利要求1中的一种基于快速归一化互相关法的相似性测度硬件加速方法，其特征在于：所述步骤(4)中利用有限状态机方法计算搜索窗口选定的实时图与模板图之间的相关系数，具体为：

sta1：计算计算完成后保存数据并跳转至sta2；

4.根据权利要求3中的一种基于快速归一化互相关法的相似性测度硬件加速方法，其特征在于：所述状态机中的状态采用格雷码编码，具体对应关系为：sta0～000，sta1～001，sta2～010，sta3～011，sta4～111，sta5～110。