CN104835175A - 一种基于视觉注意机制的核环境中目标检测方法 - Google Patents

Abstract

本发明公开了一种基于视觉注意机制的核环境中目标检测方法，包括：对普通相机采集到的图像的亮度、颜色、方向特征进行提取，得到三个特征显著性图；对上述显著性图进行加权融合，得到加权显著图；根据加权显著图获得感兴趣区域并对其进行特征提取；提取γ相机混合图的特征；用SIFT方法将感兴趣性区域与混合图融合，检测目标位置。本发明利用自下而上数据驱动注意模型提取出若干感兴趣区域，大大降低后期匹配过程的计算量；再将其与自上而下任务驱动注意模型相结合建立双向视觉注意模型，能大大提高图像中目标区域检测的精度和处理效率，而且匹配过程消除了场景中不相关区域的干扰，使提取的作业目标具有更好的鲁棒性和准确性。

Description

一种基于视觉注意机制的核环境中目标检测方法

技术领域

本发明涉及图像信息处理技术领域，具体涉及一种基于视觉注意机制的核环境中目标检测方法，该方法具体采用自上而下与自下而上结合的双向视觉注意模型，可用于特殊环境下的目标检测。

背景技术

随着信息技术的快速发展、数据的膨胀，人们对信息处理的速度及精确度的要求越来越高了。理想的信息处理过程是，只需要处理与任务相关的那部分信息，但实际的信息处理过程是，需要处理许多与任务不相关的信息。因此，如何快速找到并仅仅处理与任务相关的那部分信息变得非常重要。

人类视觉注意机制为快速找到并处理与任务相关的那部分信息提供了一种新的研究思路。研究表明，人类视觉具有超强的信息处理能力，面对实时变化的各种信息，总能针对与其最相关的部分及时做出反应，而自动忽略不相关的部分。把人类视觉注意机制应用在图像处理领域，形成图像处理领域的视觉注意机制，能够高效、准确地处理图像信息。因此，在图像处理过程中如何模仿人的视觉注意机制，快速找到图像中的目标区域，对于图像处理的实时性有着重要的意义。

目前，已经有越来越多的研究者投入如何能快速、精准检测显著区域的研究中，并研究出了很多模型，其中一些典型的模型有：

1)Itti模型：其主要过程是从输入图像中提取多方面的特征，如颜色、方向、亮度等，通过高期金字塔和中央周边操作算子形成各个特征的关注图，然后归一化组合得到显著图。在此基础上，通过胜者全取神经网络相互竞争，使得显著区胜出。该方法对局部显著性进行了较好的度量。但没有充分考虑图像的全局信息；且没有考虑实际任务的需求,只属于自下而上的单向注意模型。

2)Stentiford模型：该方法将图像的显著性用视觉注意图表示，其基本思想是当图像某区域特征在图像其他区域中出现频率越少，其区域显著性就越高；通过抑制图像中具有相同模式的区域得到视觉注意图，用于表示显著性。该方法考虑了目标整体性，对图像进行了全局显著性度量，但该模型依然只属于自下而上的注意模型,没有确定的物理意义，也没有根据任务对目标的重要程度进行判断。

3)HOAM模型：该模型是以强度和方向图作为引导视觉注意的早期特征。被注意的单元不是空间的某个点或某个区域，而是具有确定物理意义的完整目标。该方法首先需要假设图像已经分成了若干具有物理意义的目标或目标组合，因此需要人工进行干预。

发明内容

针对于现有技术中存在的上述问题，本发明提供了一种基于视觉注意机制的核环境中目标检测方法，使用该方法能够大幅度提高图像中目标区域检测的精度，提取的显著性目标具有更好的鲁棒性和准确性，同时也大大提高了图像的处理效率。

为实现上述目的，本发明的一个具体实施例所采取的技术方案是：

S1、获取通过普通相机采集的所述目标的图像，提取图像的亮度、颜色和方向特征，分别得到亮度特征图、颜色特征图和方向特征图；

S2、通过高斯金字塔和中央周边算子的方法对亮度特征图、颜色特征图和方向特征图进行计算，分别得到6幅亮度视差图、12幅颜色视差图和24幅方向视差图；

S3、分别对6幅亮度视差图、12幅颜色视差图和24幅方向视差图进行归一化处理，得到亮度显著图颜色显著图和方向显著图

S4、从显著图中选取最显著的点，以点为显著点，在对应的特征显著图中采用区域生长的方式进行分割，得到感兴趣区域；

S5、获取γ相机采集的含有辐射强度分布信息的图像；

S6、分别提取混合图像和普通相机图像感兴趣区域的关键点；

S7、将关键点分别生成特征向量；

S8、将感兴趣区域关键点的特征向量与混合图像关键点的特征向量进行匹配，如果符合匹配条件，则目标为作业目标。

本发明的方法产生的有益效果为：

首先利用自下而上数据驱动注意模型的优势，直接从普通相机采集的图像中提取出若干感兴趣区域，大大降低后期匹配过程的计算量；然后用г相机获取所述目标的计量强度分布和现场灰度的混合图进行特征匹配，建立自上而下与自下而上结合的双向视觉注意模型。因此，大幅度提高了图像中目标区域检测的精度，而且匹配过程消除了场景中不相关区域的干扰，使提取的显著性目标具有更好的鲁棒性和准确性，同时也大幅度提高了处理效率。

附图说明

图1所示为本发明的一种基于视觉注意机制的核环境中目标检测方法的一个技术方案的流程图；

图2所示为本发明的DOG差分金字塔形成过程的示意图；

图3所示为本发明的DOG函数的极值点检测的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。

参考图1，图1所示为本发明的一种基于视觉注意机制的核环境中显著目标的检测方法的一个实施例S100的流程图；实施例S100包括如下步骤S1至S8。

在步骤S1中，获取通过普通相机采集并进行预处理的目标的图像，提取图像的亮度、颜色和方向特征，分别得到亮度特征图、颜色特征图和方向特征图。

在步骤S2中，通过高斯金字塔和中央周边算子的方法对亮度特征图、颜色特征图和方向特征图进行计算，分别得到6幅亮度视差图、12幅颜色视差图和24幅方向视差图。

在本发明的一个实施例中，采用中央周边差的采样方式获取图像的亮度、颜色和方向特征。每一个特征有一组类似视觉感知区域的线性“中间-***”算子计算。

在本发明的一个实施例中，中央和***的尺度可以做如下设定:中央尺度c∈{2,3,4}，***尺度相应的为s＝c+δ，δ∈{3,4}。两个图的相交尺度差分通过精细尺度插补和点对点相减获得，使用不同的尺度得到多尺度特征的提取。

用r，g，b表示输入图像的红、绿、蓝三个颜色通道的像素值，它用来建立高斯金字塔I(x),x＝[0......8]表示尺度级。高斯金字塔图像是一幅图像被高斯滤波后形成的一系列图像集合，随着高斯滤波次数的增加分辨率会逐渐降低。金字塔最底层是未经滤波的图像，分辨率最高，而顶层是图像的低分辨率表示。这样图像金字塔由三个颜色通道的金字塔图像取均值获得，如式(1)所示:

$I\left(x\right)=\frac{r\left(x\right)+g\left(x\right)+b\left(x\right)}{3}---\left(1\right)$

通过中央和***不同尺度下的图像进行差分，获得6幅中央周边差结构的亮度图，如式(2)所示:

I(c,s)＝|I(c)-I(s)|    (2)

其中c∈{2,3,4}，δ∈{3,4}，s＝c+δ；

接着获取颜色特征图，首先对图像提取四个颜色通道红色、绿色、蓝色、黄色上的分量，如式(3)～(6)所示:

红色R＝r-(g+b)/2   (3)

绿色G＝g-(r+b)/2   (4)

蓝色B＝b-(r+g)/2   (5)

黄色Y＝(r+g)/2-|r-g|/2-b    (6)

通过其差分获得12幅中间-***结构颜色图，如式(7)～(8)所示:

RG(c,s)＝|(R(c)-G(c))-(G(s)-R(s))|   (7)

BY(c,s)＝|(B(c)-Y(c))-(Y(s)-B(s))|；   (8)

然后获取方向特征图，亮度金字塔图像I(x)与常用的Gabor方向滤波器进行卷积，可以获得图像的方向，通过差分，获得24幅中间-***结构方向图，如式(9)所示:

O(c,s,θ)＝|O(c,θ)-O(s,θ)|   (9)

其中θ＝{0°,45°,90°,135°}。

至此，根据显著图方法由普通相机采集到的图片得到了6幅亮度特征图、12幅颜色特征图和24幅方向特征图。

在步骤S3中，分别对6幅亮度视差图、12幅颜色视差图和24幅方向视差图进行归一化处理，得到亮度显著图颜色显著图和方向显著图特征图的融合为显著性图提供了一个自下而上的输入，从而模拟成一个动态神经网络。

由于中央-周边的差最能反映图像显著度的高低，在得到关注图后，会存在某种特征存在多处反差极大值的情况，这时就会出现大量显著峰。因此，在本发明的一个实施例中，在合并关注图生成显著图之前，对三组特征图分别进行归一化。通过归一化和跨尺度相加，特征图被整合成亮度、颜色和方向三个显著性图得到要想衡量图像中目标的显著性，需要综合三个通道的显著性图像。这里我们将综合后的三个通道的显著图再进行归一化。

在本发明的一个实施例中，基于至上而下的思想，提出了一种加权特征图融合算法，如式(10)所示:

$S=w_t\·N\left(\stackrel{\‾}{I}\right)+w_c\·N\left(\stackrel{\‾}{C}\right)+w_o\·N\left(\stackrel{\‾}{O}\right)---\left(10\right)$

其中，w_t+w_c+w_o＝1，这样仍然使S的取值范围归一化到一定范围内。当预知图像某一通道的特征比较敏感时，可以自适应调整权值w_t、w_c和w_o。本模型以基于局部对比的显著区域检测算法获取感兴趣区域，从显著图中选取最显著的点，以该点为显著点，在对应的特征显著图中采用区域生长的方式进行分割，得到感兴趣区域，得到的显著图区域更加具有针对性。

在本发明的一个实施例中，分别对6幅亮度视差图、12幅颜色视差图和24幅方向视差图进行归一化处理的具体过程为：

设置一个归一化算子N(.)提升图的质量，归一化算子N(.)计算流程如下：

把各通道特征图的像素值归一化到一个固定的区间[0，M]内，M为一正整数；

找到图中全局最大值M的位置，计算其它所有特征图局部最大值的均值

特征图全局乘以

通过归一化算子N(.)和跨尺度相加，特征图被整合成颜色、亮度和方向三个显著性图；

颜色归一化特征图: $\stackrel{\‾}{C}=\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}[N\left(\mathrm{RG}(c,s)\right)+N\left(\mathrm{BY}(c,s)\right)]---\left(11\right);$

亮度归一化特征图: $\stackrel{\‾}{I}=\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}N\left(I(c,s)\right);---\left(12\right)$

方向归一化特征图: $\stackrel{\‾}{O}=\underset{\mathrm{\θ}\∈\left\{\mathrm{0,45,90,135}\right\}}{\mathrm{\Σ}}\left(\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}N\left(O(c,s,\mathrm{\θ})\right)\right);---\left(13\right)$

其中，是在不同的尺度层上对每一特征的特征映射图进行降采样，而得到最高的主尺度层，再进行加法运算，得到颜色、亮度、方向三个特征上的显著图。

在步骤S4中，从显著图中选取最显著的点，以该点为显著点，在对应的特征显著图中采用区域生长的方式进行分割，得到感兴趣区域。

在本发明的一个实施例中，为了增强匹配的稳定性，除了使用主方向之外，还可以选择辅方向。辅方向定义为:在直方图中，当某一个方向的值大于或者等于主峰值的80％时，则把这个方向做为关键点的辅方向。一个关键点一般会具有一个主方向以及多个辅方向。

在步骤S5中，获取γ相机采集的含有辐射强度分布信息的图像。

在步骤S6中，分别提取γ相机图像和普通相机图像感兴趣区域的关键点。

在本发明的一个实施例中，二维灰度图像(如普通相机的感兴趣区域灰度图像以及经伽马相机得到的混合图),在不同尺度下的尺度空间的表示可由图像与高斯核卷积得到，如式(14)所示：

L(x,y,σ)＝G(x,y,σ)*I(x,y)   (14)

式中，G(x,y,σ)是可变尺度高斯函数，如式(15)所示:

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2})---\left(15\right)$

其中x,y为图像的横纵坐标，σ表示可变尺度。

尺度规范化的拉普拉斯函数σ²▽²G具有尺度不变性，产生最稳定的图像特征。尺度归一化的高斯拉普拉斯算子如式(16)所示：

$L(x,y,\mathrm{\σ})=\mathrm{\σ}{\▿}^{2}G=\frac{\∂G}{\∂\mathrm{\σ}}\≈\frac{G(x,y,\mathrm{k\σ})-G(x,y,\mathrm{\σ})}{(k-1)\mathrm{\σ}}---\left(16\right)$

令DOG(x,y,σ)＝G(x,y,kσ)-G(x,y,σ)，则

DOG(x,y,σ)＝G(x,y,kσ)-G(x,y,σ)≈(k-1)σ²▽²G

方程的左边为高斯差分算子(DOG)，比例因子(k-1)并不影响极值点的位置，因此高斯差分算子近似于尺度归一化的拉普拉斯差分算子。

在本发明的一个实施例中，利用不同尺度的高斯差分算子与图像进行卷积，如式(17)所示：

D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]*I(x,y)＝L(x,y,kσ)-L(x,y,σ)   (17)

图2所示为本发明的DOG差分金字塔形成过程的示意图，图左边部分为不同尺度下获得的高斯金字塔图像，右边是相邻尺度差分得到的差分金字塔图像。

由上可知求取DOG空间的局部极值点可得到稳定的图像特征，DOG函数的极值点可通过与它周围相邻的26个点进行比较，判断是否是局部极值点。

图3所示为本发明的DOG函数的极值点检测的示意图。中间的被检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

采用对空间尺度函数求导取极值的方法，并设定闭值消除一些对比度低和不稳定的点，从而确定极值点的位置。

利用DOG函数在尺度空间Taylor展开式，如式(18)所示：

$D\left(X\right)=D+\frac{\∂D^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}D}{\∂X^2}X---\left(18\right)$

其中，X＝(x,y,σ)^T为上一步中检测到的极值点坐标。

对上式求导并令其为零，得到关键点的位置坐标：

并将其带入泰勒展开式得:

通过设定的阈值，消除小于阈值的点。

DOG函数在图像边缘有较强的边缘响应，因此还需要排除边缘响应。可以通过计算该点所在位置尺度周围3x3窗口内的Hessian矩阵排除边缘响应,其计算如式(19)所示：

$H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right]---\left(19\right)$

令α为最大特征值，β为最小的特征值，则α＝rβ，如式(20)～(22)所示：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}=\frac{{(r+1)}^2}{r}---\left(20\right)$

Det(H)＝D_xxD_yy-(D_xy)²＝αβ   (21)

Tr(H)＝D_xx+D_yy＝α+β   (22)

(r+1)²/r在两特征值相等时达最小，随r的增长而增长。因此只需要在设定r后限定，如式(23)所示:

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(r+1)}^2}{r}---\left(23\right)$

在步骤S7中，将所述关键点分别生成特征向量。

在本发明的一个实施例中，特征向量的生成过程如下：

1)首先确定提取关键点图像的变换参数；

2)将关键点的坐标移至主方向；

3)在以关键点为中心16*16的区域内，对每个以4*4的区域内计算8方向的梯度直方图，统计每个梯度的累积值，形成一个种子点，共生成16种子点，128维向量；

4)对得到的特征向量进行阈值化和向量归一化，归一化后的特征向量如下：

L＝(l₁,l₂,...,l₁₂₈)

在本发明的一个实施例中，利用所述关键点邻域像素的梯度方向分布特性，为每个关键点指定方向，关键点描述子相对于此方向表征，从而使关键点描述子对图像旋转具有不变性。

在本发明的一个实施例中，利用梯度数学模型来为关键点指定方向，梯度数学模如式(24)所示:

$\mathrm{grad}I(x,y)=(\frac{\&PartialD;I}{\&PartialD;x},\frac{\&PartialD;I}{\&PartialD;y})---\left(24\right)$

梯度的幅值如式(25)所示：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(25\right)$

梯度的方向如式(26)所示：

$\mathrm{\&theta;}(x,y)={\tan }^{-1}\left[\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right]---\left(26\right)$

在本发明的一个实施例中，在以关键点为中心的邻域内进行采样，并使用直方图方法统计邻域像素的方向。梯度直方图统计后的方向范围是0度到360度，把每10度做为一个柱进行分析，总共包括36个柱。直方图峰值代表了关键点处梯度的主方向，即把它做为关键点的方向。

至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、尺度、方向。

在步骤S8中，将普通相机图像感兴趣区域关键点的特征向量与混合图像关键点的特征向量进行匹配，如果符合匹配条件，则目标为显著性目标。

普通相机的感兴趣区域灰度图像以及经伽马相机得到的混合图的特征点已分别被表征为特征向量，因此感兴趣区域灰度图像以及经伽马相机得到的混合图特征点的匹配可以通过两个特征向量的相似度来判断。

在本发明的一个实施例中，分别对感兴趣区域灰度图像以及经伽马相机得到的混合图建立关键点描述子集合。目标的识别是通过两点集内关键点描述子的比对来完成。具有128维的关键点描述子的相似性度量采用欧式距离。

模板图中关键点描述子，R_i＝(r_i1,r_i2,...,r_i128)

实时图中关键点描述子，S_i＝(s_i1,s_i2,...,s_i128)

任意两个描述子相似性定义如式(27)所示：

$d(R_i,S_i)=\sqrt{\underset{j=1}{\overset{128}{\mathrm{\&Sigma;}}}{(r_{\mathrm{ij}}-s_{\mathrm{ij}})}^2}---\left(27\right)$

要得到配对的特征点描述子，需满足：

当R_j是S_i匹配点，(R_j是实时图中距离S_i最近的点，R_p是实时图中距离S_i次最近的点)

至此，已经完成图像匹配的所有工作。通过以上图像匹配算法，找出γ图像和普通相机图像中的匹配点云，然后计算得到它们之间的变换矩阵，最后将污染源映射到普通相机的图像中，实现污染源目标的检测。

虽然结合具体实施例对本发明的具体实施方式进行了详细地描述，但并非是对本专利保护范围的限定。在权利要求书所限定的范围内，本领域的技术人员不经创造性劳动即可做出的各种修改或调整仍受本专利的保护。

Claims (8)

1.一种基于视觉注意机制的核环境中目标检测方法，其特征是，包括如下步骤：

S1、获取通过普通相机采集的所述目标的图像，提取所述图像的亮度、颜色和方向特征，分别得到亮度特征图、颜色特征图和方向特征图；

S2、通过高斯金字塔和中央周边算子的方法对所述亮度特征图、颜色特征图和方向特征图进行计算，分别得到6幅亮度视差图、12幅颜色视差图和24幅方向视差图；

S3、分别对所述6幅亮度视差图、12幅颜色视差图和24幅方向视差图进行归一化处理，得到亮度显著图颜色显著图和方向显著图

S4、从所述显著图中选取最显著的点，以所述点为显著点，在对应的特征显著图中采用区域生长的方式进行分割，得到感兴趣区域；

S5、获取γ相机采集的含有辐射强度分布信息的图像；

S6、分别提取所述混合图像和所述普通相机图像感兴趣区域的关键点；

S7、将所述关键点分别生成特征向量；

S8、将所述感兴趣区域关键点的特征向量与所述混合图像关键点的特征向量进行匹配，如果符合匹配条件，则所述目标为作业目标。

2.根据权利要求1所述的方法，其特征是：所述步骤S2中对所述对三幅特征图进行视差计算的具体过程为：

用r，g，b表示输入图像的红、绿、蓝三个颜色通道的像素值，并用所述像素值建立高斯金字塔模型，通过中央和***不同尺度下的图像进行差分，获得6幅中央周边差结构的亮度图；

获取所述图像四个颜色通道红色、绿色、蓝色、黄色上的分量，通过差分计算获得12幅中间-***结构颜色图；

所述亮度图与Gabor方向滤波器进行卷积，获得图像的方向特征，通过差分计算获得24幅中间-***结构方向图。

3.根据权利要求1所述的方法，其特征是：分别对所述6幅亮度视差图、12幅颜色视差图和24幅方向视差图进行归一化处理的具体过程为：

设置一个归一化算子N(.)提升图的质量，归一化算子N(.)计算流程如下：

把各通道特征图的像素值归一化到一个固定的区间[0，M]内，M为一正整数；

找到图中全局最大值M的位置，计算其它所有特征图局部最大值的均值

特征图全局乘以

通过归一化算子N(.)和跨尺度相加，特征图被整合成颜色、亮度和方向三个显著性图；

颜色归一化特征图: $\stackrel{\&OverBar;}{C}=\underset{c=2}{\overset{4}{\&CirclePlus;}}\underset{s=c+3}{\overset{c+4}{\&CirclePlus;}}[N\left(\mathrm{RG}(c,s)\right)+N\left(\mathrm{BY}(c,s)\right)];$

亮度归一化特征图: $\stackrel{\&OverBar;}{I}=\underset{c=2}{\overset{4}{\&CirclePlus;}}\underset{s=c+3}{\overset{c+4}{\&CirclePlus;}}N\left(I(c,s)\right);$

方向归一化特征图: $\stackrel{\&OverBar;}{O}=\underset{\mathrm{\&theta;}\&Element;\left\{\mathrm{0,45,90,135}\right\}}{\mathrm{\&Sigma;}}\left(\underset{c=2}{\overset{4}{\&CirclePlus;}}\underset{s=c+3}{\overset{c+4}{\&CirclePlus;}}N\left(O(c,s,\mathrm{\&theta;})\right)\right);$

其中，是在不同的尺度层上对每一特征的特征映射图进行降采样，而得到最高的主尺度层，再进行加法运算，得到颜色、亮度、方向三个特征上的显著图。

4.根据权利要求1所述的方法，其特征是：所述分别提取混合图像和普通相机图像感兴趣区域的关键点的具体过程为：

利用不同尺度的高斯差分算子与图像进行卷积，得到不同尺度下获得的高斯金字塔图像；

对所述高斯金字塔图像进行相邻尺度差分运算，得到差分金字塔图像；

对所述差分金字塔图像上的点进行局部极值判断，如果所述点为局部极值点，则所述点为感兴趣区域的关键点。

5.根据权利要求4所述的方法，其特征是：所述判断局部极值点的方法为：

所述差分金字塔图像上的被检测点与在同一个维度上以及上下相邻维度对应的26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

6.根据权利要求1所述的方法，其特征是：将所述关键点分别生成特征向量的具体过程为：

利用所述关键点邻域像素的梯度方向分布特性，为每个关键点指定方向，关键点描述子相对于此方向表征，从而使关键点描述子对图像旋转具有不变性；

确定提取关键点图像的变换参数；

将关键点的坐标移至主方向；

在以关键点为中心16*16的区域内，对每个以4*4的区域内计算8方向的梯度直方图，统计每个梯度的累积值，形成一个种子点，共生成16种子点，128维向量；

对得到的特征向量进行阈值化和向量归一化，得到归一化后的特征向量。

7.根据权利要求1所述的方法，其特征是：将普通相机图像感兴趣区域关键点的特征向量与所述混合图像关键点的特征向量进行匹配的具体过程为：

分别对感兴趣区域灰度图像以及经伽马相机得到的混合图建立关键点描述子集合；

对两点集内关键点描述子进行相似性对比，具有128维的关键点描述子的相似性度量采用欧式距离，得到配对的特征点描述子；

找出γ图像和普通相机图像中的匹配点云，然后计算得到所述匹配点云之间的变换矩阵。

8.根据权利要求1所述的方法，其特征是：所述S3步骤中加权融合的算法具体为：

$S=w_t\&CenterDot;N\left(\stackrel{\&OverBar;}{I}\right)+w_c\&CenterDot;N\left(\stackrel{\&OverBar;}{C}\right)+w_o\&CenterDot;N\left(\stackrel{\&OverBar;}{O}\right)$

其中，w_t+w_c+w_o＝1。