CN102999918A - 全景视频序列图像的多目标对象跟踪*** - Google Patents

Abstract

一种全景视频序列图像的多目标对象跟踪***，包括用于获取大范围场景的全方位摄像装置和用于对全方位摄像装置所拍摄的全景图像进行视频分析处理的微处理器；在运动目标对象提取和简单多目标对象跟踪处理过程中，采用了一种计算复杂度不高、参数和阈值选取比较简单、便于在片上***中实现的MHoEI算法；为了实现多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪，依次根据匹配的结果分别通过目标对象的运动特征、颜色特征和形状特征进行跟踪，在改善了跟踪效率的同时也提高了多目标对象跟踪的鲁棒性。

Description

全景视频序列图像的多目标对象跟踪***

技术领域

本发明涉及计算机视觉、全方位视觉等技术在全景智能视频分析中的应用基础技术，尤其是涉及到在全景视频序列图像的多目标对象跟踪***。

背景技术

目标对象跟踪是目标对象行为的分析和识别的前提，它在智能视频分析中扮演着极其重要的角色。目标对象跟踪就是通过分析摄像机拍摄到的动态图像序列，在连续的图像帧间构建基于形状、大小、位置、运动方向、速度、色彩、纹理等属性特征的目标对象匹配问题。

一种鲁棒性高的目标对象检测***需要具备运动检测、消除阴影与噪音等图形处理功能，目前要实现上述功能还需要预先调整好各种参数。而现有智能视频分析***往往都采用固定的参数值，使得在不同场景下、不同应用过程中容易导致视频检测效果不佳。另外，目标对象检测***中的参数调整还依赖于专家知识，成为大规模产业化应用的一个瓶颈。因此，如何研究一种高效的、鲁棒性高的、运算量小的、便于用硬件实现的跟踪算法对智能视频分析技术中亟待解决的课题。

目标对象跟踪算法尚未有一个权威的分类方法，不同的分类标准有不同的分类结果。一般可分为以下几类：基于模型匹配的跟踪、基于变形模型的跟踪、基于区域匹配的跟踪、基于特征匹配的跟踪、基于运动特性的跟踪和基于概率统计的跟踪。上述一些跟踪算法都是根据对象的某个属性进行跟踪的，其中基于运动特性的跟踪是一种最高效的、最接近人类视觉的跟踪***。

帧差法是基于运动特性的跟踪算法中的一种主要方法，是检测序列图像中运动目标的最简单方法，具有不需要背景建模、运算量小、易于硬件实现等优点。主要可分为两帧差分和对称差分。

两帧差分：差分图像中灰度值不为零的部分，即由于目标运动而在图像中引起的变化范围。但是这种变化范围只能表示此两帧图像中运动物体的相对位置变化，而无法获取运动物体的具体形状，而且对运动缓慢的物体不敏感，所以存在着一定的局限性。

对称差分：连续三个图像帧的对称差分技术弥补了两帧差分方法所存在局限性。相邻两帧图像进行差分，两帧图像之间的显著差异能快速地检测出目标的运动范围，连续三帧序列图像通过&操作能较好地检测出中间帧运动目标的形状轮廓。

针对进入视频场景中的目标的不同状态(运动或静止)分别采取不同跟踪策略，处理好跟踪策略的应用转换问题，实现对进入全景视频场景的多个时动时静目标的实时、持续、稳定的跟踪是本发明致力解决的问题。

发明内容

为了克服已有视频序列图像中目标对象跟踪运算量大、跟踪范围有限、跟踪参数不容易设置、跟踪算法鲁棒性欠缺、跟踪策略融合困难和难以硬件化等问题，本发明提供一种高效的、鲁棒性高的、运算量小的、便于用硬件实现的全景视频图像的目标对象跟踪***。

本发明解决其技术问题所采用的技术方案是：

一种全景视频序列图像的多目标对象跟踪***，包括用以捕获到整个场景内目标对象的全景视频图像的全方位摄像装置，所述全方位摄像装置用ODVS表示，所述ODVS安置在监控场景的中部上方，所述ODVS通过USB接口与微处理器进行连接；所述的微处理器通过计算机网络与所述的PC机进行连接；所述的微处理器包括：

视频图像读取单元，用于通过USB接口读取ODVS所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；

视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给目标对象检测单元；

目标对象检测跟踪单元，用于检测在全景柱状展开图像中存在的移动目标对象，并用矩形框框住目标对象，用一种Motion History or Energy Images算法，以下简称MHoEI算法，用目标对象的运动历史和能量图像来提取和跟踪目标对象；

所述的PC机中，进行全景视频图像的形式化处理和行为语义化处理，所述所述的PC机包括：多目标对象跟踪单元，用于多目标对象在场景中发生遮挡、分离和合并情况时进行有效的跟踪。

进一步，所述的目标对象检测跟踪单元中，采用MHoEI算法对目标对象的运动历史和能量图像来提取和跟踪目标对象，用公式(3)表示：

$H_{\mathrm{\τ}}(x,y,t)=\left\{\begin{array}{cc}\mathrm{\τ}& \mathrm{ifD}(x,y,t)=1\\ \max (0,H_{\mathrm{\τ}}(x,y,t-1))& \mathrm{ifS}\≤\mathrm{\δ}\\ \max (0,H_{\mathrm{\τ}}(x,y,t-1)-1)& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

式中，S为目标对象的运动速度，τ为持续时间，D(x，y，t)为运动区域的二进制图像序列，H_τ(x，y，t-1)为非运动区域的二进制图像序列，持续时间τ需要根据目标对象运动速度S进行动态调整。

再进一步，所述的目标对象检测跟踪单元中，依据阴影区域中像素的色度与背景像素色度相比几乎相等的特征，将原图像的RGB色彩空间转化成HSI色彩空间，然后再进行帧差法运算就能消除阴影，RGB色彩空间转化成HSI色彩空间的计算方法如公式(7)所示，

$H=\left\{\begin{array}{c}\mathrm{\&theta;}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;G\&GreaterEqual;B\\ 2\mathrm{\&pi;}-\mathrm{\&theta;}\&CenterDot;\&CenterDot;\&CenterDot;G<B\end{array}\right.$

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]---\left(7\right)$

$\mathrm{\&theta;}=\arccos \left\{\frac{[(R-G)+(R-B)]/2}{{[{(R-G)}^2+(R-B)(G-B)]}^{1/2}}\right\}$

式中，R是RGB色彩空间中的红色分量，G是RGB色彩空间中的绿色分量，B是RGB色彩空间中的蓝色分量；H为HSI色彩空间中的色调，用角度表示，反映了颜色最接近什么样的光谱波长；S为HSI色彩空间中的饱和度，表征颜色的深浅程度；色调H与饱和度S合起来称色度；

对于距离0DVS的远处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如(8)所示，

${\mathrm{IP}}_{L,H}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-3}(i,j)|>\mathrm{Threshold}1\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.---\left(8\right)$

${\mathrm{IP}}_{L,S}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-3}(i,j)|>\mathrm{Threshold}1\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.$

式中，IP_L，HImage(i，j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i，j)点的检测结果，IP_L，S Image(i，j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i，j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H，t(i，j)和Pix_H，t-3(i，j)分别表示全景视频图像的上部H颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i，j)点的像素值，Pi_x，t(i，j)和Pix_s，t-3(i，j)分别表示全景视频图像的上部S颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i，j)点的像素值，Threshold1是相应的判断阈值，这里取值为45；

对于距离ODVS的中远处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如(9)所示，

${\mathrm{IP}}_{M,H}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-2}(i,j)|>\mathrm{Threshold}2\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.---\left(9\right)$

${\mathrm{IP}}_{M,S}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-2}(i,j)|>\mathrm{Threshold}2\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.$

式中，IP_M，H Im age(i，j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i，j)点的检测结果，IP_M，S Im age(i，j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i，j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H，t(i，j)和Pix_H，t-2(i，j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i，j)点的像素值，Pix_S，t(i，j)和Pix_S，t-2(i，j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i，j)点的像素值，Threshold2是相应的判断阈值，这里取值为45；

对于距离ODVS的近处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如(10)所示，

${\mathrm{IP}}_{N,H}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-1}(i,j)|>\mathrm{Threshold}3\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.---\left(10\right)$

${\mathrm{IP}}_{N,S}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-1}(i,j)|>\mathrm{Threshold}3\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.$

式中，IP_N，H Im age(i，j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i，j)点的检测结果，IP_N，S Im age(i，j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i，j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H，t(i，j)和Pix_H，t-1(i，j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i，j)点的像素值，Pix_S，t(i，j)和Pix_S，t-1(i，j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i，j)点的像素值，Threshold3是相应的判断阈值，这里取值为45；

最后，对于分割后的目标对象拼合整理处理；一方面，由于色度主要由色调H与饱和度S两个部分构成，这里需要进行或运算处理；另一方面，在P4、P5和P6处理过程中将整幅全景图像分割为上、中、下三个部分，这里也需要进行或运算处理；经过这样处理得到整幅全景图像上的运动目标对象的分割图像，处理方法如公式(11)所示，

D(x，y，t)＝IP_L，H Im age(i，j)∨IP_L，S Im age(i，j)∨IP_M，H Im age(i，j)∨IP_M，S Im age(i，j)∨IP_N，H Im age(i，j)∨IP_N，S Im age(i，j)    (11)

式中，D(x，y，t)为当前输入全景图像帧中坐标为(i，j)点的检测结果，IP_N，HImage(i，j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i，j)点的检测结果，IP_N，S Im age(i，j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i，j)点的检测结果，IP_M，H Im age(i，j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i，j)点的检测结果，IP_M，S Im age(i，j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i，j)点的检测结果，IP_L，H Im age(i，j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i，j)点的检测结果，IP_L，S Image(i，j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i，j)点的检测结果。

所述的视频图像展开单元中，根据初始化处理中计算得到的全景图像的中心坐标以及图像的内外圆半径，将全景图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴、全景图像的内径为r、外径为R，用r1＝(r+R)/2设定中间圆的半径，方位角为β＝tan^-1(y^*/x^*)；全景柱状展开图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将全景图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；建立全景柱状展开图像中任意一点象素坐标P^**(x^**，y^**)与全景图像中的象素坐标Q^*(x^*，y^*)的对应关系，其计算式为：

x^*＝y^*/(tan(360x^**/π(R+r)))    (4)

y^*＝(y^**+r)coSβ    (5)

上式中，x^**，y^**为全景柱状展开图像的象素坐标值，x^*，y^*为全景图像的象素坐标值，R为圆形全景图像的外径，r为圆形全景图像的内径，β为圆形全景图像坐标的方位角。

所述的目标对象检测跟踪单元中，在采用MHoEI算法提取和跟踪目标对象时，得到每个运动目标对象的ROI，计算第i个ROI_i的质心坐标ROI_i，m(x，y，t)，然后利用上一个循环中得到第i个ROI_i的质心坐标ROI_i，m(x，y，t-1)来计算第i个运动目标对象的速度，计算方法如公式(15)所示，

$S_i\left(t\right)=\frac{|{\mathrm{ROI}}_{i,m}(x,y,t)-{\mathrm{ROI}}_{i,m}(x,y,t-1)|}{\mathrm{\&Delta;t}}---\left(15\right)$

式中，ROI_i，m(x，y，t)为当前处理帧中第i个ROI_i的质心坐标，ROI_i，m(x，y，t-1)为上一个处理帧中第i个ROI_i的质心坐标，Δt为两帧间隔时间，S_i(t)为当前处理帧中第i个ROI_i的运动速度。

所述的目标对象检测跟踪单元中，由公式(15)计算得到的目标对象运动速度S_i(t)作为计算持续时间τ_i，M的依据；计算方法如公式(12)所示，

τ_i，M＝k/S_i(t)    (12)

式中，τ_i，M为第i个目标对象的持续时间，S_i(t)为第i个目标对象的移动速度，k为某一常数；

对于距离ODVS远近不同的目标对象，τ_i，M值也需要适当调整，对于同样的运动速度的目标对象，距离ODVS近的目标对象在全景展开图上反映的速度会快些，则距离ODVS远的目标对象在全景展开图上反映的速度会慢些，公式(12)求得的是离ODVS中等距离情况下的τ_i，M值，这里对持续时间进行了归一化处理，具体做法是将近处的持续时间设置为H_τ(x，y，t)＝τ_i，M-α，中远处的持续时间设置为H_τ(x，y，t)＝τ_i，M，远处的持续时间设置为H_τ(x，y，t)＝τ_i，M+α；其中α＝2～4。

所述的目标对象检测跟踪单元中，每次循环得到i个ROI感兴趣区域、区域的质心坐标值以及区域框的大小值；这些目标对象的提取和跟踪数据并同全景视频图像以软件接口的方式提供给中高层视频序列图像处理时调用。

所述的多目标对象跟踪单元中，对每个进入场景的目标对象自动创建一个软件的object，object的描述方法如下：

所述的多目标对象跟踪单元中，采用彩色直方图作为颜色特征模型和多目标对象出现***情况时第一匹配依据，具体做法是在多个对象合并前，将各个对象的色度信息保存在object中；在多目标对象出现***情况时分别读取存储在object中的相关目标对象的颜色直方图数据；同时对***情况时的相关目标对象的ROI做颜色直方图

将巴特查理亚距离作为两个彩色直方图相似性的度量，离散巴特查理亚系数的计算方法如公式(16)所示，

$\mathrm{\&rho;}[P_i,Q_j]=\underset{\mathrm{\&mu;}=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{p_i^{\left(\mathrm{\&mu;}\right)}{q}_j^{\left(\mathrm{\&mu;}\right)}}---\left(16\right)$

式中，ρ[P_i，Q_j]∈[0，1]为巴特查理亚系数，巴特查理亚距离用公式(17)进行计算，

$d=\min \left\{d_{i,j}\right\}=\min \left\{\sqrt{1-\mathrm{\&rho;}[P_i,Q_j]}\right\}---\left(17\right)$

式中，d为巴特查理亚距离，如果该值小于某一规定的阈值Threshold4就表示匹配成功，对于没有匹配成功的目标对象继续按第二匹配依据进行匹配。

所述的多目标对象跟踪单元，采用Hu不变矩作为目标对象形状特征和多目标对象出现***情况时第二匹配依据，具体做法是在多个对象合并前，将各个对象的Hu不变矩特征的7个向量信息保存在object中；在多目标对象出现***情况时分别读取存储在object的相关目标对象中的Hu不变矩特征向量信息；同时对***情况时的相关目标对象做Hu不变矩特征向量运算，将欧氏距离作为两个Hu不变矩特征相似性的度量，Hu不变矩7个特征向量的计算方法如公式(18)所示，

φ₁＝η₂₀+η₀₂

${\mathrm{\&phi;}}_2={({\mathrm{\&eta;}}_{20}-{\mathrm{\&eta;}}_{02})}^2+{4\mathrm{\&eta;}}_{11}^2$

φ₃＝(θ₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

φ₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

φ₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+    (18)

(3η₂₁-η₀₃)(η₂₁-η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

φ₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

φ₇＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]-

(η₃₀-3η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

式中，η_pq为归一化中心距，计算方法由公式(19)给出，

${\mathrm{\&eta;}}_{\mathrm{pq}}={\mathrm{\&mu;}}_{\mathrm{pq}}/{\mathrm{\&mu;}}_{\mathrm{pq}}^r\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;r=(p+q)/2\&CenterDot;\&CenterDot;\&CenterDot;p+q=\mathrm{2,3},\&CenterDot;\&CenterDot;\&CenterDot;---\left(19\right)$

式中，μ_pq为中心距，计算方法由公式(20)给出，

${\mathrm{\&mu;}}_{\mathrm{pq}}=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{(x-\stackrel{\&OverBar;}{x})}^p{(y-\stackrel{\&OverBar;}{y})}^{q}f(x,y)---\left(20\right)$

式中，f(x，y)为目标对象的二值图，

和

为目标对象的重心坐标，计算方法由公式(21)给出，

$\stackrel{\&OverBar;}{x}=m_{10}/m_{11},\stackrel{\&OverBar;}{y}=m_{01}/m_{00}$ $\left(21\right)$

$m_{\mathrm{pq}}=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}^p{y}^{q}f(x,y)$

式中，f(x，y)为目标对象的二值图；对于每个目标对象都可以通过公式(18)～(21)计算得到其Hu不变矩的7个向量，然后用公式(22)欧氏距离去判断两者的相似性，

$d_{\mathrm{ms}}=\underset{i=1}{\overset{7}{\mathrm{\&Sigma;}}}{({\mathrm{\&phi;}}_{\mathrm{mi}}-{\mathrm{\&phi;}}_{\mathrm{si}})}^2\&CenterDot;\&CenterDot;\&CenterDot;s\&Element;S---\left(22\right)$

式中，d_ms为存储在object中的Hu不变矩特征向量值φ_si和被匹配的目标对象的Hu不变矩特征向量值φ_mi的欧氏距离值，S为多个目标对象合并时目标对象的个数，如果满足d_mj＝min{d_ms}j，s∈S，那么第j个object就判定为被匹配的目标对象。

本发明的有益效果主要表现在：1、在提取运动目标对象的过程中自动地消除了运动目标对象所产生的阴影；2、算法简单、利用递归计算方法，只有对于最新信息需要存储，使得计算快速和高效；3、在智能视频分析的底层视觉处理方面的共性问题是有效方便地提取前景对象并对前景对象进行有效跟踪，并希望能用片上***实现；4、采用软件对象描述方式使得多目标跟踪实时性和鲁棒性得到很大改善。

附图说明

图1为全景视频序列图像的多目标对象跟踪***的处理流程图；

图2为全景视频序列图像的多目标对象跟踪***的硬件构成图；

图3为一种ODVS的结构图；

图4为ODVS的成像全景示意图；

图5为一种ODVS成像原理图；

图6为单视点的全景视觉成像的全景透视展开说明图；

图7为全景透视图的远、中、近分块以及区块中的前景对象建模说明示意图；

图8为全景柱状展开视频图像的多目标对象提取算法流程图；

图9为全景柱状展开视频图像的多目标对象跟踪算法流程图；

图10为一种简单的多目标对象跟踪说明示意图；

图11为一种复杂的多目标对象跟踪说明示意图；

图12为一种前景目标对象提取处理流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～12，一种全景视频序列图像的多目标对象跟踪***，包括用于获取大范围场景的全方位摄像装置、用于对全方位摄像装置所拍摄的全景图像进行底层概念化处理的微处理器和用于对底层概念化处理结果进行形式化处理和行为语义化处理的PC机，全景视觉处理流程如图1所示，其***硬件构成如图2所示；所述全方位摄像装置，如图3所示，简称为ODVS，安置在监控场景的中部上方，使得ODVS能捕获到整个场景内目标对象的全景视频图像，所拍摄的全景图像如图4所示的一个圆形；所述的全方位摄像装置通过USB接口与所述的微处理器进行连接；所述的微处理器通过计算机网络与所述的PC机进行连接；所述的微处理器包括硬件和软件两个部分，硬件部分采用一般市售的达芬奇平台；在达芬奇平台中的应用软件部分包括：视频图像读取单元，用于通过USB接口读取ODVS所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；视频图像展开单元用于将全景图像进行柱状展开，展开后的全景柱状图像提交给目标对象检测单元；目标对象检测跟踪单元用于检测在全景柱状展开图像中存在的移动目标对象，并用矩形框框住目标对象，用一种Motion History orEnergy Images算法，以下简称MHoEI算法，用目标对象的运动历史和能量图像来提取和跟踪目标对象；所述的PC主要进行全景视频图像的形式化处理和行为语义化处理，在本发明中主要实现复杂的多目标对象跟踪，多目标对象跟踪单元用于多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪；

图5是ODVS的结构图，ODVS包括双曲面镜面2、上盖1、透明外罩3、下固定座4、摄像单元固定座5、摄像单元6、连接单元7、上罩8，所述的双曲面镜面2固定在所述的上盖1上，所述的连接单元7将所述的下固定座4和透明外罩3连接成一体，所述的透明外罩3与所述的上盖1以及所述的上罩8通过螺钉固定在一起，所述的摄像单元6用螺钉固定在所述的摄像单元固定座5上，所述的摄像单元6固定座5用螺钉固定在所述的下固定座4上，所述的摄像单元6的输出端口是USB接口；

在达芬奇平台上主要实现如图8所示的处理流程，下面根据图8所示的程序框图说明从全景视频序列图像中提取目标对象并对目标对象跟踪的处理过程；

P1为微处理器通过USB接口从ODVS中读取全景视频图像，并将读取的全景图像递交给P2；

P2对全景视频图像进行柱状展开处理，根据初始化处理中计算得到的全景图像的中心坐标以及图像的内外圆半径，如图6所示，将全景图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴、全景图像的内径为r、外径为R，用r_i＝(r+R)/2设定中间圆的半径，方位角为β＝tan^-1(y^*/x^*)；全景柱状展开图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将全景图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；建立全景柱状展开图像中任意一点象素坐标P^**(x^**，y^**)与全景图像中的象素坐标Q^*(x^*，y^*)的对应关系，其计算式为：

x^*＝y^*/(tan(360x^**/π(R+r)))    (4)

y^*＝(y^**+r)coSβ    (5)

上式中，x^**，y^**为全景柱状展开图像的象素坐标值，x^*，y^*为全景图像的象素坐标值，R为圆形全景图像的外径，r为圆形全景图像的内径，β为圆形全景图像坐标的方位角；

由于上述的全景柱状展开图像的范围是0～360°，当同一个跟踪目标对象处于0°或者360°边缘时会出现判断为两个目标对象的情况，为此，本发明中将全景柱状展开图像的范围设置为0～380°，即有20°左右的重叠区域，如图7所示；

根据ODVS的成像原理，如图5所示，目标对象处于离ODVS距离较远的区域成像在全景柱状展开图像的上部，目标对象处于离ODVS中等距离远的区域成像在全景柱状展开图像的中部，目标对象处于离ODVS距离较近的区域成像在全景柱状展开图像的下部；为此，本发明中将全景柱状展开图像在垂直方向上的范围设置为三个区域，如图7所示，分别为远距离区域、中等距离区域和近距离区域；

P3对全景展开图像进行灰度值变换和HSI颜色空间的变换处理，灰度值变换的目的是为了在求帧间差时获取运动目标对象区域，HSI颜色空间的变换处理的目的是为了在求帧间差时消除运动目标对象的阴影；

为了在做帧差法运算过程中消除运动目标对象的阴影；帧差法是一种基于时间序列的直接而简单的运动目标检测方法，帧差法计算方法如式(6)所示，

$\mathrm{IP}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_t(i,j)-{\mathrm{Pix}}_{t-n}(i,j)|>\mathrm{Threshold}\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.---\left(6\right)$

式中，IP Im age(i，j)为当前输入图像帧中坐标为(i，j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_t(i，j)和Pix_t-n(i，j)分别表示视频图像在第t时刻和第t-n时刻图像帧中坐标为(i，j)点的像素值，Threshold是相应的判断阈值；当所得的像素差值大于该设定的阈值时认为在视频图像中第t时刻帧中坐标为(i，j)的像素点属于前景运动区域集中的一个像素点，否则，判断为场景集中的一个像素点；

RGB色彩空间转化成HSI色彩空间的计算方法如公式(7)所示，

$H=\left\{\begin{array}{c}\mathrm{\&theta;}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;G\&GreaterEqual;B\\ 2\mathrm{\&pi;}-\mathrm{\&theta;}\&CenterDot;\&CenterDot;\&CenterDot;G<B\end{array}\right.$

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]---\left(7\right)$

$\mathrm{\&theta;}=\arccos \left\{\frac{[(R-G)+(R-B)]/2}{{[{(R-G)}^2+(R-B)(G-B)]}^{1/2}}\right\}$

式中，R是RGB色彩空间中的红色分量，G是RGB色彩空间中的绿色分量，B是RGB色彩空间中的蓝色分量；H为HSI色彩空间中的色调，用角度表示，反映了颜色最接近什么样的光谱波长；S为HSI色彩空间中的饱和度，表征颜色的深浅程度；色调H与饱和度S合起来称色度；

在P3处理中，本发明对全景展开图分别进行色彩空间变化，得到H分量的全景展开图和S分量的全景展开图，处理后的结果根据距离ODVS的远近分别递交给P4、P5和P6进行帧差法处理；

P4处理的是距离ODVS的远处的目标对象，分为H分量和S分量，其计算公式如(8)所示，

${\mathrm{IP}}_{L,H}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-3}(i,j)|>\mathrm{Threshold}1\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.---\left(8\right)$

${\mathrm{IP}}_{L,S}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-3}(i,j)|>\mathrm{Threshold}1\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.$

式中，IP_L，H Im age(i，j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i，j)点的检测结果，IP_L，S Im age(i，j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i，j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H，t(i，j)和Pix_H，t-3(i，j)分别表示全景视频图像的上部H颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i，j)点的像素值，Pix_S，t(i，j)和Pix_S，t-3(i，j)分别表示全景视频图像的上部S颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i，j)点的像素值，Threshold1是相应的判断阈值，这里取值为45；

P5处理的是距离ODVS的中远处的目标对象，分为H分量和S分量，其计算公式如(9)所示，

${\mathrm{IP}}_{M,H}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-2}(i,j)|>\mathrm{Threshold}2\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.---\left(9\right)$

${\mathrm{IP}}_{M,S}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-2}(i,j)|>\mathrm{Threshold}2\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.$

式中，IP_M，H Im age(i，j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i，j)点的检测结果，IP_M，S Im age(i，j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i，j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H，t(i，j)和Pix_H，t-2(i，j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i，j)点的像素值，Pix_S，t(i，j)和Pix_S，t-2(i，j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i，j)点的像素值，Threshold2是相应的判断阈值，这里取值为45；

P6处理的是距离ODVS的近处的目标对象，分为H分量和S分量，其计算公式如(10)所示，

${\mathrm{IP}}_{N,H}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-1}(i,j)|>\mathrm{Threshold}3\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.---\left(10\right)$

${\mathrm{IP}}_{N,S}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-1}(i,j)|>\mathrm{Threshold}3\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.$

式中，IP_N，H Im age(i，j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i，j)点的检测结果，IP_N，S Im age(i，j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i，j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H，t(i，j)和Pix_H，t-1(i，j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i，j)点的像素值，Pix_S，t(i，j)和Pix_S，t-1(i，j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i，j)点的像素值，Threshold3是相应的判断阈值，这里取值为45；

P8主要进行分割后的目标对象拼合整理处理，一方面，由于色度主要由色调H与饱和度S两个部分构成，这里需要进行或运算处理；另一方面，在P4、P5和P6处理过程中将整幅全景图像分割为上、中、下三个部分，这里也需要进行或运算处理；经过这样处理得到整幅全景图像上的运动目标对象的分割图像，处理方法如公式(11)所示，

D(x，y，t)＝IP_L，H Im age(i，j)∨IP_L，S Im age(i，j)∨IP_M，H Im age(i，j)∨IP_M，S Im age(i，j)∨IP_N，H Im age(i，j)∨IP_N，S Im age(i，j)    (11)

式中，D(x，y，t)为当前输入全景图像帧中坐标为(i，j)点的检测结果，IP_N，H Im age(i，j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i，j)点的检测结果，IP_N，S Im age(i，j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i，j)点的检测结果，IP_M，H Im age(i，j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i，j)点的检测结果，IP_M，S Im age(i，j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i，j)点的检测结果，IP_L，H Im age(i，j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i，j)点的检测结果，IP_L，S Im age(i，j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i，j)点的检测结果；P8的检测结果提交给P9处理；

P9主要是判断是否有新的运动像素点，如果有新的运动像素点递交给P11处理，反之递交给P10处理；

P10检测目标对象的移动速度是否大于规定的阈值δ，满足条件的相关像素点提交给P16处理，反之提交给P15处理；

P11根据目标对象的移动速度的快慢来选择公式(3)中的τ，对于移动速度快的目标对象的像素点采用小的τ值，移动速度慢的目标对象的像素点采用大的τ值，计算方法如公式(12)所示，

τ_i，M＝k/S_i(t)    (12)

式中，τ_i，M为第i个目标对象的持续时间，S_i(t)为第i个目标对象的移动速度，k为某一常数；

对于距离ODVS远近不同的目标对象，τ_i，M值也需要适当调整，对于同样的运动速度的目标对象，距离ODVS近的目标对象在全景展开图上反映的速度会快些，则距离ODVS远的目标对象在全景展开图上反映的速度会慢些，公式(12)求得的是离ODVS中等距离情况下的τ_i，M值，本发明中对持续时间进行了归一化处理，分别在P12、P13和P14中进行处理，具体做法是将近处的持续时间设置为H_τ(x，y，t)＝τ_i，M-α，中远处的持续时间设置为H_τ(x，y，t)＝τ_i，M，远处的持续时间设置为H_τ(x，y，t)＝τ_i，M+α；其中α＝2～4；远处、中远处和近处的划分见图7；

P15主要针对着处于暂时性停止运动状态的目标对象所构成的像素灰度值进行保持处理，用于跟踪和锁定那些处于暂时性停止运动状态的目标对象，计算方法如公式(13)所示，

H_τ(x，y，t)＝max(0，H_τ(x，y，t-1))    (13)

P16主要针对着那些仍然运动着的目标对象所构成的像素灰度值进行减1运算，用于逐步清除那些运动较久的像素，计算方法如公式(14)所示，

H_τ(x，y，t)＝max(0，H_τ(x，y，t-1)-1)    (14)

P17根据P12、P13、P14、P15和P16的处理结果中得到每个运动目标对象的ROI，计算第i个ROI_i的质心坐标ROI_i，m(x，y，t)，然后利用上一个循环中得到第i个ROI_i的质心坐标ROI_i，m(x，y，t-1)来计算第i个运动目标对象的速度，计算方法如公式(15)所示，

$S_i\left(t\right)=\frac{|{\mathrm{ROI}}_{i,m}(x,y,t)-{\mathrm{ROI}}_{i,m}(x,y,t-1)|}{\mathrm{\&Delta;t}}---\left(15\right)$

式中，ROI_i，m(x，y，t)为当前处理帧中第i个ROI_i的质心坐标，ROI_i，m(x，y，t-1)为上一个处理帧中第i个ROI_i的质心坐标，Δt为两帧间隔时间，S_i(t)为当前处理帧中第i个ROI_i的运动速度；根据这个运动速度S_i(t)将在P10中作为检测判断条件，在P11中作为计算持续时间τ_i，M的依据；

在图8所示的运动目标对象提取和跟踪处理过程中，由于计算复杂度不高、参数和阈值选取比较简单，便于在片上***中实现，基本上已经能满足单目标对象跟踪和简单的多目标对象跟踪问题，如图10所示，在这种情况下多目标对象没有出现遮挡、合并和分离等情况；对于复杂多目标跟踪问题，如图11所示，在这种情况下，多目标对象在视频序列图像中出现了合并和分离等情况，为了有效区分不同的目标对象以及记录各目标对象运动轨迹需要在图9所示PC机应用软件中的多目标跟踪***的另一个线程中进行处理；在P17处理结束后，得到i个ROI感兴趣区域、区域的质心坐标值以及区域框的大小值；这些目标对象的提取和跟踪数据并同全景视频图像以软件接口的方式通过网络递交给图9所示的PC机中进行处理；

多目标对象跟踪单元用于多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪；下面根据图9所示的处理流程对多目标对象跟踪进行说明；

S1步骤主要是读取当前帧ROI的个数i以及二值图的中心位置p_i(x，y)和ROI的大小值s_i(Δx，Δy)，用p_i(x，y)和s_i(Δx，Δy)创建i个ROI软件对象object_ROI(i)；

S2步骤主要是判断当前帧ROI的个数i与上一帧中已存在的目标对象object_presence(j)的个数j进行比较，对于两个以上目标对象存在的情况下，如果ROI的个数i等于已存在的目标对象object_presence(j)的个数j表明在场景中的目标对象数没有发生变化同时也没有出现合并或者分离的情况下，接着转入S3配对；

S3步骤中对当前帧中的ROI和已存在着的目标对象object_presence(j)采用空间范围变化很小准则进行配对，配对计算方法如公式(23)所示，

d_t，j＝|ROIi(x，y，t)-object_presence(j)(x，y，t-1)|    (23)

式中，d_t，j为当前帧中第i个ROI_i(x，y，t)和已存在的第j个object_presence(j)(x，y，t-1)之间的城市距离，如果满足d_t，j≤D的条件，表明两者配对成功；

对于配对成功ROI_i(x，y，t)和object_presence(j)(x，y，t-1)，首先，将***时间以HHMMSS形式和object_presence(j)(x，y，t-1)添加到对象object_presence(j)的Enumerations中；然后以ROI_i(x，y，t)替代object_presence(j)(x，y，t-1)；

如果ROI的个数i大于已存在的目标对象object_presence(j)的个数j表明在场景中有新的目标对象进入或者出现了分离的情况；处理过程如下：首先采用S3处理步骤进行配对计算，采用空间范围变化很小准则进行配对，配对计算方法如公式(23)所示；接着转入S7处理步骤；

S7处理步骤中按公式(24)计算没有配对成功的ROI_i(x，y，t)与group_j(x，y)的城市距离，

式中，ROI_i(x，y，t)为没有配对成功的ROI软件对象，group_j(x，y)为场景中存在的群组对象，接着转入S8的判断处理；

S8判断处理按公式(25)进行判断，

dR_t，j≤D_R    (25)

式中，dR_t，j是没有配对成功的ROI_i(x，y，t)与group_j(x，y)的城市距离，D_R为设置的阈值；当判断式(25)成立时，表示群组对象有分离情况出现，转入S9处理步骤；反之转入S10处理步骤；

S9处理步骤用第一匹配条件进行匹配，分别读取存储在群组对象group_j(x，y)中的各相关目标对象object_presence(j)(x，y，t-1)的颜色直方图

数据；同时对没有配对成功的ROI_i(x，y，t)做颜色直方图

将巴特查理亚距离作为两个彩色直方图相似性的度量，离散巴特查理亚系数的计算方法如公式(16)所示，

$\mathrm{\&rho;}[P_i,Q_j]=\underset{\mathrm{\&mu;}=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{p_i^{\left(\mathrm{\&mu;}\right)}{q}_j^{\left(\mathrm{\&mu;}\right)}}---\left(16\right)$

式中，ρ[P_i，Q_j]∈[0，1]为巴特查理亚系数，巴特查理亚距离用公式(17)进行计算，

$d=\min \left\{d_{i,j}\right\}=\min \left\{\sqrt{1-\mathrm{\&rho;}[P_i,Q_j]}\right\}---\left(17\right)$

式中，d为巴特查理亚距离，如果该值小于某一规定的阈值Threshold4就表示匹配成功；对于匹配成功的转入步骤S12，反之转入步骤S11；

S11处理步骤是对第一次匹配没有成功的情况进行第二次匹配处理，在第一次匹配处理中采用的是目标对象的颜色特征，而在第二次匹配中采用的是Hu不变矩；具体做法是：分别读取存储在群组对象group_j(x，y)中的各相关目标对象object_presence(j)(x，y，t-1)的Hu不变矩特征向量信息；同时对没有配对成功的ROI_i(x，y，t)做Hu不变矩特征向量运算，将欧氏距离作为两个Hu不变矩特征相似性的度量，Hu不变矩7个特征向量的计算方法如公式(18)所示，

φ₁＝η₂₀+η₀₂

${\mathrm{\&phi;}}_2={({\mathrm{\&eta;}}_{20}-{\mathrm{\&eta;}}_{02})}^2+{4\mathrm{\&eta;}}_{11}^2$

φ₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

φ₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

φ₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+

(3η₂₁-η₀₃)(η₂₁-η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]    (18)

φ₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

φ₇＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]-

(η₃₀-3η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

式中，η_pq为归一化中心距，计算方法由公式(19)给出，

${\mathrm{\&eta;}}_{\mathrm{pq}}={\mathrm{\&mu;}}_{\mathrm{pq}}/{\mathrm{\&mu;}}_{\mathrm{pq}}^r\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;r=(p+q)/2\&CenterDot;\&CenterDot;\&CenterDot;p+q=\mathrm{2,3},\&CenterDot;\&CenterDot;\&CenterDot;---\left(19\right)$

式中，μ_pq为中心距，计算方法由公式(20)给出，

${\mathrm{\&mu;}}_{\mathrm{pq}}=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{(x-\stackrel{\&OverBar;}{x})}^p{(y-\stackrel{\&OverBar;}{y})}^{q}f(x,y)---\left(20\right)$

式中，f(x，y)为目标对象ROI_i(x，y，t)的二值图，和

为目标对象ROI_i(x，y，t)的重心坐标，计算方法由公式(21)给出，

$\stackrel{\&OverBar;}{x}=m_{10}/m_{11},\stackrel{\&OverBar;}{y}=m_{01}/m_{00}$

$\left(21\right)$

$m_{\mathrm{pq}}=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}^p{y}^{q}f(x,y)$

式中，f(x，y)为目标对象ROI_i(x，y，t)的二值图；对于每个目标对象都可以通过公式(18)～(21)计算得到其Hu不变矩的7个向量，然后用公式(22)欧氏距离去判断两者的相似性，

$d_{\mathrm{ms}}=\underset{i=1}{\overset{7}{\mathrm{\&Sigma;}}}{({\mathrm{\&phi;}}_{\mathrm{mi}}-{\mathrm{\&phi;}}_{\mathrm{si}})}^2\&CenterDot;\&CenterDot;\&CenterDot;s\&Element;S---\left(22\right)$

式中，d_ms为存储在群组对象group_j(x，y)中的各相关目标对象object_presence(j)(x，y，t-1)的Hu不变矩特征向量值φ_si和被匹配的目标对象ROI_i(x，y，t)的Hu不变矩特征向量值φ_mi的欧氏距离值，S为多个目标对象合并时目标对象的个数，如果满足d_mj＝min{d_ms}j，s∈S，那么第j个object_presence(j)(x，y，t-1)就判定为被匹配的目标对象；接着转入S12处理步骤；

S12处理步骤中首先检测群组对象group_j(x，y)中的各相关目标对象object_presence(j)(x，y，t-1)的个数N，如果N＝2那么将group_j(x，y)的对象参考变量为Null，用匹配成功的ROI_i(x，y，t)的中心位置替代object_presence(j)(x，y，t-1)的中心位置；如果N＞2那么将group_j(x，y)的对象参考变量为Null，将剩余在群组对象group_j(x，y)中的各相关目标对象object_presence(j)(x，y，t-1)重新创建新的群组对象group_j(x，y)，用匹配成功的ROI_i(x，y，t)的中心位置替代object_presence(j)(x，y，t-1)的中心位置；

 S10处理步骤主要是针对有新的目标对象进入场景情况的处理，这时需要用ROI_i(x，y，t)来创建一个新的object_presence(j)(x，y，t-1)目标对象，并用公式计算颜色直方图和Hu不变矩等数据，并同其空间位置信息保存到object_presence(j)(x，y，t-1)目标对象中；

如果ROI的个数i小于已存在的目标对象object_presence(j)的个数j表明在场景中已有的目标对象离开或者出现了合并的情况；处理过程如下：首先采用S3处理步骤进行配对计算，采用空间范围变化很小准则进行配对，配对计算方法如公式(23)所示；接着转入S4处理步骤；

S4处理步骤中依据在S3处理步骤中的结果，如果在配对计算公式(23)计算时有两个或者两个以上的距离值d_t，j小于D，即满足公式(26)，

(d_t，n＜D)∧(d_t，m＜D)    (26)

那么就认为第n个目标对象object_presence(n)和第m个目标对象object_presence(m)发生了合并，转入S5进行处理；反之转入S6进行处理；

S5处理步骤根据公式(26)的判断结果，将第n个目标对象object_presence(n)和第m个目标对象object_presence(m)进行合并处理，创建一个新的群组对象group_j(x，y)；

S6处理步骤根据公式(26)的判断结果，表明有一个目标对象已经离开的场景，对没有配对成功的object_presence(j)(x，y，t-1)的对象参考变量为Null，让Java语言中的垃圾收集器自动收集已离开场景的目标对象。

图8所示的全景序列图像展开、目标对象的提取和跟踪处理算法主要由C语言实现，运行于达芬奇平台；图9所示的多目标对象跟踪处理算法以及图像的形式化处理和行为语义化处理等算法主要由Java语言编写，运行于PC机。

Claims (10)

1.一种全景视频序列图像的多目标对象跟踪***，其特征在于：所述全景视频序列图像的多目标对象跟踪***包括用以捕获到整个场景内目标对象的全景视频图像的全方位摄像装置，所述全方位摄像装置用ODVS表示，所述ODVS安置在监控场景的中部上方，所述ODVS通过USB接口与微处理器进行连接；所述的微处理器通过计算机网络与所述的PC机进行连接；所述的微处理器包括：

视频图像读取单元，用于通过USB接口读取ODVS所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；

视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给目标对象检测单元；

目标对象检测跟踪单元，用于检测在全景柱状展开图像中存在的移动目标对象，并用矩形框框住目标对象，用一种Motion History or Energy Images算法，以下简称MHoEI算法，用目标对象的运动历史和能量图像来提取和跟踪目标对象；所述的PC主要进行全景视频图像的形式化处理和行为语义化处理，多目标对象跟踪单元用于多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪；

所述的视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给所述的目标对象检测跟踪单元；

所述的目标对象检测跟踪单元，用于检测和跟踪在全景柱状展开图像中存在的运动目标对象，采用MHoEI算法对目标对象的运动历史和能量图像来提取和跟踪目标对象，得到感兴趣区域ROI、区域的质心坐标值以及区域框的大小值；这些目标对象的提取和跟踪数据并同全景视频图像以软件接口的方式通过网络递交给所述的多目标对象跟踪单元进行处理；

所述的多目标对象跟踪单元，用于多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪。

2.如权利要求1所述的全景视频序列图像的多目标对象跟踪***，其特征在于：所述的目标对象检测跟踪单元，用于检测和跟踪在全景柱状展开图像中存在的运动目标对象，采用MHoEI算法对目标对象的运动历史和能量图像来提取和跟踪目标对象，用公式(3)表示：

$H_{\mathrm{\&tau;}}(x,y,t)=\left\{\begin{array}{cc}\mathrm{\&tau;}& \mathrm{ifD}(x,y,t)=1\\ \max (0,H_{\mathrm{\&tau;}}(x,y,t-1))& \mathrm{ifS}\&le;\mathrm{\&delta;}\\ \max (0,H_{\mathrm{\&tau;}}(x,y,t-1)-1)& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

式中，S为目标对象的运动速度，τ为持续时间，D(x，y，t)为运动区域的二进制图像序列，H_τ(x，y，t-1)为非运动区域的二进制图像序列，持续时间τ需要根据目标对象运动速度S进行动态调整。

3.如权利要求1或2所述的全景视频序列图像的多目标对象跟踪***，其特征在于：所述的目标对象检测跟踪单元，为了实现运动目标对象有效分割和在分割的同时消除运动目标所产生的阴影，在进行帧差法过程中利用阴影与非阴影区域区别的某些特征来消除阴影，主要依据阴影区域中像素的色度与背景像素色度相比几乎相等的特征，将原图像的RGB色彩空间转化成HSI色彩空间，然后再进行帧差法运算就能消除阴影，RGB色彩空间转化成HSI色彩空间的计算方法如公式(7)所示，

$H=\left\{\begin{array}{c}\mathrm{\&theta;}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;G\&GreaterEqual;B\\ 2\mathrm{\&pi;}-\mathrm{\&theta;}\&CenterDot;\&CenterDot;\&CenterDot;G<B\end{array}\right.$

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]---\left(7\right)$

$\mathrm{\&theta;}=\arccos \left\{\frac{[(R-G)+(R-B)]/2}{{[{(R-G)}^2+(R-B)(G-B)]}^{1/2}}\right\}$

式中，R是RGB色彩空间中的红色分量，G是RGB色彩空间中的绿色分量，B是RGB色彩空间中的蓝色分量；H为HSI色彩空间中的色调，用角度表示，反映了颜色最接近什么样的光谱波长；S为HSI色彩空间中的饱和度，表征颜色的深浅程度；色调H与饱和度S合起来称色度；

对于距离ODVS的远处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如(8)所示，

${\mathrm{IP}}_{L,H}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-3}(i,j)|>\mathrm{Threshold}1\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.---\left(8\right)$

${\mathrm{IP}}_{L,S}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-3}(i,j)|>\mathrm{Threshold}1\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.$

式中，IP_L，H Im age(i，j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i，j)点的检测结果，IP_L，S Im age(i，j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i，j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H，t(i，j)和Pix_H，t-3(i，j)分别表示全景视频图像的上部H颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i，j)点的像素值，Pix_S，t(i，j)和Pix_S，t-3(i，j)分别表示全景视频图像的上部S颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i，j)点的像素值，Threshold1是相应的判断阈值，这里取值为45；

对于距离ODVS的中远处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如(9)所示，

${\mathrm{IP}}_{M,H}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-2}(i,j)|>\mathrm{Threshold}2\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.---\left(9\right)$

${\mathrm{IP}}_{M,S}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-2}(i,j)|>\mathrm{Threshold}2\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.$

式中，IP_M，H Im age(i，j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i，j)点的检测结果，IP_M，S Im age(i，j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i，j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H，t(i，j)和Pix_H，t-2(i，j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i，j)点的像素值，Pix_S，t(i，j)和Pix_S，t-2(i，j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i，j)点的像素值，Threshold2是相应的判断阈值，这里取值为45；

对于距离ODVS的近处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如(10)所示，

${\mathrm{IP}}_{N,H}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-1}(i,j)|>\mathrm{Threshold}3\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.---\left(10\right)$

${\mathrm{IP}}_{N,S}\mathrm{Image}(i,j)=\left\{\begin{array}{c}1\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{if}|{\mathrm{Pix}}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-1}(i,j)|>\mathrm{Threshold}3\\ 0\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{else}\end{array}\right.$

式中，IP_N，H Im age(i，j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i，J)点的检测结果，IP_N，S Im age(i，j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i，j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H，t(i，j)和Pix_H，t-1(i，j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i，j)点的像素值，Pix_S，t(i，j)和Pix_S，t-1(i，j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i，j)点的像素值，Threshold3是相应的判断阈值，这里取值为45；

最后，对于分割后的目标对象拼合整理处理；一方面，由于色度主要由色调H与饱和度S两个部分构成，这里需要进行或运算处理；另一方面，在P4、P5和P6处理过程中将整幅全景图像分割为上、中、下三个部分，这里也需要进行或运算处理；经过这样处理得到整幅全景图像上的运动目标对象的分割图像，处理方法如公式(11)所示，

D(x，y，t)＝IP_L，H Im age(i，j)∨IP_L，S Im age(i，j)∨IP_M，H Im age(i，j)∨IP_M，S Im age(i，j)∨IP_N，H Im age(i，j)∨IP_N，S Im age(i，j)    (11)

式中，D(x，y，t)为当前输入全景图像帧中坐标为(i，j)点的检测结果，IP_N，H Im age(i，j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i，j)点的检测结果，IP_N，S Im age(i，j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i，j)点的检测结果，IP_M，H Im age(i，j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i，j)点的检测结果，IP_M，S Im age(i，j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i，j)点的检测结果，IP_L，H Im age(i，j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i，j)点的检测结果，IP_L，S Im age(i，j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i，j)点的检测结果。

4.如权利要求1所述的全景视频序列图像的多目标对象跟踪***，其特征在于：所述的视频图像展开单元，用于将全景图像进行柱状展开，根据初始化处理中计算得到的全景图像的中心坐标以及图像的内外圆半径，将全景图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴、全景图像的内径为r、外径为R，用r1＝(r+R)/2设定中间圆的半径，方位角为β＝tan^-1(y^*/x^*)；全景柱状展开图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将全景图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；建立全景柱状展开图像中任意一点象素坐标P^**(x^**，y^**)与全景图像中的象素坐标Q^*(x^*，y^*)的对应关系，其计算式为：

x^*＝y^*/(tan(360x^**/π(R+r)))    (4)

y^*＝(y^**+r)coSβ    (5)

上式中，x^**，y^**为全景柱状展开图像的象素坐标值，x^*，y^*为全景图像的象素坐标值，R为圆形全景图像的外径，r为圆形全景图像的内径，β为圆形全景图像坐标的方位角；

由于上述的全景柱状展开图像的范围是0～360°，当同一个跟踪目标对象处于0°或者360°边缘时会出现判断为两个目标对象的情况，将全景柱状展开图像的范围设置为0～380°，即有20°左右的重叠区域。

5.如权利要求1或者2所述的全景视频序列图像的多目标对象跟踪***，其特征在于：所述的目标对象检测跟踪单元，在采用MHoEI算法提取和跟踪目标对象时，得到每个运动目标对象的ROI，计算第i个ROI_i的质心坐标ROI_i，m(x，y，t)，然后利用上一个循环中得到第i个ROI_i的质心坐标ROI_i，m(x，y，t-1)来计算第i个运动目标对象的速度，计算方法如公式(15)所示，

$S_i\left(t\right)=\frac{|{\mathrm{ROI}}_{i,m}(x,y,t)-{\mathrm{ROI}}_{i,m}(x,y,t-1)|}{\mathrm{\&Delta;t}}---\left(15\right)$

式中，ROI_i，m(x，y，t)为当前处理帧中第i个ROI_i的质心坐标，ROI_i，m(x，y，t-1)为上一个处理帧中第i个ROI_i的质心坐标，Δt为两帧间隔时间，S_i(t)为当前处理帧中第i个ROI_i的运动速度。

6.如权利要求1或者2所述的全景视频序列图像的多目标对象跟踪***，其特征在于：所述的目标对象检测跟踪单元，由公式(15)计算得到的目标对象运动速度S_i(t)作为计算持续时间τ_i，M的依据；计算方法如公式(12)所示，

τ_i，M＝k/S_i(t)    (12)

式中，τ_i，M为第i个目标对象的持续时间，S_i(t)为第i个目标对象的移动速度，k为某一常数；

对于距离ODVS远近不同的目标对象，τ_i，M值也需要适当调整，对于同样的运动速度的目标对象，距离ODVS近的目标对象在全景展开图上反映的速度会快些，则距离ODVS远的目标对象在全景展开图上反映的速度会慢些，公式(12)求得的是离ODVS中等距离情况下的τ_i，M值，这里对持续时间进行了归一化处理，具体做法是将近处的持续时间设置为H_τ(x，y，t)＝τ_i，M-α，中远处的持续时间设置为H_τ(x，y，t)＝τ_i，M，远处的持续时间设置为H_τ(x，y，t)＝τ_i，M+α；其中α＝2～4。

7.如权利要求1或者2所述的全景视频序列图像的多目标对象跟踪***，其特征在于：所述的目标对象检测跟踪单元，每次循环得到i个ROI感兴趣区域、区域的质心坐标值以及区域框的大小值；这些目标对象的提取和跟踪数据并同全景视频图像以软件接口的方式提供给中高层视频序列图像处理时调用。

8.如权利要求1所述的全景视频序列图像的多目标对象跟踪***，其特征在于：所述的多目标对象跟踪单元，用于多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪；为了实现多目标对象的有效跟踪需要将目标对象中的各种属性数据融合、匹配、更新，这里对每个进入场景的目标对象自动创建一个软件的object，object的描述方法如下：

9.如权利要求1所述的全景视频序列图像的多目标对象跟踪***，其特征在于：所述的多目标对象跟踪单元，采用彩色直方图作为颜色特征模型和多目标对象出现***情况时第一匹配依据，具体做法是在多个对象合并前，将各个对象的色度信息保存在object中；在多目标对象出现***情况时分别读取存储在object中的相关目标对象的颜色直方图

数据；同时对***情况时的相关目标对象的ROI做颜色直方图

将巴特查理亚距离作为两个彩色直方图相似性的度量，离散巴特查理亚系数的计算方法如公式(16)所示，

$\mathrm{\&rho;}[P_i,Q_j]=\underset{\mathrm{\&mu;}=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{p_i^{\left(\mathrm{\&mu;}\right)}{q}_j^{\left(\mathrm{\&mu;}\right)}}---\left(16\right)$

式中，ρ[P_i，Q_j]∈[0，1]为巴特查理亚系数，巴特查理亚距离用公式(17)进行计算，

$d=\min \left\{d_{i,j}\right\}=\min \left\{\sqrt{1-\mathrm{\&rho;}[P_i,Q_j]}\right\}---\left(17\right)$

式中，d为巴特查理亚距离，如果该值小于某一规定的阈值Threshold4就表示匹配成功，对于没有匹配成功的目标对象继续按第二匹配依据进行匹配。

10.如权利要求1所述的全景视频序列图像的多目标对象跟踪***，其特征在于：所述的多目标对象跟踪单元，采用Hu不变矩作为目标对象形状特征和多目标对象出现***情况时第二匹配依据，具体做法是在多个对象合并前，将各个对象的Hu不变矩特征的7个向量信息保存在object中；在多目标对象出现***情况时分别读取存储在object的相关目标对象中的Hu不变矩特征向量信息；同时对***情况时的相关目标对象做Hu不变矩特征向量运算，将欧氏距离作为两个Hu不变矩特征相似性的度量，Hu不变矩7个特征向量的计算方法如公式(18)所示，

φ₁＝η₂₀+η₀₂

${\mathrm{\&phi;}}_2={({\mathrm{\&eta;}}_{20}-{\mathrm{\&eta;}}_{02})}^2+{4\mathrm{\&eta;}}_{11}^2$

φ₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

φ₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

φ₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(18)

(3η₂₁-η₀₃)(η₂₁-η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

φ₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

φ₇＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]-

(η₃₀-3η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

式中，η_pq为归一化中心距，计算方法由公式(19)给出，

${\mathrm{\&eta;}}_{\mathrm{pq}}={\mathrm{\&mu;}}_{\mathrm{pq}}/{\mathrm{\&mu;}}_{\mathrm{pq}}^r\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;r=(p+q)/2\&CenterDot;\&CenterDot;\&CenterDot;p+q=\mathrm{2,3},\&CenterDot;\&CenterDot;\&CenterDot;---\left(19\right)$

式中，μ_pq为中心距，计算方法由公式(20)给出，

${\mathrm{\&mu;}}_{\mathrm{pq}}=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{(x-\stackrel{\&OverBar;}{x})}^p{(y-\stackrel{\&OverBar;}{y})}^{q}f(x,y)---\left(20\right)$

式中，f(x，y)为目标对象的二值图，

和

为目标对象的重心坐标，计算方法由公式(21)给出，

$\stackrel{\&OverBar;}{x}=m_{10}/m_{11},\stackrel{\&OverBar;}{y}=m_{01}/m_{00}$ $\left(21\right)$

$m_{\mathrm{pq}}=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}^p{y}^{q}f(x,y)$

式中，f(x，y)为目标对象的二值图；对于每个目标对象都可以通过公式(18)～(21)计算得到其Hu不变矩的7个向量，然后用公式(22)欧氏距离去判断两者的相似性，

$d_{\mathrm{ms}}=\underset{i=1}{\overset{7}{\mathrm{\&Sigma;}}}{({\mathrm{\&phi;}}_{\mathrm{mi}}-{\mathrm{\&phi;}}_{\mathrm{si}})}^2\&CenterDot;\&CenterDot;\&CenterDot;s\&Element;S---\left(22\right)$

式中，d_ms为存储在object中的Hu不变矩特征向量值φ_si和被匹配的目标对象的Hu不变矩特征向量值φ_mi的欧氏距离值，S为多个目标对象合并时目标对象的个数，如果满足d_mj＝min{d_ms}j，s∈S，那么第j个object就判定为被匹配的目标对象。

Images