CN101976429A - 基于游弋图像的水面鸟瞰图成像方法 - Google Patents

Abstract

基于游弋图像的水面鸟瞰图成像方法，首先建立成像***，包括服务器图像处理***、客户端界面显示与交互***和游弋船艇视频采集***，在船艇上设置视频摄像机和GPS定位装置，采集水面视频数据，服务器图像处理***对视频数据进行处理得到水面鸟瞰图像，并输入客户端界面显示与交互***。本发明通过游弋船艇采集水面视频，转化为水面的鸟瞰图像，失真小，噪声干扰少；周期短，时效性高；投入低，兼容性好。

Description

基于游弋图像的水面鸟瞰图成像方法

技术领域

本发明属于图像处理技术领域，涉及图像稳定技术、摄像机定标技术、图像修复技术等，将通过水面船艇巡逻拍摄的视频帧图像转换为水面的鸟瞰图，展示大面积水面状态，如蓝藻等，具体为一种基于游弋图像的水面鸟瞰图成像方法。

背景技术

自20世纪60年代以来，太湖流域的经济迅速发展，给环境带来巨大压力，造成了生态***的严重破坏和环境质量的下降。按现行的《地表水环境质量标准GB3838-88》，20世纪90年代中期太湖水质平均已达IV类，1/3湖区为V类，表现为平均每10年水质下降一个级别，近10多年下降速度明显加快。随着富营养化进程的加快，太湖梅梁湾、丝山湖、西太湖沿岸等水域蓝藻水华频繁发生。蓝藻异常生长极易堆积、腐烂沉降形成水华，在河口以及近岸淤积，不仅破坏水体景观和生态***平衡，而且由于蓝藻在生长过程中释放毒素，消耗溶解氧，引起水体生物大量死亡，湖泊水质恶化，严重威胁了湖泊周围地区的饮水安全。2007、2008年太湖爆发的蓝藻事件尤为突出，其暴发时间早、规模强度大，后果已严重威胁了无锡等市的饮水安全，使经济遭受到巨大的损失。因此，防治湖泊水质污染，保持生态平衡，以保证人类正常的生活环境，已成为现代社会最重要的问题之一。

除了蓝藻，还有其它的水域情况需要大范围监测，如海面的赤潮，石油泄漏等引起的水域污染等。

2010年7月16日，大连湾一条输油管线突然***，造成估计至少上万吨原油泄漏入海，对生态安全造成严重危害，给海水养殖及旅游业等造成了难以估计的损失。大批海洋生物因中毒或窒息死亡，原油所含的苯和甲苯等有毒化合物会进入食物链。此外，潜在的损害进一步扩展到当地生态***中，幸存的生物，在几年内会把毒物的影响遗传给后代。

2010年10月11日，台风凡亚比登陆福建漳浦带来东南风，在惠东盐港引发大范围赤潮，盐港2500多个网箱鱼类因赤潮缺氧在3天内死亡，造成直接经济损失1700多万元。

水质监测是水质评价与水污染防治的主要依据，随着水体污染问题的日渐严重，水质监测成为社会经济可持续发展必须解决的重大问题。目前我国内陆水体水质监测主要采取四种方法：

(一)直接检测法。对要监测的湖泊采集水样，在实验室进行水质分析，得到相关化学参数，以采样点的参数代表附近水域或采用统计学的方法分析其时空分布。该方法的优点是可以检测多种水质参数，包括溶解氧、水温、pH值、电导率、透明度，高锰酸盐指数、氨氮、总氮、总磷、叶绿素A、藻类总密度等等与水质密切相关的信息，不足之处是对大面积的水域，采用该方法耗时、耗资、耗力，难以获取大范围水域状态参量，不能满足对水质实时、连续、大范围的监测评价要求。

(二)固定摄像机监控。以太湖为例，目前无锡市环境检测中心已和中国电信达成协议，采用“全球眼”技术实现梅梁湖沿岸水域的实时视频监控。该***已经初步完成，但仍存在一些不足。

1.费用昂贵：双方采用租用服务的方式，全部建设由中国电信出资，包括日后的维护，无锡环保检测中心租用其服务，每年交纳大概50万元的网络租赁费用。

2.画质不佳：电信“全球眼”采用10Mbps光纤接入，在检测中心的画面不是很流畅。目前采用的清晰度为4CIF，帧率不低于20帧，摄像头采用云台控制，可远程进行水平、上下转动以及远程调节镜头焦距。

3.监测域有限：近景基本可以看清，但镜头拉远时水上画面无法辨别，其一方面和摄像头质量有关，另一方面和云台架设的高度有关。

(三)人工巡逻监视。人工巡逻监视由沿水域各地区、各部门共同完成。在沿岸区设置巡视点，主要记录观测点周边水域的风向、水色、污染面积、藻类聚集情况，根据事件发生级别确定观测频次。人工巡视具有较强主观性，对水色、藻类聚集状况等判断标准难以统一，污染面积等参数只能估算得出，监测频次较高时需要消耗大量人力、物力。

(四)遥感监测法。目前常用的内陆水体水质遥感监测是基于经验、统计分析、水质参数光谱特征等选择遥感波段数据进行统计分析，建立水质参数反演算法实现的。70年代初期开始，对陆地水体的遥感研究从单纯的水域识别发展到对水质参数进行遥感监测、制图和预测。随着对物质光谱特征研究的深入、算法的改进以及遥感技术本身的不断革新，遥感监测水质从定性发展到定量，且可通过遥感预测的水质参数种类逐渐增加，包括悬浮颗粒物、水体透明度、叶绿素a浓度以及溶解性有机物、水中入射与出射光的垂直衰减系数，和一些综合污染指标如营养状态指数等。

遥感监测又分为两类：一是基于高空间分辨率，如法国SPOT卫星的HRV数据、美国陆地探测卫星***LANDSAT的TM(Thematic Mapper)数据或搭载在Terro卫星上的ASTER数据等对湖泊相关信息的直接提取；二是基于中低空间分辨率如气象卫星NOAA的AVHRR、美国1999年发射的Terra(EOS-AMI)卫星上搭载的MODIS(Moderate-resolution Imaging Spectroradiometer)等数据结合相关的算法来提取目标信息。

遥感技术是大范围水质监测中备受瞩目的方法，但是仍然存在以下问题：

1.高分辨率遥感影像时间分辨率低且价格昂贵。如ASTER重复覆盖周期为4～16天，TM的运行周期为16天，SPOT的轨道是“定态”(phased)的，重复覆盖周期为26天。ASTER影像大约为800元/景；TM影像4000元/景；SPOT1、2、3、4影像数据9900元/景，分辨率10m和5m的SOPT5则为14900元/景，2.5m的高达29800元/景。

2.中低分辨率的遥感监测数据存在混合象元问题，精度受限。遥感对地物的探测是以像元为单位，像元具有一定的面积，且很少是由单一均匀的地表覆盖类组成的，一般都是几种地物的混合体。尽管不同的自然地物有其不同的光谱、时间、角度等特征，但是遥感记录的像元只有单一的光谱、时间、角度等特征，即混杂后的特征，从而给遥感解译造成困扰。MODIS仪器的地面分辨率为250m、500m和1000m；AVHRR的星下点分辨率为1.1km，由于扫描角大，图像边缘部分变形较大，实际上其最有用的部分在±15°范围内(15°处地面分辨率为1.5km)。混合象元问题是遥感技术向定量化深入发展的重要障碍。

3.遥感图像易受云层、大气影响，导致无法获得地面影像或干扰较大，多雨季节难以实时连续跟踪水面动态变化。太湖流域多雨，年均降水量为1100毫升，其属亚热带季风气候区，每年***，北上的暖气流和南下的冷气流相遇于此，两者势均力敌，相持时间一个月，甚至五六十天，形成连绵不断的梅雨，而此时也正是蓝藻高发期，遥感监测难以发挥效用。卫星传感器接收的是地物反射太阳辐射的信号，在太阳辐射与地球大气的相互作用中，会产生吸收、反射、散射与发射等效应，这些都会引起传感器接收到的信号失真，使图像质量下降，特别是水体，其反射光谱信号相对陆地较弱，因此大气状况会对监测结果造成较大干扰。

各种水域在需要对水面有整体可视状态的监测时，都存在上面的问题。

发明内容

本发明要解决的问题是：现有技术对水面的监测存在不足，如不能满足大面积水域监测的要求，监测实时性不够，监测成本高昂，监测精度易受影响等；需要一种简便易实现，精度高效果良好的水面监测方法。

本发明的技术方案为：基于游弋图像的水面鸟瞰图成像方法，首先建立成像***，包括服务器图像处理***、客户端界面显示与交互***和游弋船艇视频采集***，游弋船艇视频采集***包括视频采集装置和GPS定位装置，服务器图像处理***对视频数据进行处理得到水面鸟瞰图像，并输入客户端界面显示与交互***；其中：服务器图像处理***包括视频稳定模块、摄像机标定模块、图像变换模块和图像拼接模块，客户端界面显示与交互***包括地图填充及显示模块和网格地图构建模块，包括以下步骤：

1)、在船艇上设置视频摄像机和GPS定位装置，视频摄像机记录巡逻船艇游历路线中视域内的水面景象，输出视频帧序列，GPS定位装置实时获取船艇巡游中的GPS信息，GPS信息与视频帧序列通过时间一一对应；

2)将视频帧序列输入服务器图像处理***，视频稳定模块通过全局运动估计、运动补偿和图像修复技术对视频帧序列进行预处理，把由于船艇的颠簸导致的画面抖动去除，得到稳定的视频序列图像；

3)摄像机标定模块从视频摄像机获取的图像信息来计算水面世界坐标系中的几何信息，完成摄像机标定，得到的信息用于重建水面鸟瞰图影像信息；

4)图像变换模块利用摄像机标定模块的标定信息，包括视频摄像机内外参数以及俯仰角等相机姿态，将视频帧序列的视角从侧视转换为俯视，再利用图像重构技术实现对俯视图像的空洞填补、图像清晰化处理，得到视角变换后的清晰鸟瞰图，其中图像重构采用基于模板和基于网格的算法；

5)图像拼接模块将一幅幅孤立的视频帧序列俯视图拼合起来，得到一张大图，拼接依据以图像特征点匹配和对数图像处理LIP模型为主，GPS信息的地理坐标为辅；

6)网格地图构建模块依据经纬度信息和地图坐标的对应关系将水面的地图按网格分割，生成基于地理信息***GIS的电子网格地图，其中使用可缩放矢量图形SVG作为地图格式，GPS坐标转换为水面地图坐标，通过GPS经纬度与水面地图坐标的对应关系将地图分割为不同的网格，将鸟瞰图根据GPS坐标填充到对应的水面地图网格中，生成水域的总体鸟瞰图在WEB上发布。

步骤2)中，视频稳定模块的处理流程如下：

21)全局运动估计：采用块匹配法和参数模型估计法；

22)图像运动补偿：首先对视频帧序列的无意和有意运动进行参数估计，采用卡尔曼状态滤波法进行有意运动参数估计，利用统计学方法构造物理状态空间模型，描述有意和无意运动参数的动态变化，并基于卡尔曼滤波器估计有意运动参数，然后通过图像变换来补偿无意运动，使图像序列的运动与估计出的有意运动模型一致，从而达到视频稳定的目的，假设第n帧图像f_n变换参数为(T_n，d_n)，则变换模型如下：

${\stackrel{\‾}{p}}_n={\stackrel{\‾}{T}}_n{p}_n+{\stackrel{\‾}{d}}_n---\left(1\right)$

其中，p_n为图像变换后的点坐标向量，根据卡尔曼滤波的状态方程和观测方程，得到：

${\stackrel{\‾}{p}}_n={\hat{T}}_n{p}_n+{\hat{d}}_n=\left({\hat{T}}_n{\left({\tilde{T}}_n\right)}^{-1}\right)p_n-{\left({\hat{T}}_n({\tilde{T}}_n\right)}^{-1}{\tilde{d}}_n+{\hat{d}}_n---\left(2\right)$

因此，第n帧图像f_n的变换过程可描述如下：

${f^{\′}}_n\left(p\right)=f_n({\left({\stackrel{\‾}{T}}_n\right)}^{-1}{p}_n-{\left({\stackrel{\‾}{T}}_n\right)}^{-1}{\stackrel{\‾}{d}}_n\mathrm{})---\left(3\right);$

23)图像修复：从图像数据中经过滤波、参数或非参数估计以及熵方法得到图像模型，采用基于偏微分方程的数字图像修补技术，利用待修补区域的边缘信息，同时采用由粗到精的方法来估计等照度线的方向，将待修补区域周围的信息传播到修补区域中，以实现图像修复。

作为优选方式，本发明视频摄像机为***，步骤3)摄像机标定时在传统的摄像机标定方法基础上对内外参分别标定，以一个结构已知的标定块作为空间参照物，利用标定块上一组非退化点的三维坐标和相应的图像坐标通过一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数，内参标定在室内实验环境下完成，采用传统的基于标定模板的方法；外参进行在线标定，通过提取场景中的固定特征参照物实现。

步骤4)中，图像变换模块通过图像逆向映射技术实现视频帧的视角转换，建立从目的域到参考域的映射关系矩阵，目的域为鸟瞰图，参考域为视频帧图像，用摄像机标定得到的信息预先重建目的域的深度信息，根据所需构建的鸟瞰图中某一点的坐标(X，Y)，通过映射关系矩阵计算得到该点的像平面坐标(x，y)，再将(x，y)处像素值赋值于(X，Y)，将视频帧序列的视角从侧视转换为俯视；图像重构采用基于模板的算法。

进一步的，步骤5)的图像拼接模块的处理流程包括图像预处理、图像配准、图像融合，其中：

图像预处理对参考图像和待拼接图像进行预处理，参考图像取视频序列的第一帧图像，预处理包括图像处理的基本操作、建立图像的匹配模板和对图像进行变换，其中将参考图像作为匹配模板，根据实际情况可以做一些剪切，对图像进行变换用以提取图像特征，包括傅立叶变换、小波变换、Gabor变换，之后提取图像的特征集合，利用特征计算参考图像和待拼接图像的粗略位置关系，即对待拼接图像进行粗略定位，找到大致的重叠区域，缩小匹配范围，提高速度；

图像配准采用改进的归一化灰度级相关方法NGC结合GPS定位数据进行图像配准，改进的归一化灰度级相关方法NGC为：将图像的匹配模板中像素的灰度级乘以待拼接图像中被匹配模板覆盖的对应像素的灰度级，得到的总和NC值存储在二维数组中，所述匹配模板和待拼接图像均未已经过步骤4)转化的鸟瞰图：

$\mathrm{NC}(i,j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{S}^{i,j}(m,n)T(m,n)---\left(10\right)$

其中，T为匹配模板，包含M×N个像素，S^i，j为移动匹配模板起始点至待拼接图像的(i，j)位置时图像被模板覆盖的区域，称为子图，匹配模板在待拼接图像中的位置由与匹配模板最相似的子图决定，将匹配模板T和子图S^i，j看成两个向量，利用向量夹角的余弦公式(11)求解S^i，j与T的夹角θ，使得θ最小的S^i，j所在的位置即为模板在图像中的位置：

$\cos {\mathrm{\θ}}_{i,j}=\frac{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{S}^{i,j}(m,n)T(m,n)}{\sqrt{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left[S(m,n)\right]}^2}\sqrt{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left[T(m,n)\right]}^2}}---\left(11\right);$

图像融合采用对数域图像处理模型LIP，将待拼接图像转换至LIP域处理，实现图像增强、亮度校正。

作为优选，图像拼合中，把位于

处的像素点的亮度值视为一个三维向量，称之为彩色向量，用表示，

$\stackrel{\mathrm{ur}}{F}\stackrel{r}{\left(v\right)}=\left(\begin{array}{c}{F}_r\stackrel{r}{\left(v\right)}\\ F_g\stackrel{r}{\left(v\right)}\\ F_b\stackrel{r}{\left(v\right)}\end{array}\right)---\left(18\right)$

在计算中引用LIP域定义的

和

运算法则，以及映射函数ψ，将彩色图像的R、G、B三个通道分别处理，在灰度图像的LIP模型上，建立彩色图像的对数处理CLIP模型，在CLIP域内处理水面图像，使图像更贴近真实视觉特征。

作为优选，步骤6)中将水面的地图按网格分割时，分割为大小均匀的六边形网格地图。

本发明以船载摄像机作为***前端，采集水面图像，将视频序列输入***，***首先利用视频稳定技术，把由于船的颠簸导致的画面抖动去除，得到稳定的视频序列图像；然后通过图像变换模块，利用摄像机标定技术自动标定摄像机内外参数以及测定俯仰角等相机姿态，利用图像变换技术将视角从测试转换为俯视，再利用空洞填补、图像清晰化等技术处理俯视图，得到视角变换后的清晰鸟瞰图；接下来是图像拼接模块，利用图像拼接技术将一幅幅孤立的视频图像拼合起来，得到一张大图，拼接依据以图像特征点匹配和CLIP处理为主，GPS地理坐标为辅；拼接完成的水面大图以网格地图的形式在WEB上发布。

针对卫星遥感阴雨多云天气下无法获得地面影像或干扰较大的不足，本发明提出基于船艇游弋和视频摄像机的大范围水域状态监测新方法，与已有监测方法优势互补。高分辨率遥感图像价格极其昂贵，而本发明基于现有巡逻船艇的船载摄像机成本适中，并可采集同等分辨率甚至更高分辨率图像，且其近距离成像受大气、天气干扰较少，构建基于游弋图像的太湖蓝藻分布图***具有广阔的应用前景。

本发明构建视频处理、分析、集成、发布***，具有巡逻视频记录、定位、地图再现及人机交互功能。***集成GPS地理定位数据和游弋图像数据提供地图显示，可用于指导船艇巡逻方向，辅助其无遗漏的游历湖域，以免盲目巡游。

本发明提出了构建湖域鸟瞰图的新方法，减轻对卫星遥感***的依赖。在摄像机标定技术基础上实现图像映射和重建，将透视图转化为鸟瞰图，基于图像拼接技术，并消除块图像之间因光照不均等造成的亮度差异，形成整个湖域鸟瞰图。

提出的网格化地图模式，构建具有高分辨率的网格图像块，其独立处理、动态更新，具有处理便捷、实时性强等优点。基于GIS地图视窗和SVG技术构建太湖网格图像，既能实时展现蓝藻全域分布信息，又能提取独立网格块，展现高分辨率细节信息。

提出的基于对数域LIP和CLIP的图像处理方式，解决图像计算中的溢出、失真等问题，使其更加逼近人眼视觉***。图像处理中常用的普通加法和标量乘法运算，与图像形成法则不一致，其对由透射光形成的图像，对人类视觉感知和很多实际数字图像都是不适合的，常常导致计算溢出，对数域图像处理技术较好的解决了这一问题，其封闭运算模式不会导致计算溢出。

本发明具有以下优点：

1.失真小，噪声干扰少。不同于遥感成像，基于巡逻船艇的摄像机成像中光照辐射路径非常短，影响相当小，更不受云层影响，也不存在混合象元问题，无需进行大气补偿等复杂预处理，即使阴雨多云天气也能捕获实时的湖况图像。

2.周期短，时效性高。据调查，为实时把握水面状况，常规监测需每日上报1次监测数据，如蓝藻暴发最严重时期，应急监测项目至少1天监测2次，自动在线监测则需每2h～4h上报数据1次。卫星遥感影像周期过长，不能满足实时性需求。本发明通过巡逻船艇采集的湖域图像几秒钟内即可通过处理发布，时效性很高。

3.投入低，兼容性好。利用现有巡逻船艇，配置视频摄像机即可实现水域状况监测，相对于需要高价购买的卫星遥感影像，其不失为廉价高效的监测手段。

附图说明

图1为本发明成像***的结构图。

图2为本发明方法的流程图。

图3为视频稳定模块的处理流程图。

图4为摄像机理想小孔模型。

图5为本发明摄像机标定模块内参标定采用的基于平面模板标定的透视投影模型。

图6为本发明摄像机标定模块外掺标定的摄像机城乡模型。

图7为图像映射中的正向映射示意图。

图8为图像映射中的逆向映射示意图。

图9为本发明采用的逆向映射示意图。

图10为本发明图像重构方法示意图。

图11为本发明的图像拼接流程图。

图12为图像拼接中重叠区线性过度方法的示意图。

图13为本发明GPS坐标和电子地图坐标的转换流程示意图。

图14为本发明采用的六角形网格示意图。

图15为WebGIS平台结构示意图。

图16为本发明在对电子网格地图进行WEB发布中，Ajax的应用功能示意图。

图17为本发明在对电子网格地图进行WEB发布中，Ajax异步通信过程的示意图。

具体实施方式

本发明基于船载摄像机构建水域表面鸟瞰图，不同于陆地固定摄像机监控***，其图像游弋特性及水面影像不同于陆地景观的特征决定了本***需采用特殊的处理方式。图1显示了本发明的成像***架构，包括服务器图像处理***、客户端界面显示与交互***和游弋船艇视频采集***，游弋船艇视频采集***包括视频采集装置和GPS定位装置，服务器图像处理***对视频数据进行处理得到水面鸟瞰图像，并输入客户端界面显示与交互***；其中：服务器图像处理***包括视频稳定模块、摄像机标定模块、图像变换模块和图像拼接模块，客户端界面显示与交互***包括地图填充及显示模块和网格地图构建模块。如图2，本发明包括以下步骤：

1)、在船艇上设置视频摄像机和GPS定位装置，视频摄像机记录巡逻船艇游历路线中视域内的水面景象，输出视频帧序列，GPS定位装置实时获取船艇巡游中的GPS信息，GPS信息与视频帧序列通过时间一一对应；

2)将视频帧序列输入服务器图像处理***，视频稳定模块通过全局运动估计、运动补偿和图像修复技术对视频帧序列进行预处理，把由于船艇的颠簸导致的画面抖动去除，得到稳定的视频序列图像；

3)摄像机标定模块从视频摄像机获取的图像信息来计算水面世界坐标系中的几何信息，完成摄像机标定，得到的信息用于重建水面鸟瞰图影像信息；

4)图像变换模块利用摄像机标定模块的标定信息，包括视频摄像机内外参数以及俯仰角等相机姿态，将视频帧序列的视角从侧视转换为俯视，再利用图像重构技术实现对俯视图像的空洞填补、图像清晰化处理，得到视角变换后的清晰鸟瞰图，其中图像重构采用基于模板和基于网格的算法；

5)图像拼接模块将一幅幅孤立的视频帧序列俯视图拼合起来，得到一张大图，拼接依据以图像特征点匹配和对数图像处理LIP模型为主，GPS信息的地理坐标为辅；

6)网格地图构建模块依据经纬度信息和地图坐标的对应关系将水面的地图按网格分割，生成基于地理信息***GIS的电子网格地图，其中使用可缩放矢量图形SVG作为地图格式，GPS坐标转换为水面地图坐标，通过GPS经纬度与水面地图坐标的对应关系将地图分割为不同的网格，将鸟瞰图根据GPS坐标填充到对应的水面地图网格中，生成水域的总体鸟瞰图在WEB上发布。

下面以太湖水域的蓝藻分布监测来具体说明本发明的实施。

1.1.1.视频稳定技术

视频稳定技术有三个主要的步骤：图像全局运动估计、图像运动补偿、视频修复，算法流程图如图3所示：

1)图像全局估计

由于摄像机相对背景的运动是一种全局运动，即它造成的图像变化是一种全局变化，因此视频稳定算法中可以用全局运动估计技术进行补偿。全局运动的估计的主要分为基于块匹配法和基于参数模型估计法。

块匹配方法的基本思想是把当前帧分成方块，对当前帧的每一个块都在参考帧中的一定区域，即搜索窗口内，按照一定的匹配准则搜索与之具有最小匹配误差的块，该块即为当前块的匹配块，匹配块与当前块之间的坐标位移就是运动矢量。基于块匹配方法的运动估计的复杂度主要取决于匹配准则的计算量和采用的搜索算法这两个方面。该方法计算简单，但算法通常不能很好地估计摄像机的旋转、变焦等造成的运动。

参数模型估计算法是指通过建立不同的参数模型可以描述不同的运动形式，参数模型旨在描述三维运动在图像平面的正交或者透视投影，模型使用少量的参数描述其中每一个像素点的运动，与块匹配方法相比，参数模型能更为简洁地描述运动，并且不容易受到噪声的影响。目前主要应用的有基于平行投影的六参数法，也有基于透视投影的八参数法，这类算法可以描述摄像机的旋转和变焦等运动。

2)图像运动补偿

视频稳定的目的在于减轻或消除摄像机载体晃动所造成的图像序列帧间无意的、有害的运动，保留序列图像中存在的主运动或有意运动。运动补偿包括两个步骤，首先对图像序列的实际运动和有意运动进行参数估计，然后通过适当的图像变换来补偿无意运动，从而达到视频稳定的目的。

传统的有意运动参数估计算法有曲线拟合法和滑动平均滤波法，曲线拟合法多采用低阶模型进行最小二乘法对全局运动估计得到的实际参数进行曲线拟合，从而估计出有意运动参数。运动曲线是有意运动与随机抖动的叠加，有意运动往往代表低频分量，随机抖动为高频分量，滑动平均滤波法可以用来滤除代表随机抖动的高频分量。但上述两种方法都存在较大的缺陷，传统方法可以用于本发明，只是计算量巨大，以当前硬件的运算速度难以保证其实时性。而目标跟踪***对数据处理的实时性要求较高，应当在下一帧图像到来之前完成对前一帧的处理。

卡尔曼状态滤波法可用来进行有意运动参数估计，其主要思路是利用统计学方法构造物理状态空间模型，描述有意和无意运动参数的动态变化，并基于Kalman滤波器估计有意运动参数。该算法所构造的动态运动模型能够实际地描述由于摄像机运动所造成的帧间运动，并通过递归估计获得最佳的有意运动参数。此外，该方法应用灵活，可以通过适当修正状态空间模型利用各种可获得的先验知识，如有意运动和无意运动的特点等

传统的曲线拟合法和滑动平均滤波法都用到了后续图像帧的运动参数，显然无法满足较高的实时性要求。此外，曲线拟合法难以适应较为复杂的运动形式，而滑动平均滤波法则存在“过稳”和“欠稳”的问题。而卡尔曼状态滤波法根据过去直到现在的实际图像运动参数来估计当前的有意运动参数，且计算量较小，从而克服了传统运动滤波算法难以满足高实时性要求的缺陷。

图像变换的目的在于补偿无意运动，使图像序列的运动与估计出的有意运动模型一致。假设第n帧图像变换参数为(T_n，d_n)，则变换模型如下：

${\stackrel{\‾}{p}}_n={\stackrel{\‾}{T}}_n{p}_n+{\stackrel{\‾}{d}}_n---\left(1\right)$

其中，p_n为图像变换后的点坐标向量，根据Kalman滤波的状态方程和观测方程，可得到：

${\stackrel{\‾}{p}}_n={\hat{T}}_n{p}_n+{\hat{d}}_n=\left({\hat{T}}_n{\left({\tilde{T}}_n\right)}^{-1}\right)p_n-{\left({\hat{T}}_n({\tilde{T}}_n\right)}^{-1}{\tilde{d}}_n+{\hat{d}}_n---\left(2\right)$

因此，第n帧图像f_n的变换过程可描述如下：

${f^{\′}}_n\left(p\right)=f_n({\left({\stackrel{\‾}{T}}_n\right)}^{-1}{p}_n-{\left({\stackrel{\‾}{T}}_n\right)}^{-1}{\stackrel{\‾}{d}}_n\mathrm{})---\left(3\right)$

3)图像修复技术

目前存在两大类图像修复技术，两种图像修补方法都可以应用于本发明：一类是用于修复小尺度缺损的数字图像修补(inpainting)技术。其利用待修补区域的边缘信息，同时采用一种由粗到精的方法来估计等照度线(isophote)的方向，并采用传播机制将信息传播到待修补的区域内，以便得到较好的修补效果。本质上，它是一种基于偏微分方程(Partialdifferential Equation，PDE)的inpainting算法，该类方法的主要思想是利用物理学中的热扩散方程将待修补区域周围的信息传播到修补区域中。另一类是用于填充图像中大块丢失信息的图像补全(completion)技术。目前，这一类技术也包含以下两种方法：一种是基于图像分解的修复技术，其主要思想是将图像分解为结构部分和纹理部分，其中结构部分用inpainting算法修补，纹理部分用纹理合成方法填充。

本发明主要处理水面景观，其纹理信息较少，且视频序列为图像修复提供了许多数据源，不会产生大块信息丢失的情况，采用简单的求解偏微分方程以扩散邻域的方法即可。

从数学角度来看，图像修复就是要根据待修补区域周围的信息将图像填充到待修补区域中。然而，图像修补通常是一个病态问题，因为目前仍没有足够的信息可以保证能唯一正确地恢复被损坏部分，所以，人们从视觉心理学的角度进行分析，提出了各种假设限定用来解决这个问题。可见，图像修补属于图像复原的研究领域。

通常图像在获取过程中往往受到一些因素的影响，使得图像质量退化。在图像复原领域中，常用的退化模型是

I⁰＝I+N                                            (4)

其中，I⁰为所获得的观察图像，I为原始图像(I＝{I(x)})，N为加性白噪声。对大多数的图像修补问题来说，数据模型具有以下形式：

I⁰|_Ω/D＝[I+N]_Ω/D                                 (5)

其中，Ω表示整个图像区域，D表示信息丢失的待修补区域，Ω\D表示没有丢失信息的区域，I⁰为Ω\D上的可利用的图像部分，I为需要复原的目标图像。假设N为高斯的，那么关于数据模型的能量函数E可常用最小均方误差定义：

$E\left[I^0\right|I]=\frac{\mathrm{\λ}}{2}\underset{\mathrm{\Ω}/D}{\∫}{(I-I^0)}^2\mathrm{dx}---\left(6\right)$

由于修补区域D任何可用的数据，因此图像(先验)模型对图像修补算法来说，比其他传统的复原问题(如去噪，去降晰)变得更为重要，而图像模型可以从图像数据中经过滤波、参数或非参数估计以及熵方法得到。

1.1.2.摄像机标定技术

针孔模型是适合于很多计算机视觉应用的最简单近似，***完成透视投影。图4绘制了摄像机的针孔模型，它定义了如下四个坐标系^[2]：

欧式世界坐标系(下标为ω)：原点在O_w。

欧式摄像机坐标系(下标为c)：原点在镜头焦点C＝O_c，坐标轴Z_c与光轴重合并指向图像平面外。

欧式图像平面坐标系(下标为i)：以摄像机主点(光轴与图像平面的交点)为原点，X_i和Y_i位于图像平面上，分别与摄像机坐标系的X轴和Y轴平行。

图像阵列坐标系(下标为f)：计算机帧存中的图像像素坐标。

基于上述四个坐标系，针孔模型完成3D世界坐标到2D像素坐标的线性变换：

$\left(\begin{array}{c}U\\ V\\ W\end{array}\right)=K(R,T)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)---\left(7\right)$

$X_f=\frac{U}{W},Y_f=\frac{V}{W}---\left(8\right)$

其中K为摄像机内参矩阵，(R，T)为外参矩阵，其中R为3*3的旋转矩阵，T为平移向量。线性摄像机标定问题即求解内外参矩阵。高精度视觉检测***中，还需要考虑摄像机镜头畸变。

对摄像机标定算法最普遍的划分是：传统的摄像机标定算法、摄像机自标定方法以及基于主动视觉的标定方法。这几种方法都能用于本发明的摄像机定标，主动视觉标定由于对运动限制较多，而船载摄像机运动复杂，因此需要吸取其优点，针对实际情况采用合适的标定算法。

传统的摄像机标定方法是在特定的实验条件，以一个结构已知的标定块作为空间参照物，利用标定块上一组非退化点的三维坐标和相应的图像坐标通过一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数。传统标定方法已经有了较成熟的方法和理论。

自标定技术不需要已知参照物，仅利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行标定。其优点在于不依赖于标定装置而在线进行。理想的自标定技术根本不借助任何参考标定块，仅仅依赖拍摄的一系列场景，根据场景中各特征的对应关系进行标定，但这要求极高的图像识别及特征匹配技术。实际的摄像机自标定或多或少地应用了特定的参照物，如圆、直线、角点等，或者就直接利用客观世界的一些有一定规则几何形状的物体，如门、窗、盒子、箱子等。

基于主动视觉的自标定技术不需要已知参照物，仅通过控制摄像机的运动获取特定的约束条件来确定内部参数，使标定过程大为简化。但是该方法为了避免求解非线性方程，对摄像机运动限制较多。

鉴于船艇游历过程中世界坐标系不断变化，而采用固定摄像机时其内参不变，本发明采用内外参分别标定的方法，内参标定在室内实验环境下完成，采用传统的基于标定模板的方法，以保证精度；外参进行在线标定，通过提取场景中相关特征如地平线位置、船头特征点等实现。

●基于平面模板的内参标定方法

Zhang的平面模板法只需一个打印有格子图案的模板(如图5所示)在摄像机前转动三次以上(含三次)即可完成标定，无需了解模板的运动参数，流程简明，精度较高，堪称代表。在平面模板条件下，可认为Z_w＝0，式(7)可改写为

$\left(\begin{array}{c}U\\ V\\ W\end{array}\right)=H\left(\begin{array}{c}{X}_w\\ Y_w\\ 1\end{array}\right),$ 即 $s\begin{array}{c}\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)\end{array}=H\left(\begin{array}{c}{X}_w\\ Y_w\\ 1\end{array}\right)---\left(9\right)$

s为比例系数，(u，v)为像素坐标，H为模板平面到摄像机的Homography矩阵，它建立了模板平面和图像平面的透视关系。通过已知的N对标定点，采用最大似然准则可以求解Homography矩阵。

●在线外参标定方法

巡逻船艇以20km/h速度行驶，其相对于太湖坐标不断变化，通过GPS定位***可实现船艇定位，而架设于船上的摄像机相对于船本身静止，因此，标定中世界坐标系原点选择船体某点即可，同时局部水面可近似为平面，标定过程可简化为求解两个平面间的映射关系。图6显示了抽象的船载摄像机模型：

假设摄像机镜头相对于水平面的旋角为0，相对于船行驶方向的偏角为0，若非零可通过调整使然，因此只需求解倾角t，当图像中地平线可见时，可根据地平线纵坐标值求解t；若地平线不可见，而船头可见，可在船头设置标定物，直接求解成像矩阵。

1.1.3.图像变换技术

●图像映射(image warping)算法

设空间点X投影于参考视点C_r和目的视点C_d，分别得到参考像素X_r和目的像素X_d。在正向映射过程中，映射从参考域R_r向目的域R_d进行，根据已知信息，建立从X_r到X_d的映射关系：X_d＝f_forward(X_r)，如图7所示，反之，逆向映射即建立从X_d到X_r的映射关系：X_r＝f_backward(X_d)，如图8所示。

由于参考域中深度已知，正向映射具有较高的执行效率，但普遍存在以下问题：(1)映射出界问题，由于参考域中的像素并非能全部映射到目的域，会计算大量无效的出界像素；(2)空洞问题，由于图像扩张形成的信息不足会出现众多细小空洞；(3)遮挡多射问题，无法避免对于被遮挡像素的冗余计算，以及多个参考像素映射到一个目的像素时的重复计算。

逆向映射采用绘制驱动的原理，从目的域反向建立映射，有效地解决了正向映射中的诸多问题，但由于目的域的深度未知，逆向映射常常需要一个平均复杂度为O(width/2)的像素搜索的过程，从而造成计算速度的瓶颈。对逆向映射的优化可以采用两种方法：(1)依据极线几何关系优化搜索过程；(2)利用场景的三维信息重建来预先获得目的域的深度信息，从而将逆向映射转化为一个正向映射问题。

由于本发明采用了摄像机标定技术，目的域的深度信息可以预先重建，因此简化了图像映射过程，流程如图9所示：根据所需构建的鸟瞰图中该点的坐标(X，Y)，通过成像矩阵逆映射关系计算得到该点的像平面坐标(x，y)，将(x，y)处像素值赋值于(X，Y)即可。实际操作过程中可能会遇到取整、出界等问题，需采用合适的策略加以解决。

●图像重构算法

本发明图像重构可采用基于模板(splat)和基于网格(mesh)的算法。如图10所示：

(1)基于模板的算法。该类算法最早使用在体数据绘制中，主要思想是根据参考像素的深度、方向等参数，对参考像素采用一个大小可变的内核进行重构。这样像素可以借助高斯内核或其他内核扩展为一块区域，再对重合的部分进行融合绘制，其中内核大小的计算可以针对单个像素或场景节点的包围盒进行估算。由于重构内核的多样性，基于模板的算法可以获得较好的绘制效果，但也存在一些不足：首先不区分空间结构信息，容易出现走样问题，而且，模板的计算完全依靠CPU进行，使得在高分辨率或复杂内核情况下计算量较大；另外，重构内核的尺寸不易处理，过大会降低显示效果且增加边缘融合的计算量，而过小则会在边缘处留下过多的细洞。

(2)基于网格的算法。这类算法根据假设的空间连续性将离散的像素编制为一个连续的网格面，以像素作为网格的顶点，以插值计算的结果来填充网格面。该类算法可以借助硬件完成，但却无法有效地分辨空间的拓扑关系。当相邻像素并不位于同一空间连续表面时，就会产生不存在的空间表面，从而在场景的前景和后景之间常造成“橡皮擦现象”(Rubber Sheet)。

本发明主要对水面图像进行重构，水面可近似为平面，三维空间结构信息较少，另外采用CUDA(compute unified device architecture，统计计算设备架构)等高速运算平台可以解决计算量较大问题，因此采用基于模板的算法是较好选择。

1.1.4.图像拼接技术

图像拼接技术主要分为三个主要步骤：图像预处理、图像配准、图像融合，如图11所示。其中图像预处理的目的是保证下一步图像配准的精度，对原始图像做一些折叠变化和坐标变换，包括图像处理的基本操作，如直方图处理、图像的平滑滤波等，建立图像的匹配模板、对图像进行变换，如傅立叶变换、小波变换、Gabor变换等以及提取图像的特征集合等操作，粗略定位，找到大致的重叠区域，缩小匹配范围，提高速度。

●图像配准算法

迄今为止，国内外已产生了不少的图像配准方法，各种方法都是面向一定范围的应用领域，也具有各自的特点。根据图像配准所利用的图像的信息，可以将图像配准分为四类：基于灰度信息的图像配准，基于变换域的图像配准、基于特征的图像配准和基于模型的图像配准。这四类方法都可以用于本发明的图相匹配，基于灰度的效果最好，但计算复杂度也最高，若要效率和质量兼顾，往往几种方法融合使用。

基于图像灰度的方法直接利用图像的灰度信息进行配准，通过像素对其间某种相似性度量(如互信息、最小均方差等)的全局最优化实现配准，这种方法不需要对图像进行分割和特征提取，所以精度高、鲁棒性好。但这种配准方法对灰度变化非常敏感，没有充分利用灰度统计特性，对每一点的灰度信息依赖较大。

基于变换域的图像配准的一个经典方法是相位相关法，即利用傅立叶变换的方法，将图像由空间域变换到频率域，根据傅立叶变换的平移原理来实现图像的配准。由于平移、旋转、缩放等变形在频域都有对应变换，因此完全可以利用傅立叶方法在频域中进行图像匹配。变换域的方法具有对噪声的不敏感性，计算效率高，有成熟的快速算法(FFT算法)和易于硬件实现等特点。一般来说，采用变换域的方法可以为图像拼接提供一个良好的初始配准参数。

基于图像特征的方法首先要对待配准的两幅图像进行处理，提取满足特定应用要求的特征集，将这些特征作为控制结构，寻找两幅图像控制结构的映射关系。基于图像特征的方法，在特征提取后得到的特征点的数量将会大大减少，因此可以提高配准的速度，但其配准的效果很大程度上还取决于特征点的提取精度以及特征点匹配的准确度。

基于模型的配准方法是根据图像失真的数学模型来对图像进行非线性校准的配准。典型的算法是Szeliski提出的变换优化法，首先建立图像序列之间的变换模型，然后通过优化算法迭代求出模型中的变化参数，从而实现对待拼接图像的配准。变换优化法可以处理图像序列之间存在平移、旋转、缩放等几何变换的拼接，不需要任何特征点，收敛速度快，并且在统计上是最优的。但是要使整个算法达到收敛的要求，必须要有一定精度的初始估计值，即也就是人为确定的初始对应点要足够精确，否则将会导致图像配准的失败。

考虑到水面图像特征角点较少，而蓝藻常因个体老幼、生理状况及环境光质不同而呈红、黄、绿、褐、黑等丰富多变的颜色，直接导致水面图像颜色、亮度差异，海面的赤潮，石油泄漏等水面状况也有明显的颜色差异，因此本发明采用改进的归一化灰度级相关方法(NGC)结合GPS定位数据进行图像配准。

原始的NGC方法将匹配模板中像素的灰度级乘以待拼接图像中被模板覆盖的对应像素的灰度级，得到的总和(NC值)存储在二维数组中，如式(10)所示，该数组中NC值最大的元素的位置就是模板在图像中的位置。

$\mathrm{NC}(i,j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{S}^{i,j}(m,n)T(m,n)---\left(10\right)$

其中，T为匹配模板，包含M×N个像素，S^i，j为移动模板起始点至待拼接图像的(i，j)位置时图像被模板覆盖的区域，称为子图，i、j为子图在图像中的坐标。匹配模板在待拼接图像中的位置由与模板最相似的子图决定，将模板T和子图S^i，j看成两个向量，利用向量夹角的余弦公式(11)求解S^i，j与T的夹角θ，使得θ最小的S^i，j所在的位置即为模板在图像中的位置。

鉴于蓝藻的色彩变化特征，本发明中考虑不单纯采用亮度参量，采用色调H、饱和度S等参量的匹配结果可能更好。

由于点积本身并不能准确地定位，因为二维数组中NC值中的大小还受到像素灰度级大小的影响，如果图像中某一区域很亮一像素具有较大的灰度级，那么其NC值自然地也就变大了。本算法更加关心的是向量间的夹角，并以此消除图像亮度变化对定位的影响。

根据以上的分析，可以得到如下的计算公式：

$\cos {\mathrm{\θ}}_{i,j}=\frac{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{S}^{i,j}(m,n)T(m,n)}{\sqrt{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left[S(m,n)\right]}^2}\sqrt{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left[T(m,n)\right]}^2}}---\left(11\right)$

●图像拼合算法

当待拼接的两幅图像存在差异时图像的拼缝将会十分明显，如：由于拍摄时照度不均匀而引起的两图像重叠区有较大的亮度不一致，或者由于镜头畸变引起的图像几何形变等等。为了消除光强的突变并使光强平滑过度，常用的方法有三种：

(1)加权平均法

Szeliski使用一个“帽状函数”来加权平均到每个重叠帧的对应像素上，该函数在图像边缘处为最低，而在中心处贡献最多。对合成结果的每个图像采样的权重分布这样定义：离图像中心越近的像素对最终合成结果贡献越大。权重分布函数表现为三角形。像一顶帽子，所以称帽状函数(hat function)。

(2)基于欧氏距离的有效权重

图像的每个像素都分配权重，这个权重与到边缘(或最近不可见点)的距离成比例。在拼接时，主要目的是减少离边缘近的像素点的光强贡献。融合算法中计算距离映射d(x，y)，利用块距离和欧氏距离，计算到最近的透明点或边的距离。融合所有变形图像公式：

$C(x,y)=\frac{\underset{k}{\mathrm{\Σ}}w(x,y)I_k^{\′}(x,y)}{\underset{k}{\mathrm{\Σ}}w\left(d(x,y)\right)}---\left(12\right)$

w是单调函数，w(x)＝x，I_k是第k幅变形图像的光强函数，d的计算很简单，取离矩形四条边距离的最小值。

(3)多分辨率样条技术

Bert.PJ采用Laplace多分辨率金字塔结构，将图像分解成不同频率域上的一组图像，在每个分解的频率域上，将图像重叠边界附近加权平均。最后将所有频率上的合成图像汇总成一幅图像。多分辨样条法是在所有频率域上处理边界附近区域。因此工作量大，但质量高。

为了消除重叠区的拼缝问题，目前效果较好的是重叠区线性过度的方法，如图12所示。实现的具体方法是假设重叠区域宽度为L，取过渡因子是σ(0≤σ≤1)，两幅图像重叠区的x和y轴最大和最小值分别为X_min、X_max和Y_min、Y_max，则过渡因子：

$\mathrm{\σ}=\frac{X_{\max }-x}{X_{\max }-X_{\min }}---\left(13\right)$

重叠区域的图像强度为：

I＝σI_A(x，y)+(1-σ)I_B(x，y)                    (14)

I_A、I_B分别为图A和B相对应的象素值，这种方法使得过渡部分比较平滑，没有明显的台阶。

●对数域图像处理(LIP)技术

本发明引入一种新的图像处理框架——对数域图像处理模型LIP。相对于一般域的数字图像处理技术，LIP域图像处理方法有其独特的优点：

(1)LIP模型是一个完备的数学理论，对有界灰度图像的处理中，LIP模型规定了一个特殊的运算集。目前大多数图像处理中使用的普通的加法和标量乘法运算，与图像形成法则不一致，其对由透射光形成的图像，对人类视觉感觉和很多实际的数字图像都是不适合的。

(2)LIP域图像处理运算准则是封闭的。在对数字图像处理中，两个像素灰度值的离散和可能得出一个超出图像灰度范围的值即溢出，而LIP的封闭运算能较好的解决这个问题。

(3)LIP中引入空间映射函数ψ，完成灰度值及其在对数空间的转换，可以将复杂的和⊙运算转换为映射函数的直接相加减，大大减少了运算量。

(4)LIP对数图像处理方法在实践中已经证实与多重透射成像模型、多重反射成像模型、以及人类亮度感觉的规律即亮度大小反比于饱和度的特点相一致，其和心理学上的对比度概念相一致，更加逼近于人眼的视觉***，与人眼感受的真实环境更加接近。

在LIP域处理中，图像的灰度函数定义在一个非空空间域D上，称D为空间支撑。D是一个有界实区域[0，M]，一般M取256。LIP基本运算准则定义如下：

$\∀f,g\∈S$ $f\⊕g=f+g-\frac{\mathrm{fg}}{M}$

$\∀f\∈S,\∀\mathrm{\λ}\∈R$ $\mathrm{\λ}\⊗f=M-M{(1-\frac{f}{M})}^{\mathrm{\λ}}$

减法运算定义了两个灰度函数f和g之间的差异：

具有特殊运算的

和定义在向量空间E中，空间E在映射ψ：

$\mathrm{\Ψ}\left(f\right)=-M\ln (1-\frac{f}{M})---\left(17\right)$

空间E在映射ψ下与实数空间R是代数同构的。可以将复杂的

和

运算转换为映射函数的直接相加减，大大减少了运算量。LIP技术可用于图像背景更新、图像重建、图像增强、图像对比度估计、边缘检测以及图像分割等。本发明采用LIP技术解决图像增强、亮度校正问题，将待拼接图像转换至LIP域处理，可以更好的解决由于太阳光照不均、背光成像等情况下待拼接图像间亮度差异较大问题。对数域图像处理在本发明中的应用有非常明显的效果提升。

●彩色对数图像处理(CLIP)技术

在传统的彩色图像处理过程中，一幅彩色图像可视为一幅普通的二维图像，只是图像中每个像素点的亮度有三个自由度(R、G、B)。在CLIP彩色对数域图像的处理中，把位于处的像素点的亮度值视为一个三维向量，称之为彩色向量，用

表示，

$\stackrel{\mathrm{ur}}{F}\stackrel{r}{\left(v\right)}=\left(\begin{array}{c}{F}_r\stackrel{r}{\left(v\right)}\\ F_g\stackrel{r}{\left(v\right)}\\ F_b\stackrel{r}{\left(v\right)}\end{array}\right)---\left(18\right)$

在计算中引用LIP域定义的

和运算法则，以及映射函数ψ，将R、G、B三个通道分别处理，灰度图像的LIP模型上，建立彩色图像的对数处理CLIP模型，在CLIP域内处理蓝藻图像，使图像更贴近真实视觉特征。

1.1.5.网格地图构建技术

●基于SVG地图的网格图像生成

SVG(Scalable Vector Graphics)是W3C组织为适应Internet应用的飞速发展需要而制定的一套基于XML语言的二维可缩放矢量图形语言描述规范。传统的HTML静态页面描述语言的采用的标记固定、有限且无内涵、不支持矢量图形等缺点日益暴露出来，已经越来越满足不了WebGIS发展要求。目前网络上的MacroMiedia公司提出的SWF文件格式以其图像矢量化，文件较小及具有交互性而倍受青睐，但它相比于SVG，还是有一些不足之处。XML作为公认的世界未来统一格式标准已经为越来越多的领域所应用。SVG作为XML的一个描述矢量图形的子集的出现，为解决WebGIS面临的静态性，数据格式多样性，平台相关的Web内容表现和缺乏交互性，网络传输慢等问题提供了一个全新的解决方法。

SVG与HTML相比，具有如下优点：

(1)突破了HTML固定标记集合的约束，使文件的内容更丰富、更复杂、更容易组成一个完整的信息体系；

(2)SVG是矢量图像格式，非常适合在网络中传输和应用。一般而言，SVG图像要比其他网络图像格式(如GIF，JPEG)更小，下载速度更快；

(3)由文本构成矢量图像。其文本性使得SVG文件有良好的跨平台性和可以通过DOM(Document Obiect Model)方便的对其进行编辑、修改。另外一个很突出的优点就是SVG文件中的文字也可以被网络搜索引擎作为关键词搜索到。

(4)具有动态交互性。SVG图像能对用户动作做出不同响应，例如高亮、声效、特效、动画等。另外，由于Microsoft的IE6.0中已经集成了浏览SVG文件的插件，这使得SVG的浏览更加方便，容易。

SWF与SVG相比，其不足体现为：

(1)SWF标准的非开放性。SWF是一个相对封闭的技术，与其他的开放标准之间没有一个完全融合的方案。随着XML及其他开放标准的发展，SWF的不协调性将日益突出。

(2)SWF较差的可编辑性。SWF是Flash的输出文件格式，作为最终的动画生成格式，其创作过程封闭在SWF文件中，无法再进行二次编辑。而SVG采用一种文本格式，用普通的编辑工具就可以打开并进行编辑。

(3)SWF无法进行图像搜索。由于SWF为非文本格式，文本不能独立于图像而存在，因此无法建立类似于SVG的图像搜索功能。

鉴于SVG的以上特性和优点，本发明选择使用SVG作为地图格式来显示存储、传输和显示太湖水域的蓝藻分布情况图像。

●GPS经纬度数据到本地地图坐标的转换

GPS接收到的定位信息是基于WGS一84坐标系的，WGS一84接收到的数据无法直接应用于电子地图上。所以，要把WGS一84坐标系下的GPS定位信息和电子地图上的坐标对应起来，这样才能精确地实现对SVG地图的网格分割。

由GPS接收机获得的定位数据是包含经度L、纬度B和高程H的三维信息，而最终要得到的电子地图上的点(Xt，Yt)是二维的象素点，而且考虑到高程数据基准不统一，因此可以采取舍弃高程H的简化算法。首先将WGS一84坐标(L，B，H)投影到高斯平面上，获得其高斯平面对应坐标点(x，y)，再用简化的平面四参数法将其旋转平移缩放成电子地图平面直角坐标(Xt，Yt)。这样GPS接收机接收到的定位数据就能够在电子地图上直观显示出来。其转换流程如图13所示。

WGS一84坐标系投影到高斯平面数学模型，即高斯投影正算公式如式19所示，其中，B为投影点的大地纬度；l＝L-L0，L为投影点的大地经度，L0为中央子午线的大地经度；N为投影点的卯酉圈曲率半径

t＝tanB，η＝e*cosB，e为椭球第二偏心率。

$\left\{\begin{array}{c}x=X^0+1/2\×N\×t\×{\cos }^{2}B\×l^2+1/24\×N\×t(5-t^2+9{\mathrm{\η}}^2+4{\mathrm{\η}}^4){\cos }^{4}B\×l^4\\ +1/720\×N\×t(61-58t^2+t^4+270{\mathrm{\η}}^2-330{\mathrm{\η}}^2{t}^2){\cos }^{6}B\×l^6\\ y=N\×\cos B\×l+1/6N(1-t^2+{\mathrm{\η}}^2){\cos }^{3}B\×l^3\\ +1/120N(5-18t^2+t^4+14{\mathrm{\η}}^2-58{\mathrm{\η}}^2{t}^2){\cos }^{5}B\×l^5\end{array}\right.---\left(19\right)$

我们只需要进行二维平面上的坐标变换，因此可以采用更为简便的四参数转换模型。其四个参数在高斯平面内的数学含义分别是：ΔX为坐标x的平移分量；ΔY为坐标y的平移分量；m为尺度因子；θ为旋转量。

为了求解坐标变换的参数，我们需要知道三个以上WGS一84坐标系地图坐标系下对应点的坐标，设这组公共点P1，P2，...PN(N≥3)在两个坐标系下的坐标分别为(Xg，Yg)_i和(Xd，Yd)_i，则对于点Pi，有如式20所示关系。

$\left[\begin{array}{c}\mathrm{Xd}-\mathrm{Xg}\\ \mathrm{Yd}-\mathrm{Yg}\end{array}\right]={\left[\begin{array}{ccc}1& 0\mathrm{Xg}& \mathrm{Yg}\\ 0& 1\mathrm{Yg}& \mathrm{Xg}\end{array}\right]}_i\left[\begin{array}{c}\mathrm{\ΔX}\\ \mathrm{\ΔY}\\ m\\ \mathrm{\θ}\end{array}\right]---\left(20\right)$

通过最小二乘乘原理，求出转换参数(ΔX、ΔY、m、θ)。将需要转换的WGS一84下的点坐标(x，y)代人公式(21)，利用四个参数可得待测点的平面直角坐标(Xt，Yt)。

$\left[\begin{array}{c}\mathrm{Xt}\\ \mathrm{Yt}\end{array}\right]=\left[\begin{array}{c}\mathrm{\ΔX}\\ \mathrm{\ΔY}\end{array}\right]+(1+m)\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}0\mathrm{\θ}\\ \mathrm{\θ}0\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]---\left(21\right)$

经过转换，可以将WGS一84下的坐标转换成使用的地图坐标，从而实现经纬度到地图坐标的转换。

●网格图像生成

发明以SVG格式图像绘制太湖水域地图，通过经纬度与地图坐标的对应关系将地图分割为不同的网格，将局部蓝藻实时分布情况图填充到对应的地图网格中，生成水域的蓝藻总体分布图。相对于矩形网格，六边形网格更接近于圆，更加符合摄像机成像视角，有利于图像块裁剪和拼接，因此，采用六边形网格划分湖域如图14所示。

●融合MapTile技术和矢量数据技术的轻量级WebGIS平台

基于MapTile技术的WebGIS平台中，先把地图的栅格图处理成影像金字塔进行切块，然后对图片进行四叉树编码，存放在服务器上，客户端进行缩放、漫游等操作时，只需要动态计算地图瓦片的URL进行访问并显示即可，这些瓦片的体积都很小，在网络条件比较好的时候，浏览起来很流畅。由于图片都是事先生成好放在服务器端的，所以服务器端需要巨大的存储容量的存储设备。同时地图上的所有属性要素都集中在一个瓦片上，所以实现高亮等效果就显得很困难。

基于矢量数据技术的轻量级WebGIS平台，主要采用SVG(Scalable Vector Graphics)作为地图的展示方式。平台使用的矢量地图数据只是存放在服务器端，客户端请求时一次性发送到客户端，利用SVG图像与脚本语言JavaScript的交互性在客户端完成缩放、漫游、查询等基本操作，不需要和服务器交互。

结合本发明特点，将MapTile技术与矢量数据技术相结合构建轻量级的WebGIS平台发布太湖水域蓝藻实时分布信息。平台利用矢量数据技术SVG发布太湖水域地图，而使用MapTile技术将局部蓝藻分布情况图填充到已经进行分割的SVG地图中，平台结构示意图如图15所示。

服务器端按功能可以分为地图发布服务器和网格图像发布服务器，在本发明中二者可以在同一台机器上实现。当客户端使用Web浏览器访问服务器时，地图发布服务其将太湖水域的SVG地图发送到客户端显示，此后，地图的缩放、漫游、查询网格图像的拼接等基本操作则由脚本JavaScript在客户端完成。网格图像服务器则负责提供不同区域的局部蓝藻分布图，发送到客户端，由客户端脚本进行拼接。

客户端与网格图像服务器的通信由Ajax技术实现，Ajax(Asynchronous Javascript and XML)是多种技术的综合，也可以说是一种设计方式，它综合了包括JavaScript、XHTML和CSS、DOM、XML、XSTL、XMLHttpRequest等技术。各种技术在Ajax中作用如图16所示。

整个通信过程是异步进行的，通信过程如图17所示，异步指的是Ajax与服务器进行联系的方式。如果使用传统模式，每当用户向服务器发送经纬度请求局部蓝藻图像分布图像块时，Web浏览器就会刷新当前窗口。图X展示了Ajax所采用的异步模式，浏览器不用等待用户操作，也不用刷新整个窗口就可以获得需要的图像块。只要来回传送采用XML格式封装的数据，运行JavaScript代码就可以与服务器进行联系。执行结果到达客户端时，才会通知浏览器在合适的时间将图像块填充到相应的网格中。

Claims (7)

1.基于游弋图像的水面鸟瞰图成像方法，其特征是首先建立成像***，包括服务器图像处理***、客户端界面显示与交互***和游弋船艇视频采集***，游弋船艇视频采集***包括视频采集装置和GPS定位装置，服务器图像处理***对视频数据进行处理得到水面鸟瞰图像，并输入客户端界面显示与交互***；其中：服务器图像处理***包括视频稳定模块、摄像机标定模块、图像变换模块和图像拼接模块，客户端界面显示与交互***包括地图填充及显示模块和网格地图构建模块，包括以下步骤：

1)、在船艇上设置视频摄像机和GPS定位装置，视频摄像机记录巡逻船艇游历路线中视域内的水面景象，输出视频帧序列，GPS定位装置实时获取船艇巡游中的GPS信息，GPS信息与视频帧序列通过时间一一对应；

2)将视频帧序列输入服务器图像处理***，视频稳定模块通过全局运动估计、运动补偿和图像修复技术对视频帧序列进行预处理，把由于船艇的颠簸导致的画面抖动去除，得到稳定的视频序列图像；

3)摄像机标定模块从视频摄像机获取的图像信息来计算水面世界坐标系中的几何信息，完成摄像机标定，得到的信息用于重建水面鸟瞰图影像信息；

4)图像变换模块利用摄像机标定模块的标定信息，包括视频摄像机内外参数以及俯仰角等相机姿态，将视频帧序列的视角从侧视转换为俯视，再利用图像重构技术实现对俯视图像的空洞填补、图像清晰化处理，得到视角变换后的清晰鸟瞰图，其中图像重构采用基于模板和基于网格的算法；

5)图像拼接模块将一幅幅孤立的视频帧序列俯视图拼合起来，得到一张大图，拼接依据以图像特征点匹配和对数图像处理LIP模型为主，GPS信息的地理坐标为辅；

6)网格地图构建模块依据经纬度信息和地图坐标的对应关系将水面的地图按网格分割，生成基于地理信息***GIS的电子网格地图，其中使用可缩放矢量图形SVG作为地图格式，GPS坐标转换为水面地图坐标，通过GPS经纬度与水面地图坐标的对应关系将地图分割为不同的网格，将鸟瞰图根据GPS坐标填充到对应的水面地图网格中，生成水域的总体鸟瞰图在WEB上发布。

2.根据权利要求1所述的基于游弋图像的水面鸟瞰图成像方法，其特征是步骤2)中，视频稳定模块的处理流程如下：

21)全局运动估计：采用块匹配法和参数模型估计法；

22)图像运动补偿：首先对视频帧序列的无意和有意运动进行参数估计，采用卡尔曼状态滤波法进行有意运动参数估计，利用统计学方法构造物理状态空间模型，描述有意和无意运动参数的动态变化，并基于卡尔曼滤波器估计有意运动参数，然后通过图像变换来补偿无意运动，使图像序列的运动与估计出的有意运动模型一致，从而达到视频稳定的目的，假设第n帧图像f_n变换参数为(T_n，d_n)，则变换模型如下：

${\stackrel{\‾}{p}}_n={\stackrel{\‾}{T}}_n{p}_n+{\stackrel{\‾}{d}}_n---\left(1\right)$

其中，p_n为图像变换后的点坐标向量，根据卡尔曼滤波的状态方程和观测方程，得到：

${\stackrel{\‾}{p}}_n={\hat{T}}_n{p}_n+{\hat{d}}_n=\left({\hat{T}}_n{\left({\tilde{T}}_n\right)}^{-1}\right)p_n-{\left({\hat{T}}_n({\tilde{T}}_n\right)}^{-1}{\tilde{d}}_n+{\hat{d}}_n---\left(2\right)$

因此，第n帧图像f_n的变换过程可描述如下：

${f^{\′}}_n\left(p\right)=f_n({\left({\stackrel{\‾}{T}}_n\right)}^{-1}{p}_n-{\left({\stackrel{\‾}{T}}_n\right)}^{-1}{\stackrel{\‾}{d}}_n\mathrm{})---\left(3\right);$

23)图像修复：从图像数据中经过滤波、参数或非参数估计以及熵方法得到图像模型，采用基于偏微分方程的数字图像修补技术，利用待修补区域的边缘信息，同时采用由粗到精的方法来估计等照度线的方向，将待修补区域周围的信息传播到修补区域中，以实现图像修复。

3.根据权利要求1所述的基于游弋图像的水面鸟瞰图成像方法，其特征是视频摄像机为***，步骤3)摄像机标定时在传统的摄像机标定方法基础上对内外参分别标定，以一个结构已知的标定块作为空间参照物，利用标定块上一组非退化点的三维坐标和相应的图像坐标通过一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数，内参标定在室内实验环境下完成，采用传统的基于标定模板的方法；外参进行在线标定，通过提取场景中的固定特征参照物实现。

4.根据权利要求1所述的基于游弋图像的水面鸟瞰图成像方法，其特征是步骤4)中，图像变换模块通过图像逆向映射技术实现视频帧的视角转换，建立从目的域到参考域的映射关系矩阵，目的域为鸟瞰图，参考域为视频帧图像，用摄像机标定得到的信息预先重建目的域的深度信息，根据所需构建的鸟瞰图中某一点的坐标(X，Y)，通过映射关系矩阵计算得到该点的像平面坐标(x，y)，再将(x，y)处像素值赋值于(X，Y)，将视频帧序列的视角从侧视转换为俯视；图像重构采用基于模板的算法。

5.根据权利要求1所述的基于游弋图像的水面鸟瞰图成像方法，其特征是步骤5)的图像拼接模块的处理流程包括图像预处理、图像配准、图像融合，其中：

图像预处理对参考图像和待拼接图像进行预处理，参考图像取视频序列的第一帧图像，预处理包括图像处理的基本操作、建立图像的匹配模板和对图像进行变换，其中将参考图像作为匹配模板，根据实际情况可以做一些剪切，对图像进行变换用以提取图像特征，包括傅立叶变换、小波变换、Gabor变换，之后提取图像的特征集合，利用特征计算参考图像和待拼接图像的粗略位置关系，即对待拼接图像进行粗略定位，找到大致的重叠区域，缩小匹配范围，提高速度；

图像配准采用改进的归一化灰度级相关方法NGC结合GPS定位数据进行图像配准，改进的归一化灰度级相关方法NGC为：将图像的匹配模板中像素的灰度级乘以待拼接图像中被匹配模板覆盖的对应像素的灰度级，得到的总和NC值存储在二维数组中，所述匹配模板和待拼接图像均未已经过步骤4)转化的鸟瞰图：

$\mathrm{NC}(i,j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{S}^{i,j}(m,n)T(m,n)---\left(10\right)$

其中，T为匹配模板，包含M×N个像素，S^i，j为移动匹配模板起始点至待拼接图像的(i，j)位置时图像被模板覆盖的区域，称为子图，匹配模板在待拼接图像中的位置由与匹配模板最相似的子图决定，将匹配模板T和子图S^i，j看成两个向量，利用向量夹角的余弦公式(11)求解S^i，j与T的夹角θ，使得θ最小的S^i，j所在的位置即为模板在图像中的位置：

$\cos {\mathrm{\θ}}_{i,j}=\frac{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{S}^{i,j}(m,n)T(m,n)}{\sqrt{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left[S(m,n)\right]}^2}\sqrt{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left[T(m,n)\right]}^2}}---\left(11\right);$

图像融合采用对数域图像处理模型LIP，将待拼接图像转换至LIP域处理，实现图像增强、亮度校正。

6.根据权利要求5所述的基于游弋图像的水面鸟瞰图成像方法，其特征是图像拼合中，把位于

处的像素点的亮度值视为一个三维向量，称之为彩色向量，用

表示，

$\stackrel{\mathrm{ur}}{F}\stackrel{r}{\left(v\right)}=\left(\begin{array}{c}{F}_r\stackrel{r}{\left(v\right)}\\ F_g\stackrel{r}{\left(v\right)}\\ F_b\stackrel{r}{\left(v\right)}\end{array}\right)---\left(18\right)$

在计算中引用LIP域定义的和

运算法则，以及映射函数ψ，将彩色图像的R、G、B三个通道分别处理，在灰度图像的LIP模型上，建立彩色图像的对数处理CLIP模型，在CLIP域内处理水面图像，使图像更贴近真实视觉特征。

7.根据权利要求1所述的基于游弋图像的水面鸟瞰图成像方法，其特征是步骤6)中将水面的地图按网格分割时，分割为大小均匀的六边形网格地图。

Images