CN106204595B - 一种基于双目摄像机的机场场面三维全景监视方法 - Google Patents

Abstract

一种基于双目摄像机的机场场面三维全景监视方法，它通过在机场场面上安装双目摄像机生成一个统一的三维全局机场场面态势监视场景，使机场场面管制人员对机场场面态势有更直观清晰的把握。首先要用双目摄像机覆盖需要监视的场面范围，并将这些摄像机进行预标定，根据双目视觉原理监视恢复出每个双目摄像机的视频帧图像对应的立体稠密点云，再将这些点去统一到三维世界坐标下，融合形成全景监视场景，最后可以将所有点云重建为表面三维模型，即网格(Mesh)化处理。在具体实现中，本方法采用一些特殊的设置处理，以提高本发明的计算效率和实用效果。

Description

一种基于双目摄像机的机场场面三维全景监视方法

技术领域

本发明涉及计算机视觉技术和机场场面(Airport Surface)视频监视***的视频监视关键技术领域，具体涉及一种基于双目摄像机的机场场面三维全景监视方法。

背景技术

本发明的背景技术有两个方面：一、计算机视觉技术；二、机场场面监视技术。下面分别论述。

一、计算机视觉技术

计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息。形象地说，就是给计算机安装上眼睛（照相机）和大脑（算法），让计算机能够感知环境。计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科，其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。

本发明中用到的计算机视觉中的双目立体视觉测量技术。其原理是用两个摄像机各一个位置对同一场景取像，这被称为双目成像。此时两幅图像间所产生的视差可用来计算摄像机与视频中各个像素点在世界坐标中的距离。一个完整的立体视觉***可以分成6个步骤，或者说分成6个模块，它们分别是：1）摄像机标定，2）视频采集，3）图像特征提取，4）立体匹配，5）3D重建，6）后处理。本发明也是基于这个框架采用这些步骤进行描述。本发明利用的也是上述的双目视觉原理，但更进一步地将多个双目视觉***的结果融合起来形成一个更宽范围的监视平台。

二、机场场面监视技术

随着航空运输业的飞速发展，机场场面均需要专业的场面交通自动化管理***。这些管制***主要基于机场上建立的管制塔，场面监视雷达、ADS-B、多点定位等信息源，实现管制自动化功能。

机场场面监视技术中目前最具代表的是A-SMGCS，即高级场面运动引导与控制***(Advanced Surface Movement Guidance and Control Systems, A-SMGCS)综合采用了场面监视雷达、ADS-B、多点定位的多种场面监视技术，是一种能够增强地面活动的安全性全***解决方案，是在低能见度下保证足够的交通流量的关键设备。它实现了大型机场塔台场面管制功能，涵盖了离港飞机从完成放行后移交地面、从停机位推出、滑行、排队、地面之间移交、移交塔台、入跑道、起飞这几个关键过程，也涵盖了进港飞机从落地、移交地面、滑行、穿越跑道、进入停机位的这几个过程。借助于多传感器信息融合和传感器协同管理和优化部署等关键技术，实现了雷达、ADS-B和MDS等异类信息的融合集成。这种技术中预留了与视频监视技术进行融合的接口，本发明的目的之一也是可以将本发明集成到A-SMGCS中去，提升A-SMGCS的监视能力，进一步保证机场场面运营的安全及效率。

发明内容

本发明的目的在于提出并设计一种基于双目PTZ摄像机（两个摄像机重叠监视同一场景）的机场场面三维全景监视新方法。这种方法的输入数据是：1）安装在机场上双目摄像机的视频；2）摄像机预先标定数据。经过本发明方法处理后，可以得到机场的全景三维数字模型，从而实现从任何角度位置的对机场场面进行监视的效果。

本发明的目的是这样实现的：

步骤一：摄像机标定，针对每一对双目摄像机中的每个摄像机进行预先标定，得到摄像机内参数K _i1 和K _i2 及畸变参数。

步骤二：视频采集，将摄像机安装到机场相应的监视点位上，获得相应的视频。安装时，需测量两个摄像机之间的距离d _i 。

步骤三：图像特征提取，对每对摄像机获得的图像I _i1 和I _i2 计算其相应的特征点，计算方法采用BRISK(Binary Robust Invariant Scalable Key-points)，获得相应图像特征对应点，并根据两幅图像的特征对应计算出相应的基本矩阵F(Fundamental Matrix)，从而推算出两幅图像对应的本质矩阵，从而计算出两幅图像的投影矩阵（ProjectionMatrix）P _i1 和P _i2 。

步骤四：立体匹配，步骤三得到的特征点是稀疏特征点对应关系，这里要稠密特征点的对应关系才能用于机场场面全景监视。首先要进行图像校正，将原图像极线（Epipolar）调成水平线，得到由I _i1 和I _i2 校正后的图像I’ _i1 和I’ _i2 。同时，还要进行运动目标的检测，如果在完成初始化后检测出来此像素没有发生变化及运动，则不再进行立体匹配和后续的三维重建，而是直接进入到后处理的表面重建阶段。视频运动目标的检测使用的方法是混合高斯模型的拟合检测方法。

然后针对I’ _i1 中的位于位置(x, y)的像素点I’ _i1 (x, y)，沿着此点在I’ _i2 对应的相应的水平极线上搜索最相似的像素点，假设其位于I’ _i2 上位置(x’, y)，记为I’ _i2 (x’,y)。这里采用的相似性准则是标准的归一化互相关NCC (Normalized CrossCorrelation)，匹配策略为LRC（Left-right Checking），即找到I’ _i2 (x’, y)后，还要由I’ _i2 (x’, y)在I’ _i1 中的相应极线上进行搜索并发现相应的对应点还是I’ _i1 (x, y)，才确认二者是对应的匹配点。

步骤五：三维重建，设图像I _i1 和I _i2 上一对匹配的像素点坐标位置是(x ₁ , y ₁ )和(x ₂ , y ₂ )，根据投影公式有[x ₁ , y ₁ , 1]=P _i1 X _j 和[x ₂ , y ₂ , 1]=P _i2 X _j 两个公式可以解出I _i1 (x ₁ , y ₁ )和I _i2 (x ₂ , y ₂ )这对匹配像素对共同对应的在真实世界中的三维坐标点X _j 的值。解出所有像素匹配对应的点即可得到所有像素的三维坐标X，即稠密点云。

步骤六：统一点云坐标，当所有的摄像机对获得了稠密点云后，应把它们全部放在一个世界坐标系下组成一个统一的全局点云。

步骤七：基于点云的表面重建（Surface Reconstruction），即网格(Mesh)化处理。

同时，本发明的目的实现时还采用了如下设置：

1）使用双目摄像机对机场场面进行最大化的覆盖，双目摄像机之间重叠部分要求大于65%，双目摄像机的拍摄方向接***行；

2）尽可能双目摄像机对之间也存在重叠，重叠部分要求大于30%；对于有重叠的双目摄像机对，可以加入一个集束调整来优化其中的每个摄像机内参数及外参数，以提高精度；

3）如果两套双目摄像机之间没有重叠，则对每一套摄像机进行预先的配准到统一的机场世界坐标系下；

4）双目摄像机是固定方式，不能够任意的移动，改变观测方向及画面变焦缩放；

5）机场范围大、监视内容分散，所以本发明的摄像机均要求采用大于200万像素的高清摄像机；

6）因为机场监视的特点，对于背景监视的要求低，对于运动目标的监视要求较高；所以本发明的监视策略是对不同内容采用不同的刷新频率，具体是用混合高斯模型进行目标背景的检测，对于运动目标一秒刷新5次，而背景仅一分钟刷新1次；

7）本发明可以手动设置典型机场背景3D模型，或按一定的频率刷新保存机场背景3D模型到硬盘文件，如每天；保存的机场背景3D模型可供需要时调用显示；

8）本发明可以手工选择合适的背景3D机场模型替换当前自动生成的机场背景；

9）同步/丢帧处理，本发明并不要求严格的时间同步，而是采用收到数据就即时计算刷新全局世界坐标的方案，因为摄像机并不是时时在运动，而双目摄像机之间的时间差也可以忽略不计；

10）夜色充填背景处理，本发明可以自动判断场景是否已经进入黑夜，在是黑夜的条件下，若用户的设置可以放弃黑夜背景，则用当前保存的白天机场背景模型进行显示，以提升机场三维全景监视的效果；

11）雾天处理，雾天时本发明将自动判断雾的大小，在雾浓度达到一定程度后，同样可以用当前保存的白天机场背景模型进行显示；

12）手动设置视频帧中的背景区域，在用混合高斯模型检测运动目标步骤之前，可以检查用户是否手动标记了背景区域，如有，直接调用标记结果设置为背景，而不必再用混合高斯模型进行检测该部分像素是否为背景，因为有的摄像机是固定不动的，这样可以极大地减少计算量；

13）雨天场景处理，对于雨天，本发明将在接收到图像后增加平滑预处理步骤；

14）与天气***的接口，若有与天气***的接口，可以根据接收的天气信息代替黑夜自动判断，雨天自动判断，雾天自动判断；

15）本方法可以支持GPU并行计算以增加计算效率。

附图说明

图1是本发明一种基于双目摄像机的机场场面三维全景监视方法对应的***硬件示意图。

图2是本发明所用的标定方法的径向畸变的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

本发明一种基于双目摄像机的机场场面三维全景监视方法的基本思想是：使用双目摄像机对机场场面进行最大化的覆盖，而双目摄像机的主要作用是对此双目摄像机所拍摄场景进行立体测量恢复，获得稠密点云。然后使用配准算法将所有双目摄像机的点云配准到统一的机场的世界坐标系下。最后使用点云的表面生成方法，进一步生成三维全景模型，在视频监视客户端供用户进行场面视频直观监视。

本发明的算法的使用方式是：使用双目摄像机对机场场面进行最大化的覆盖，由立体恢复服务器获取每一套双目摄像机的两路视频，进行立体恢复，得到当前摄像机坐标下的立体点云，一个立体恢复服务器可以处理4套双目摄像机得到的8路视频。将点云传送到配准服务器再利用预配准的参数进行统一配准到机场世界坐标系。配准服务器再将配准后的数据发送到表面生成服务器进行三维模型的表面恢复，渲染形成最终的三维监视模型。***的硬件组成图见图1。

本发明一种基于双目摄像机的机场场面三维全景监视方法所述步骤一——摄像机标定具体是： 优选的，所采用的方法是考虑径向约束及畸变的标定算法。

世界坐标系和摄像机坐标系的关系是：

，其中K与t取作： ，

径向畸变的示意图如图2所示。畸变所用的模型如下所示：

（u, v)为图像的像素点的实际坐标，（x, y）为理想的像素坐标，（u _c, v _c）为畸变中心。径向约束是指在图像平面上，畸变中心点（u _c, v _c），理想图像像素点（x, y），实际图像像素点（u, v) 共线。标定求解的主要步骤如下：

1）利用径向一致约束来求解R和t ₁,t ₂

2）求解有效焦距f 、Z方向上的平移t ₃ 和畸变参数 k ₁。

本发明一种基于双目摄像机的机场场面三维全景监视方法所述步骤二——视频采集具体是： 将压缩后的视频数据通过内部网络传输到对应的立体恢复服务器，优选的，解压缩所采用的标准是H.264。

本发明一种基于双目摄像机的机场场面三维全景监视方法所述步骤三——优选的，图像特征提取具体方法是：BRISK特征是具体是指Binary Robust Invariant ScalableKey-points。需要注意的是，这里找到的仅是稀疏的特征点对应关系，仅用于摄像机外参数R ⁱ,T ⁱ 的计算。

本发明一种基于双目摄像机的机场场面三维全景监视方法所述步骤四——立体匹配具体是：优选的，这里图像校正的方法采用的是将极点映射到无穷远点的射影变换法，其步骤如下：

1）利用步骤三得到的特征点对应得到相应的像素点对应关系来求取两幅图像之间的基本矩阵F和每幅图像中的极点e和e’，至少需要7对匹配点。

2）将e’映射到无穷远点（1, 0, 0），得到相应的射影变换H’。

3）求将e映射到无穷远点（1, 0, 0）对应的射影变换H，可以通过求最小化求取。

4）然后用射影变换H和H’分别重采样第一幅、第二幅图像I _i1 和I _i2 。

一旦全景匹配完成后，全局背景生成后，可以只针对运动目标进行匹配。运动目标视频运动目标的检测混合高斯模型对每个像素使用了5个高斯核，每个高斯核未被匹配时的权重系数变为原值的0.97。背景高斯核权重和的门限被设为0.95。对新来像素点的值与每一个被认为是背景的高斯核中的均值进行比较，如果其差值在2倍的方差之间的话，则认为是背景，否则认为是前景。

本发明一种基于双目摄像机的机场场面三维全景监视方法所述步骤五——三维重建具体是： 因为本发明仅采用的是双目摄像机，三维重建也依赖于两个摄像机的投影矩阵P _i1 和P _i2 ，这里需要将投影矩阵的尺度调整得与双目摄像机之间的距离一致。根据投影公式有[x, y, 1]=P _i1 X _j 和[x’, y, 1]=P _i2 X _j 两个公式可以解出I’ _i1 (x, y)和I’ _i2 (x’, y)共同对应的三维坐标点X _j 的值。解出所有像素匹配对应的点即可得到单个双目摄像机的稠密点云所有像素的三维坐标X。

本发明一种基于双目摄像机的机场场面三维全景监视方法所述步骤六——统一点云坐标，采用的经纬度转换法，对机场中的一些关键点位可以测量其经纬度，并把它转换成一个标准的欧氏坐标系下形成统一的世界坐标，此坐标系原点坐标一般在机场的中心点位置。经纬度转换法分为2个步骤：

1）将测量的经纬度坐标转换成模型坐标系中的坐标，采用高斯-克吕格投影（Gauss-Kruger projection）；

2）设摄像机位置的归一化的相对三维坐标为b _i ，经纬度转换后的欧氏坐标为B _i ，则它们与转换矩阵G的关系是，对此公式用最小二乘法求转换矩阵G的初始值，再用Levenberg-Marquardt非线性求得更优的转换矩阵G，G需保持转换后坐标轴的正交性和比例的一致性，即加入旋转、平移、等比例缩放约束。然后可以通过G将像素的三维坐标X统一到世界坐标系下。

本发明一种基于双目摄像机的机场场面三维全景监视方法所述步骤七——基于点云的表面重建，网格化处理采用的方法是：

1) 利用上步给出的一个全局坐标，检查使所有的点基本都均匀分布在全局坐标的原点周围，即点到中心的平均距离方差在一个设定的范围内；

2) 再设定以多项式模型表面的参数，使其所有点到表面的最小二乘距离最小；

3) 再通过上采样及下采样的迭代过程优化表面多项式模型。

4) 最后完成渲染形成最终的背景模型。

由于机场监视中背景范围较大，占图像的比例大，目标一般较小且占当前帧图像面积比例比较也小，所以本发明的一般设置是，针对背景一开始进行三维重建并运行此步的全体表面重建，针对高频运动的目标，则不运行表面重建步骤，只观察其稠密三维点云，这样可以极大地减少***的运算量。

同时，更进一步的技术方案还有以下几点：

1）使用双目摄像机对机场场面进行最大化的覆盖，双目摄像机之间重叠部分要求大于65%，双目摄像机的拍摄方向接***行；

2）尽可能双目摄像机对之间也存在重叠，重叠部分要求大于30%；对于有重叠的双目摄像机对，可以加入一个集束调整来优化其中的每个摄像机内参数及外参数，以提高精度；

3）如果两套双目摄像机之间没有重叠，则对每一套摄像机进行预先的配准到统一的机场世界坐标系下；

4）双目摄像机是固定方式，不能够任意的移动，改变观测方向及画面变焦缩放；

5）机场范围大、监视内容分散，所以本发明的摄像机均要求采用大于200万像素的高清摄像机；

6）因为机场监视的特点，对于背景监视的要求低，对于运动目标的监视要求较高；所以本发明的监视策略是对不同内容采用不同的刷新频率，具体是用混合高斯模型进行目标背景的检测，对于运动目标一秒刷新5次，而背景仅一分钟刷新1次；

7）本发明可以手动设置典型机场背景3D模型，或按一定的频率刷新保存机场背景3D模型到硬盘文件，如每天；保存的机场背景3D模型可供需要时调用显示；

8）本发明可以手工选择合适的背景3D机场模型替换当前自动生成的机场背景；

9）同步/丢帧处理，本发明并不要求严格的时间同步，而是采用收到数据就即时计算刷新全局世界坐标的方案，因为摄像机并不是时时在运动，而双目摄像机之间的时间差也可以忽略不计；

10）夜色充填背景处理，本发明可以自动判断场景是否已经进入黑夜，在是黑夜的条件下，若用户的设置可以放弃黑夜背景，则用当前保存的白天机场背景模型进行显示，以提升机场三维全景监视的效果；

11）雾天处理，雾天时本发明将自动判断雾的大小，在雾浓度达到一定程度后，同样可以用当前保存的白天机场背景模型进行显示；

12）手动设置视频帧中的背景区域，在用混合高斯模型检测运动目标步骤之前，可以检查用户是否手动标记了背景区域，如有，直接调用标记结果设置为背景，而不必再用混合高斯模型进行检测该部分像素是否为背景，因为有的摄像机是固定不动的，这样可以极大地减少计算量；

13）雨天场景处理，对于雨天，本发明将在接收到图像后增加平滑预处理步骤；

14）与天气***的接口，若有与天气***的接口，可以根据接收的天气信息代替黑夜自动判断，雨天自动判断，雾天自动判断；

15）本方法可以支持GPU并行计算以增加计算效率。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (4)

1.一种基于双目摄像机的机场场面三维全景监视方法，其特征是具体步骤如下：

步骤一：摄像机标定，针对每一对双目摄像机中的每个摄像机进行预先标定，得到摄像机内参数K _i1 和K _i2 及畸变参数；

步骤二：视频采集，将摄像机安装到机场相应的监视点位上，获得相应的视频；安装时，需测量两个摄像机之间的距离d _i ;

步骤三：图像特征提取，对每对摄像机获得的图像I _i1 和I _i2 计算其相应的特征点，计算方法采用BRISK(Binary Robust Invariant Scalable Key-points)，获得相应图像特征对应点，并根据两幅图像的特征对应计算出相应的基本矩阵F(Fundamental Matrix)，从而推算出两幅图像对应的本质矩阵，从而计算出两幅图像的投影矩阵（Projection Matrix）P _i1 和P _i2 ；

步骤四：立体匹配，步骤三得到的特征点是稀疏特征点对应关系，这里要稠密特征点的对应关系才能用于机场场面全景监视；首先要进行图像校正，将原图像极线（Epipolar）调成水平方向的线，得到由I _i1 和I _i2 校正后的图像I’ _i1 和I’ _i2 ；同时，还要进行运动目标的检测，如果在完成初始化后检测出来此像素没有发生变化及运动，则不再进行立体匹配和后续的三维重建，而是直接进入到后处理的表面重建阶段；视频运动目标的检测使用的方法是混合高斯模型的拟合检测方法；

然后针对I’ _i1 中的位于位置(x, y)的像素点I’ _i1 (x, y)，沿着此点在I’ _i2 对应的相应的水平极线上搜索最相似的像素点，假设其位于I’ _i2 上位置(x’, y)，记为I’ _i2 (x’, y)；这里采用的相似性准则是标准的归一化互相关NCC (Normalized Cross Correlation)，匹配策略为LRC（Left-right Checking），即找到I’ _i2 (x’, y)后，还要由I’ _i2 (x’, y)在I’ _i1 中的相应极线上进行搜索并发现相应的对应点还是I’ _i1 (x, y)，才确认二者是对应的匹配点；

步骤五：三维重建，设图像I _i1 和I _i2 上一对匹配的像素点坐标位置是(x ₁ , y ₁ )和 (x ₂ ,y ₂ )，根据投影公式有[x ₁ , y ₁ , 1]=P _i1 X _j 和[x ₂ , y ₂ , 1]=P _i2 X _j 两个公式可以解出I _i1 (x ₁ , y ₁ )和I _i2 (x ₂ , y ₂ )这对匹配像素对共同对应的在真实世界中的三维坐标点X _j 的值；解出所有像素匹配对应的点即可得到所有像素的三维坐标X，即稠密点云；

步骤六：统一点云坐标，当所有的摄像机对获得了稠密点云后，应把它们全部放在一个世界坐标系下组成一个统一的全局点云；

步骤七：基于点云的表面重建（Surface Reconstruction），即网格(Mesh)化处理。

2.如权利要求1所述的三维全景监视方法，其特征在于：一旦全景匹配完成后，全局背景生成后，可以只针对运动目标进行匹配；运动目标视频运动目标的检测混合高斯模型对每个像素使用了5个高斯核，每个高斯核未被匹配时的权重系数变为原值的0.97；背景高斯核权重和的门限被设为0.95；对新来像素点的值与每一个被认为是背景的高斯核中的均值进行比较，如果其差值在2倍的方差之间的话，则认为是背景，否则认为是前景。

3.如权利要求1所述的三维全景监视方法，其特征在于：针对背景一开始进行三维重建并运行此步的全体表面重建，针对高频运动的目标，则不运行表面重建步骤，只观察其稠密三维点云，这样可以极大地减少***的运算量。

4.如权利要求1所述的三维全景监视方法，其特征在于：更进一步的技术方案中应用了如下设置：

1）使用双目摄像机对机场场面进行最大化的覆盖，双目摄像机之间重叠部分要求大于65%，双目摄像机的拍摄方向接***行；

2）尽可能双目摄像机对之间也存在重叠，重叠部分要求大于30%；对于有重叠的双目摄像机对，可以加入一个集束调整来优化其中的每个摄像机内参数及外参数，以提高精度；

3）如果两套双目摄像机之间没有重叠，则对每一套摄像机进行预先的配准到统一的机场世界坐标系下；

4）双目摄像机是固定方式，不能够任意的移动，改变观测方向及画面变焦缩放；

5）机场范围大、监视内容分散，所以本发明的摄像机均要求采用大于200万像素的高清摄像机；

6）因为机场监视的特点，对于背景监视的要求低，对于运动目标的监视要求较高；所以本发明的监视策略是对不同内容采用不同的刷新频率，具体是用混合高斯模型进行目标背景的检测，对于运动目标一秒刷新5次，而背景仅一分钟刷新1次；

7）本发明可以手动设置典型机场背景3D模型，或按一定的频率刷新保存机场背景3D模型到硬盘文件，如每天；保存的机场背景3D模型可供需要时调用显示；

8）本发明可以手工选择合适的背景3D机场模型替换当前自动生成的机场背景；

9）同步/丢帧处理，本发明并不要求严格的时间同步，而是采用收到数据就即时计算刷新全局世界坐标的方案，因为摄像机并不是时时在运动，而双目摄像机之间的时间差也可以忽略不计；

10）夜色充填背景处理，本发明可以自动判断场景是否已经进入黑夜，在是黑夜的条件下，若用户的设置可以放弃黑夜背景，则用当前保存的白天机场背景模型进行显示，以提升机场三维全景监视的效果；

11）雾天处理，雾天时本发明将自动判断雾的大小，在雾浓度达到一定程度后，同样可以用当前保存的白天机场背景模型进行显示；

12）手动设置视频帧中的背景区域，在用混合高斯模型检测运动目标步骤之前，可以检查用户是否手动标记了背景区域，如有，直接调用标记结果设置为背景，而不必再用混合高斯模型进行检测该部分像素是否为背景，因为有的摄像机是固定不动的，这样可以极大地减少计算量；

13）雨天场景处理，对于雨天，本发明将在接收到图像后增加平滑预处理步骤；

14）与天气***的接口，若有与天气***的接口，可以根据接收的天气信息代替黑夜自动判断，雨天自动判断，雾天自动判断；

15）本方法可以支持GPU并行计算以增加计算效率。