CN106570852A - 一种实时3d图像态势感知方法 - Google Patents

Abstract

本发明公开了一种实时3D图像态势感知方法，包含以下步骤：步骤一、对3D成像参数进行设置；步骤二、使用可见光传感器进行三维立体拍摄，获得原始双目视频；步骤三、对原始双目视频进行视差校正，获得校正后的可见光图像；步骤四、将红外传感器获得的红外图像与校正后的可见光图像进行3D融合，获得融合后的3D输出图像；步骤五、立体显示。本发明可实现三维态势的实时高精观测，以最大程度感知环境深度信息。

Description

一种实时3D图像态势感知方法

技术领域

本发明涉及新一代航空领域数字图像处理技术，适用于观测、监视、对敌作战指挥等复杂战场环境下的成像视景观测。

背景技术

对于飞行员而言，视觉是获取信息的主要来源。目前，各类飞行器的显示都是二维度的，也就是只能显示两个方向上的维度，当需要显示三维信息时，可通过两类方法显示。

1)采用两个不同视角方向的画面显示，例如同时显示俯视和侧视图，由飞行员自行形成三维概念；该方法直观性较差，要通过目标编号才能确定两个画面中的同一个目标。当目标较多时，容易引起混淆，对飞行员的压力负担也较大。

2)利用透视原理和阴影，利用二维显示三维信息。这两种方法都有其缺点。该方法的缺点是采用的是伪三维显示，对距离的判断依靠透视原理实现，容易出错。在态势画面中，为了能够看清目标，往往需要适当放大目标图形符号，若不同高度的目标符号尺寸大小接近，则无法通过透视原理判断目标相对高度。

采用立体拍摄及3D显示技术表现战场态势信息，可以避免这些缺点。与普通的2D图像相比，3D图像不再局限于屏幕的平面上，使画面显示变得立体逼真，更加真实地再现客观世界，给飞行员或操作员带来更强的现场感受，从而得到更加直观的三维态势信息。当采用固态体立体显示技术时，观察者甚至可以通过改变观察角度，观察到侧面和遮挡面。

根据美国军方研究表明，在执行视觉有关的对地搜索等任务中，采用三维立体图像进行告警，比采用二维闪烁图像，飞行员的执行能力要提升20％。另外据研究表明，当态势信息采用三维立体显示时，在某些任务中，飞行员的能力提升了44％。欧洲在“VirtualSky”项目研究中发现，空中交通管制采用三维立体显示比二维平面显示的反应速度快14％，识别的正确率高5％。所以三维图像比二维图像更易于识别，军事需求更强，在航电***中应用有助于提高作战能力。

发明内容

针对现有技术的不足，本发明的发明目的在于提供一种实时3D图像态势感知方法，该方法能够提高真实图像的立体显示效果，保证立体成像精度，提高作战场景和目标图像的可观测性和高辨识度。

本发明的发明目的通过以下技术方案实现：

一种实时3D图像态势感知方法，包含以下步骤：

步骤一、对3D成像参数进行设置；

步骤二、使用可见光传感器进行三维立体拍摄，获得原始双目视频；

步骤三、对原始双目视频进行视差校正，获得校正后的可见光图像；

步骤四、将红外传感器获得的红外图像与校正后的可见光图像进行3D融合，获得融合后的3D输出图像；

步骤五、立体显示。

优选地，对3D成像参数进行设置包含对可见光传感器的内参标定、屏幕视差参数设置、摄像机参数设置和视场参数设置。

优选地，对可见光传感器的内参标定采用平面靶标定法；

优选地，屏幕视差参数包含出屏视差dN、入屏视差dF和视差比率R，通过以下公式计算：

其中：N为出屏距离、F为入屏距离、E为人眼间距、Z为观看屏幕距离；

摄像机参数包含摄像机间距A和深度压缩比Rd，通过以下公式计算：

其中：Wc为零视差平面宽度、Zc为零视差平面距离、N为出屏距离、F为入屏距离、Nc为被摄场景的近物距离、Fc为被摄场景的远物距离、dN为出屏视差、W为屏幕宽度；

视场参数包含出视场角theta、零视差平面距离Zc和零视差平面宽度Wc，通过以下公式计算：

其中，R为视差比率、Nc为被摄场景的近物距离、Fc为被摄场景的远物距离，FL为可见光传感器的焦距，Ws为可见光传感器宽度。

优选地，选取会聚式结构的立体成像方式进行三维立体拍摄。

优选地，通过时间维度和空间维度二个方面对原始双目视频进行视差校正：

时间维度：对原始双目视频中的单路视频的前后帧采用SURF算法进行特征点提取、特征点匹配、特征点筛选，估计出原始双目视频的前后帧运动轨迹，再应用平滑算法实时校正运动轨迹；

空间维度：对同一时刻原始双目视频中的左右视图依次进行SURF算法的特征点提取、特征点匹配和特征点筛选，通过特征匹配算法完成在当前场景中左右视图的匹配，统计匹配的特征点的垂直视差作为当前左右视的垂直视差并进行实时校正。

优选地，在红外图像与校正后的可见光图像进行融合时，先分别对红外图像和校正后的可见光图像进行增强处理，对校正后的可见光图像采用去噪算法去除图像噪声，直方图变换算法增强图像对比度，YUV等彩色增强算法加强校正后的可见光图像的色彩呈现效果，对红外图像采用图像去噪、直方图均衡算法、图像锐化算法进行增强处理，锐化目标图像的轮廓，再将增强后红外图像与校正后的可见光图像变换到同一色彩空间，通过图像融合算法将红外图像与校正后的可见光图像进行3D融合。

优选地，立体显示是利用双目视差，给左右眼提供有一定视差的图像，经过人脑自动合成后产生具有距离感、深度感和立体感的图像。

本发明的有益效果在于：本发明以作战任务***为应用背景，提出一种高逼真度实时3D图像态势感知方法，该方法能够提高真实图像的立体显示效果，保证立体成像精度，提高作战场景和目标图像的可观测性和高辨识度，提高飞行器在复杂条件下的态势感知能力和飞行环境意识，同时，该方法使3D图像成像显示效果更符合人眼的观测习惯，能够有效减轻视觉疲劳度，提高飞行员或操作员人眼长时间观看立体图像的舒适性，为实时三维立体态势感知及人机交互的实现打下了技术基础。

本发明提供的方法可实现三维态势的实时高精观测，以最大程度感知环境深度信息，因此可应用于军事领域的空中加油对接监视、边境防控监视，无人机立体视景操控，无人机起降，无人侦察车，直升机辅助着陆，潜艇及坦克潜望镜显控***等领域，实现真实场景的3D画面实时态势感知，军事需求背景明确。

附图说明

图1描述了实时3D图像态势感知方法的工作流程。

图2描述了HVS人类视觉***视差模型。

图3描述了摄像机间距模型。

图4描述了零视差平面模型。

图5描述了会聚式结构的三维立体拍摄方式。

图6描述了时间维度的图像校正方法工作流程。

图7描述了空间维度的图像校正方法工作流程。

图8描述了可见光/红外图像的增强过程。

图9描述了可见光和红外图像的融合增强过程。

图10描述了裸眼立体显示器的工作原理。

具体实现方式

下面结合附图和实施例对本发明作进一步的详细说明。

如图1所示，本实施例包含以下步骤：

(1)对3D成像参数进行设置

3D再现物体场景不同于真实世界中的物体，显示图像可能存在各种畸变情况，因此设计过程需采取减小失真策略，尽量提高立体图像的质量。为满足3D成像观测效果，首先需要对可见光传感器的内参数进行标定，可见光传感器内参标定采用平面靶标定法。可见光传感器包括可见光相机和可见光摄像机，机载***通常使用的是可见光摄像机或具备摄像功能的可见光相机。

此外，3D立体成像效果与可见光传感器参数、成像参数、显示器参数、观测距离等均有关系。在实际设计时，必须根据人眼立体成像视差范围约束，合理配置参数。通过对可见光传感器关键参数的设置，来达到理想的3D的显示效果。通过确定3D显示时的出屏距离、入屏距离、屏幕宽度、观看距离、人眼间距，拍摄场景的近物距离、远物距离，镜头焦距、传感器宽度等参数，来计算出屏幕视差、摄像机参数和视场参数。

成像***的具体参数设置遵从以下三个双视3D模型，HVS人类视觉***视差模型(图2)、摄像机间距模型(图3)、零视差平面模型(图4)：

如图2所示，HVS人类视觉***视差模型通过出屏距离N、入屏距离F、人眼间距E、观看屏幕距离Z等参数的关系计算出屏视差dN、入屏视差dF和视差比率R，从而得到屏幕视差参数，具体参数计算关系见公式(1)。

如图3所示，摄像机间距模型通过零视差平面宽度Wc、零视差平面距离Zc、出屏距离N、入屏距离F、被摄场景的近物距离Nc、远物距离Fc、出屏视差dN、出屏视差dN、屏幕宽度W等参数计算出摄像机间距A和深度压缩比Rd等摄像机参数。具体参数计算关系见公式(2)。

如图4所示，摄像机间距模型通过视差比率R、被摄场景的近物距离Nc和远物距离Fc，摄像机的焦距FL和传感器宽度Ws等参数之间的关系，计算出视场角theta、零视差平面距离Zc、零视差平面宽度Wc等视场参数。

具体参数计算关系见公式(3)。

(2)使用可见光传感器进行三维立体拍摄，获得原始双目视频。

采取双目立体成像的原理进行三维立体图像的拍摄，拍摄方式选择会聚式结构。即2个可见光传感器的光轴通过向内旋转一定角度相交于一点(会聚点)，获得拥有较大公共成像区域的视差图像，用于三维立体图像的显示，拍摄方式见图5。

(3)对原始双目视频进行视差校正，获得校正后的可见光图像；

根据上一步立体拍摄得到原始双目视频，通常情况下原始双目视频会产生垂直视差，若左右视图垂直视差过大、校正精度不高，那么它们形成的3D图像显示时可能给人模糊的感觉，长时间观看甚至会有不适感。因此，需要应用图像校正技术对原始双目视频进行处理，消除垂直视差对裸眼3D带来的困扰。

基于时空联合分析的图像校正技术包括时间和空间两个维度的校正模块，分别对原始双目视频进行时间维度的稳定以及对稳定后的原始双目视频进行空间维度的垂直视差调整。

时间维度：独立校正单路视频的稳定性问题。如图6所示，对单个视频的前后帧采用SURF算法进行特征点提取、特征点匹配、特征点筛选，通过这一系列处理估计出原始视频的前后帧运动轨迹，再应用滤波等平滑算法实时校正运动轨迹，得到稳定的视频输出。

空间维度：校正立体图像对的垂直视差。如图7所示，对同一时刻左右视图像依次进行SURF算法的特征点提取、特征点匹配和特征点筛选，通过特征匹配算法完成在当前场景中左右视点图像的匹配，统计匹配的特征点的垂直视差作为当前左右视的垂直视差并进行实时校正，得到垂直视差较小的图像输出。图6-7分别描述了时间维度和空间维度的图像校正方法工作流程。

(4)将红外传感器获得的红外图像与校正后的可见光图像进行3D融合，获得3D输出图像；

机载监视***多使用可见光传感器、红外传感器，为了提高监视图像的显示效果，输出辨识度更高、有效信息更完整的态势感知图像，需要对校正后的可见光图像和红外图像进行3D融合处理。

当采用单传感器图像监视时，分别采取不同的方法对红外图像或校正后的可见光图像进行增强处理。图8所示为校正后的可见光图像/红外图像的视景增强过程，对单独的校正后的可见光图像可采用去噪算法去除图像噪声，直方图变换算法增强图像对比度，YUV等彩色增强算法加强可见光图像的色彩呈现效果，从而增强可见光图像的整体显示效果；同样的，对红外图像可采用图像去噪、直方图均衡算法、图像锐化等算法进行增强处理，锐化目标图像的轮廓，从而增强红外图像的辨识度。

当采用可见光与红外双波段相机监视时，可将同一场景或目标的3D可见光和红外图像进行融合处理，增强有效信息，生成更清晰的目标图像。图9所示为校正后的可见光图像和红外图像的融合增强过程，将校正后的可见光图像和红外图像变换到同一色彩空间，通过图像融合算法将二者有效信息融合，实现可见光图像和红外图像的优势增强、互补，不仅能够提升整体态势感知能力，更方便飞行员或操作员观察。

(5)立体显示

立体显示技术可以是利用双目视差，给左右眼提供有一定视差的图像，经过人脑自动合成后产生具有距离感、深度感和立体感的图像，具体实现设备包括双目头盔显示器、立体眼镜和裸眼立体显示器等。图10所示为裸眼立体显示器工作原理。其中，光栅式裸眼立体显示在屏前或屏后采用光栅式遮光板，通过光栅，一部分像素发出的光只能被左眼看到；另一部分像素发出的光只能被右眼看到。柱面透镜立体显示采用一系列柱面透镜柱透镜放置在LCD屏前，图像通过透镜被聚焦到左右眼。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种实时3D图像态势感知方法，包含以下步骤：

步骤一、对3D成像参数进行设置；

步骤二、使用可见光传感器进行三维立体拍摄，获得原始双目视频；

步骤三、对原始双目视频进行视差校正，获得校正后的可见光图像；

步骤四、将红外传感器获得的红外图像与校正后的可见光图像进行3D融合，获得融合后的3D输出图像；

步骤五、立体显示。

2.根据权利要求1所述的一种实时3D图像态势感知方法，其特征在于所述对3D成像参数进行设置包含对可见光传感器的内参标定、屏幕视差参数设置、摄像机参数设置和视场参数设置。

3.根据权利要求2所述的一种实时3D图像态势感知方法，其特征在于对可见光传感器的内参标定采用平面靶标定法；

屏幕视差参数包含出屏视差dN、入屏视差dF和视差比率R，通过以下公式计算：

$\left\{\begin{array}{c}dN=(N*E)/(Z-N)\\ dF=(F*E)/(Z+F)\\ R=dN/dF\end{array}\right.,$

其中：N为出屏距离、F为入屏距离、E为人眼间距、Z为观看屏幕距离；

摄像机参数包含摄像机间距A和深度压缩比Rd，通过以下公式计算：

$\left\{\begin{array}{c}A=(Wc*dN*Nc)/(W*(Zc-Nc)+dN*Nc)\\ Rd=\left(\right(N+F\left)\right)/\left(\right(Fc-Nc\left)\right),\end{array}\right.,$

其中：Wc为零视差平面宽度、Zc为零视差平面距离、N为出屏距离、F为入屏距离、Nc为被摄场景的近物距离、Fc为被摄场景的远物距离、dN为出屏视差、W为屏幕宽度；

视场参数包含出视场角theta、零视差平面距离Zc和零视差平面宽度Wc，通过以下公式计算：

$\{\begin{array}{c}theta=(Ws/2)/FL\\ Zc=(R+1)/\left(\right(1/Nc)+(R/Fc\left)\right)\\ Wc=2*Zc*theta\end{array},$

其中，R为视差比率、Nc为被摄场景的近物距离、Fc为被摄场景的远物距离，FL为可见光传感器的焦距，Ws为可见光传感器宽度。

4.根据权利要求1所述的一种实时3D图像态势感知方法，其特征在于选取会聚式结构的立体成像方式进行三维立体拍摄。

5.根据权利要求1所述的一种实时3D图像态势感知方法，其特征在于通过时间维度和空间维度二个方面对原始双目视频进行稳定和视差校正：

时间维度：对原始双目视频中的单路视频的前后帧采用SURF算法进行特征点提取、特征点匹配、特征点筛选，估计出原始双目视频的前后帧运动轨迹，再应用平滑算法实时校正运动轨迹；

空间维度：对同一时刻原始双目视频中的左右视图依次进行SURF算法的特征点提取、特征点匹配和特征点筛选，通过特征匹配算法完成在当前场景中左右视图的匹配，统计匹配的特征点的垂直视差作为当前左右视的垂直视差并进行实时校正。

6.根据权利要求1所述的一种实时3D图像态势感知方法，其特征在于在红外图像与校正后的可见光图像进行3D融合时，先分别对红外图像和校正后的可见光图像进行增强处理，对校正后的可见光图像采用去噪算法去除图像噪声，直方图变换算法增强图像对比度，YUV彩色增强算法加强校正后的可见光图像的色彩呈现效果，对红外图像采用图像去噪、直方图均衡算法、图像锐化算法进行增强处理，锐化目标图像的轮廓，再将增强后的红外图像与校正后的可见光图像变换到同一色彩空间，通过图像融合算法将红外图像与校正后的可见光图像进行3D融合。

7.根据权利要求1所述的一种实时3D图像态势感知方法，其特征在于立体显示是利用双目视差，给左右眼提供有一定视差的图像，经过人脑自动合成后产生具有距离感、深度感和立体感的图像。