CN101964057A - 机载平显记录视频信息的动态提取方法 - Google Patents

Abstract

本发明公开了一种在经过前期对RGB视频帧提取绿色成分，并经过局部阈值背景过滤，得到平显画面OCR二值图像帧，对OCR二值图像帧中，位置相对固定的参数进行信息提取，包括以下步骤：(一)构建标准化的OCR字符集样本，选取噪声较小的OCR帧，对其进行优化编辑处理，然后保存为OCR字符集样本；(二)构建平显画面信息模板，对参数字符串的显示区域即矩形参数进行设定，矩形参数设定完成，最终以XML文件形式保存；(三)参数信息的提取，首先根据平显画面信息模板，对各个参数显示区域进行粗划分，读取矩形框中的参数，然后参照标准化的OCR字符集样本，读取参数中的每个字符，最后把读取的参数存储为序列文件，便于检索等应用。

Description

机载平显记录视频信息的动态提取方法

技术领域

本发明属于机载平显记录视频信息化***，具体涉及一种机载平显记录视频信息的动态提取通用方法。

背景技术

目前，我军现役的主战机种都装有平显视频记录***，平显记录视频是由机载视频记录***拍摄的飞机前方外景叠加在平显(HUD-Head Up Display)画面上的组合画面视频。所谓平显记录视频信息化是指应用机器视觉(Machine Vision)技术从平显记录视频中提取出组成平显画面的诸多元素随时间变化的序列。其主要作用是记录飞机在飞行作战过程中的飞机姿态、飞行高度、目标截获和攻击效果等视频信息。

平显视频记录***与飞参***相比的优势是：虽然没有飞参***的采集通道和采集数据多，但各种状态下显示画面可以直观地反映飞行作战和训练的效果；虽然有些参数如法向过载，在飞参***中也记录了，但它们来源于不同的传感器；可以记录飞参***不能记录的重要信息，如无线电高度、地速、偏流角、风速、风向、场压、无线电高度、真空速、武器瞄准过程中的光环、目标捕捉、截获、攻击信息等；飞参数据采集后必须送到飞参室通过专用软件判读显示，而平显记录视频可以在每个飞行架次后立即利用地面回放***进行播放，便于作战训练人员和飞行员对每一个架次飞行效果进行直观、即时、定性的分析和评判。对于评估战训飞行效果、提高飞行质量、改善飞机维修保障等具有重要的军事意义。因此，西方国家如美国、英国都比较早地在军机上装载了平显记录视频设备，并逐步建立了各自的飞机视频记录***。

但是，在平显视频记录***的实际使用中存在两个突出问题：一是不同机型的平显视频记录***以及地面回放***的接口标准不统一，视频记录格式和存储介质也不同，无法用主流媒体播放器播放，给部队的使用、维修带来了很大困难；二是平显记录视频为模拟影像信息，难以标识、定位和检索，且画面中包涵很多无用的视景如云、地貌等信息，占用很大存储空间，给信息存档和调用带来困难。为此，开展平显记录视频的信息化处理，滤掉无用信息，提取无线电高度、地速、偏流角、风速、风向、场压、无线电高度、真空速、武器瞄准过程中的光环、目标捕捉、截获、攻击等信息，实现主战机型的平显记录视频信息标准化应用和数字化存储、调用，是部队的迫切需要。

发明内容

为了解决现有技术领域存在的上述问题，本发明的目的在于，提供一种机载平显记录视频信息的动态提取方法，在前期对RGB视频帧提取绿色成分，并经过局部阈值背景过滤，得到平显画面OCR二值图像帧，该方法研究的问题是对OCR二值图像帧中显示位置相对固定的参数进行信息动态提取。

平显画面OCR字符集是平显画面字符图像识别的主要依据，是由构成平显画面的基本图像元素样本组成的集合。通过计算OCR视频帧上显示参数区域图像与平显画面OCR字符集中字符图像样本的相似度，其中相似度最大的字符选为该区域图像识别的结果。因此，平显画面OCR字符集的质量是平显记录视频信息化的关键。

由于OCR字符集是平显记录视频信息化的基础。因此，为提高样本的质量，应尽可能选择噪声较小的识别帧作为OCR样本对象。在经过平显记录视频的原始帧→绿色成分帧→OCR帧的一系列处理过程中，选择的OCR样本还不能直接作为标准样本，还需要再进行优化处理，通过对OCR字符样本的标准化处理，可提高OCR字符的识别率。

本发明提供的机载平显记录视频信息的动态提取方法，对OCR二值图像帧中，位置相对固定的参数进行信息提取。包括以下步骤：

(一)构建标准化的OCR字符集样本，选取噪声较小的OCR帧，对其进行优化编辑处理，然后保存为OCR字符集样本；1、选取噪声较小的OCR帧，点击编辑菜单项，选定字符显示区域，并添加到OCR字符集副本；2、在OCR字符集的浏览状态下，点击任意字符，出现选择框，则编辑区域显示所选中的字符，并处于编辑状态下，可对选中的字符进行优化编辑处理，左击可使相应的点设置为黑色，右击可使相应点设置为白色；3、把编辑完成的OCR字符集副本，保存为OCR字符集样本。

(二)构建平显画面信息模板，首先选定参数字符串显示区域的大致区域，然后自动计算恰好包含参数字符串的矩形参数，最终以XML文件形式保存；其过程为：首先显示识别帧，在信息模板菜单中选择对应的参数选项，在识别帧上人工选定大致包含参数的显示区域，通过软件算法计算并显示出恰好包含参数的最小显示区域，并将此参数显示区域属性保存到信息模板文件，然后把设定完成的矩形参数以XML文件形式保存，完成信息模板的构建，便于信息化调用。

平显画面中位置固定的参数字符串主要有法向过载、马赫数、真空速、装订气压、风速、风向、装订高度、指示空速刻度带的数字显示框、高度刻度带的数字显示框等。其特征是位置相对固定，格式保持不变。在信息模板中，主要保存参数字符串的显示区域——矩形参数，矩形参数由四个要素确定：参数区域左上角顶点坐标(Left，Top)、参数区域宽Width、参数区域高Height，即Rect(Top，Left，Height，Width)，

XML是可扩展的置标语言(eXtensible Markup Language)的缩写，是W3C组织于1998年2月发布的标准。W3C组织制定XML标准的初衷是，定义一种互联网上交换数据的标准。XML以其良好的语义及清晰的结构受到人们的推崇，是网络间进行数据交换的理想格式，各种不同的***之间可以采用XML作为交流媒介。XML不但简单易读，而且可以标注各种文字、图像甚至二进制文件。在XML中数据搜索可以简单高效地进行。

(三)参数信息的提取，首先根据平显画面信息模板，读取矩形框参数，对各个参数显示区域进行粗划分，然后参照标准化的OCR字符集样本，完成矩形框的横向细划分，并识别参数显示区域中的每个字符图像，依据参数显示格式，自动转换为相应的参数数值，最后把读取的参数数值存储为序列文件，便于检索等应用。

位置固定的参数信息提取分为两步，第一步根据平显画面参数信息模板，完成位置固定参数显示区域的粗划分；经反复实验发现，如果直接对大粒度划分区域进行整体OCR识别，难以获得满意的识别效果。这是由于OCR字符集的基本元素为字符图像样本，而大粒度划分区域是由多个字符的图像水平排列组成的，很难准确获得各字符对应的正确位置。为此必须对大粒度划分进行第二步的水平细划分，即对参数显示区域的横向精细划分，在完成参数字符串区域图像的单个字符图像显示区域的细划分后，再逐一对单个字符图像进行识别，最后根据参数的显示格式组合成相应的参数字符串，并最终转换成相应的数值。最后把读取的参数数值存储为序列文件，便于检索等应用。

本发明提供的机载平显记录视频信息的动态提取方法，其有益效果在于，1、***地提出了平显记录视频信息提取的理论和实现方法，综合运用了机器视觉原理首次提出了平显记录视频信息提取的理论，运用机器视觉技术和自动化技术实现平显记录视频信息化***。2、开发了内嵌式OCR字符集编辑***，实现了OCR字符样本的标准化，消除背景和视频帧转换过程带来的噪声影响，有效提高了参数字符的识别率；同时解决了机器视觉助手(NI Vision Assistant)作为独立的应用程序无法融入到应用软件***的难题。3、通过选取并保存不同参数的显示区域信息，自动构建了平显画面信息模板，为参数识别提供大粒度的区域划分。4、研究开发了二次区域分割算法，通过对参数显示区域的横向精细划分，有效实现了单个字符的显示区域的自动分割，并根据参数显示格式和自动识别的结果产生画面信息。

附图说明

图1是本发明一个实施例的构建OCR字符集样本的流程示意图；

图2是本发明实施例的OCR字符集编辑菜单示意图；

图3是本发明实施例的OCR字符集的浏览状态示意图；

图4是本发明实施例的OCR字符集的选择状态示意图；

图5是本发明实施例的OCR字符集单个字符的编辑状态示意图；

图6是本发明实施例的信息模板菜单示意图；

图7是本发明实施例的信息模板参数属性设置流程示意图；

图8是本发明实施例的参数显示区域的粗划分原理示意图；

图9是本发明实施例的参数显示区域的横向精细划分原理示意图

图10是本发明实施例的一帧OCR二值图像帧示意图。

具体实施方式

下面参照附图，结合一个实施例，对本发明提供的机载平显记录视频信息的动态提取方法进行详细的说明。

实施例

参照图1-图10，以某机型战机的机载平显记录视频信息***为例，本实施例的机载平显记录视频信息的动态提取方法，对OCR二值图像帧中，如图10所示，对位置相对固定的参数进行信息提取。包括以下步骤：(一)构建标准化的OCR字符集样本，如图1所示，其过程为1、选取噪声较小的OCR帧，点击编辑菜单项，选定字符显示区域，并添加到OCR字符集副本，OCR字符集样本的编辑菜单如图2所示；2、如图3-图5所示，在OCR字符集的浏览状态下，点击任意字符，如点击字符6，出现选择框，则编辑区域显示所选中的字符，并处于编辑状态下，对选中的字符进行优化编辑处理，左击可使相应的点设置为黑色，右击可使相应点设置为白色；3、把编辑完成的OCR字符集副本，保存为OCR字符集样本。还可以把已保存的OCR字符集样本，添加为OCR字符集副本，进行显示，再进行优化编辑。

表1  某机型战机的平显画面信息模板参数

(二)平显画面信息模板的构建，信息模板菜单如图6所示，在信息模板中，主要保存参数字符串的显示区域，如图8所示：矩形参数Rect(Top，Left，Height，Width)，其编辑构建过程如图7所示，首先显示识别帧，在信息模板菜单中选择对应的参数选项，在识别帧上人工选定包含参数的显示区域，软件通过算法计算并显示出恰好包含参数的最小显示区域，并将此参数属性保存到信息模板文件。如果信息模板已包含了该参数属性，则弹出提示对话框，可进行覆盖或退出操作；如果信息模板不包含该参数属性，则自动添加到信息模板。

矩形参数设定完成，最终以XML文件形式保存，便于跨平台调用。本实施例的平显画面信息模板各参数如表1所示。

(三)参数信息的提取，首先根据平显画面信息模板，读取矩形框参数，对各个参数显示区域进行粗划分，读取矩形框参数，然后参照标准化的OCR字符集样本，完成矩形框的横向细划分，并识别参数显示区域中的每个字符，依据参数显示格式，自动转换为相应的参数数值，最后把读取的参数数值存储为序列文件，便于检索等应用。

如图8、图9所示，对法向过载参数信息提取分为两步，第一步根据参数信息模板，完成位置固定参数显示区域的粗划分，法向过载参数矩形框Rect(TOP＝″52″LEFT＝″120″HEIGHT＝″18″WIDTH＝″60″)，矩形框显示；然后对大粒度划分再进行第二步的水平细划分，即对参数显示区域的横向精细划分，在完成参数字符串区域图像的单个字符图像显示区域的细划分后，再逐一对单个字符图像G+0.9进行识别，最后根据参数的显示格式组合成相应的参数字符串，并最终转换成相应的数值。最后把读取的参数存储为序列文件，便于检索等应用。

平显记录视频信息化主要应用在机载记录视频的快速检索、合成显示、压缩存储、飞行过程三维显示、攻击过程效果分析、训练效果评估、机载设备性能分析等方面。通过分析平显记录视频信息化影响因素，可以识别平显视频记录***和地面处理***标准化模块化设计的薄弱环节。

Claims (3)

1.一种机载平显记录视频信息的动态提取方法，在前期对RGB视频帧提取绿色成分，并经过局部阈值背景过滤，得到平显画面OCR二值图像帧，对OCR二值图像帧中，位置相对固定的显示参数进行信息提取，包括以下步骤：(一)构建标准化的OCR字符集样本，选取噪声较小的OCR帧，对其进行优化编辑处理，然后保存为OCR字符集样本；(二)构建平显画面信息模板，首先选定参数字符串显示区域的大致区域，然后自动计算恰好包含参数字符串的矩形参数，最终以XML文件形式保存；(三)参数信息的提取，首先根据平显画面信息模板，读取矩形框参数，对各个参数显示区域进行粗划分，读取矩形框参数，然后参照标准化的OCR字符集样本，完成矩形框的横向细划分，并识别参数显示区域中的每个字符图像，依据参数显示格式，自动转换为相应的参数数值，最后把读取的参数数值存储为序列文件，便于检索等应用。

2.根据权利要求1所述的机载平显记录视频信息的动态提取方法，其特征在于：步骤(一)构建标准化的OCR字符集样本，其过程为：1、选取噪声较小的OCR帧，点击编辑菜单项，选定字符显示区域，并添加到OCR字符集副本；2、在OCR字符集的浏览状态下，点击任意字符，出现选择框，则编辑区域显示所选中的字符，并处于编辑状态下，可对选中的字符进行优化编辑处理，左击可使相应的点设置为黑色，右击可使相应点设置为白色；3、把编辑完成的OCR字符集副本，保存为OCR字符集样本。

3.根据权利要求1所述的机载平显记录视频信息的动态提取方法，其特征在于：步骤(二)构建平显画面信息模板，其过程为：首先显示识别帧，在信息模板菜单中选择对应的参数选项，在识别帧上人工选定大致包含参数的显示区域，通过软件算法计算并显示出恰好包含参数的最小显示区域，并将此参数显示区域属性保存到信息模板文件，然后把设定完成的矩形参数以XML文件形式保存，完成信息模板的构建，便于信息化调用。

Images