CN103136530A - 在复杂工业环境下的视频图像中自动识别目标图像的方法 - Google Patents

在复杂工业环境下的视频图像中自动识别目标图像的方法 Download PDF

Info

Publication number
CN103136530A
CN103136530A CN2013100419203A CN201310041920A CN103136530A CN 103136530 A CN103136530 A CN 103136530A CN 2013100419203 A CN2013100419203 A CN 2013100419203A CN 201310041920 A CN201310041920 A CN 201310041920A CN 103136530 A CN103136530 A CN 103136530A
Authority
CN
China
Prior art keywords
images
video image
image
industrial environment
complex industrial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100419203A
Other languages
English (en)
Inventor
张坚
何健
王佳承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Nuclear Power Automation System Engineering Co Ltd
Original Assignee
State Nuclear Power Automation System Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Nuclear Power Automation System Engineering Co Ltd filed Critical State Nuclear Power Automation System Engineering Co Ltd
Priority to CN2013100419203A priority Critical patent/CN103136530A/zh
Publication of CN103136530A publication Critical patent/CN103136530A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种在复杂工业环境下的视频图像中自动识别目标图像的方法，按照以下步骤对视频图像逐帧进行识别运算：将复杂工业环境下视频图像按帧转化为灰度图像；若图像亮度低或对比度低，采用直方图均衡化或直方图匹配对其进行改善亮度或对比度处理；采用自适应中值滤波的方式对图像进行去噪处理；若清晰度不高，采用拉普拉斯滤波器对图像进行锐化处理；对图像提取其SIFT特征点；计算图像与目标图像SIFT特征点的匹配关系，找到符合匹配要求的关键帧；输出关键帧与目标图像的匹配结果图。本发明可有效地改善复杂工业环境下视频图像的亮度和对比度低、被椒盐噪声污染以及图像模糊所导致的SIFT特征点数量少及特征点匹配率低的问题。

Description

在复杂工业环境下的视频图像中自动识别目标图像的方法
技术领域
本发明涉及复杂工业环境下视频图像的处理技术领域，尤其是一种核事故现场等复杂工业环境下对视频图像中核设施等目标图像进行自动识别的方法。
背景技术
在复杂工业环境下，比如核电厂在事故工况下将遭受巨大的破坏，很多核设施外表与事故前相比发生很大的变化，核设施可能会发生变形或部分缺失，另外核事故工况下现场经常充满辐射，难以依靠人工对事故现场的核设施进行快速有效地识别。而核事故的缓解需要快速准确地识别/定位各种核设施，从而有效地对其进行评估或操作。因此，采用先进的图像处理算法对核事故现场视频图像中的目标核设施等图像进行有效地识别成为这一难题的有效解决方案。
在事故工况下，核设施视频图像将面临亮度和对比度低、图像被噪声污染以及图像模糊等不利的外界因素。使得对核设施等视频图像中重要的核设施图像的识别变得很困难，直接影响了对核事故的判断和处理效率。直方图均衡变换或匹配、自适应中值滤波和拉普拉斯滤波运算是解决核事故现场视频图像面临的不利因素的较为有效的算法。将这些算法有效地应用于核设施视频图像的识别中可极大地提高识别的准确性和识别效率。
Scale-invariant feature transform (SIFT)算法是一种进行目标识别的应用广泛的算法。这种算法通过提取图像的局部特征，并进行局部特征的匹配来实现目标图像的识别。对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；适用于在海量特征数据库中进行快速、准确的匹配；但是目前尚未见到将直方图均衡变换或匹配、自适应中值滤波和拉普拉斯滤波运算与SIFT算法相结合并对核事故现场视频图像中目标核设施图像识别的报道。
直方图均衡变换或匹配、自适应中值滤波和拉普拉斯滤波运算与SIFT算法虽然具有很好的图像处理效果，但是这些算法应用于核事故现场视频图像识别时，需要处理海量的图像数据，因此其运算量相当大。采用传统的CPU和软件的方式很难满足对核事故现场视频图像进行识别运算的实时性要求。
王德俊等2010年提出的“基于FPGA的实时图像改进直方图均衡化算法”， 根据视频图像相邻两场直方图的高度相似性特点，在FPGA视频图像处理平台上硬件实现改进直方图均衡化算法，满足视频图像处理的实时性要求。王伟等2008年提出的“基于FPGA的中值滤波快速算法的设计与实现”，给出了用FPGA实现快速图像中值滤波算法的方案，可在图像预处理***中获得良好的滤波效果，并可满足其实时性要求。毛伟民等2009年提出的“拉普拉斯算子的FPGA实现方法”，设计出拉普拉斯算子实现的硬件结构，具有良好的滤波效果，且设计方便、有效。
在SIFT的高速实现方面，HUANG F C等2012年提出了“实时图像特征提取的高性能SIFT硬件加速”方案，由两个互相交互的ASIC方硬件部分实现SIFT算法。一个部分用于特征关键点的辨识，另一部分用于生成特征描述子。关键点辨识采用包含三级流水的并行单元构架。当特征点的数目小于890个时，采用TSMC的180ns CMOS工艺实现的ASIC芯片，处理一幅640*480像素的VGA(Video Graphic Array)图像仅需3.4ms。而基于2.1GHz Intel CPU的软件实现同样规模的VGA图像的SIFT算法，需要2.87秒，无法满足实时图像处理的要求。因此，基于ASIC硬件实现SIFT算法较采用软件方式实现速度有了巨大的提高。但是，基于ASIC芯片来实现SIFT算法，其功能是固定的，无法根据实际的需要进行相应的算法优化，而且成本高/开发周期长的不足。因此,采用FPGA是实现核电图像识别算法的最佳途径。
综上所述，目前在核事故现场等复杂工业环境下视频图像的处理领域还没有一种有效的算法来对其中的图像进行实时的识别。现有的图像处理算法中应用较为广泛的SIFT算法并没有考虑核事故现场等复杂工业环境对视频图像质量造成的影响，比如图像的对比度和亮度低、图像模糊或图像被噪声污染的情况。为了可靠地在事故工况下对核事故现场的视频图像进行实时有效的识别，从而可以对事故后的核现场进行有效快速的操作，急需一种具有高实时性的且能适应恶劣工况的核事故现场视频图像的识别方法。
发明内容
本发明所要解决的技术问题是核事故现场等复杂工业环境中视频图像亮度及对比度低、被噪声污染或模糊等因素所导致的识别目标核设施等图像困难。
本发明为解决上述问题而采用的技术方案是：在复杂工业环境下的视频图像中自动识别目标图像的方法，其步骤包括：
a.  将复杂工业环境下的视频图像按帧转化为灰度图像；
b.  若步骤a的视频图像亮度低或对比度低，则采用直方图均衡化或直方图匹配对其进行改善亮度或对比度处理；
c.  采用自适应中值滤波的方式对步骤b的视频图像进行去噪处理；
d.  若清晰度不高，采用拉普拉斯滤波器对步骤c的视频图像进行锐化处理；
e   对步骤d的视频图像提取其SIFT特征点；
f.  计算步骤e获得的视频图像SIFT特征点与目标图像SIFT特征点的匹配关系，找到符合匹配要求的关键帧；
g.  输出关键帧与目标图像的匹配结果图。
对所述复杂工业环境下的视频图像逐帧按上述步骤a～g进行识别。
上述在复杂工业环境下的视频图像中自动识别目标图像的方法，其特征在于：所述各步骤的处理过程均采用FPGA执行。
本发明通过直方图均衡化处理或直方图匹配、自适应中值滤波、和拉普拉斯变换的方法来提高图像的可识别性，从而使得在核事故现场视频图像中识别目标核设施图像时，执行SIFT运算后产生更多的特征点，并能提高视频图像与目标图像之间的正确匹配率。采用FPGA执行各识别步骤可有效保证识别的实时性。
附图说明
图1：对核事故现场视频图像进行自动识别的总体流程图；
图2：采用SIFT算法对核事故现场视频图像自动识别目标图像的流程图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述，但本实施例并不用于限制本发明，凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。
在复杂工业环境下的视频图像中自动识别目标图像的方法，其步骤包括：
a. 将复杂工业环境下的视频图像按帧转化为灰度图像；
b. 若步骤a的视频图像亮度低或对比度低，则采用直方图均衡化或直方图匹配对其进行改善亮度或对比度处理；
c. 采用自适应中值滤波的方式对步骤b的视频图像进行去噪处理；
d. 若清晰度不高，采用拉普拉斯滤波器对步骤c的视频图像进行锐化处理；
e. 对步骤d的视频图像提取其SIFT特征点；
f. 计算步骤e获得的视频图像SIFT特征点与目标图像SIFT特征点的匹配关系，找到符合匹配要求的关键帧；
g. 输出关键帧与目标图像的匹配结果图。
对所述复杂工业环境下的视频图像逐帧按所述步骤a～g进行识别。
上述在复杂工业环境下的视频图像中自动识别目标图像的方法，其特征在于：所述各步骤的处理过程均采用FPGA执行。
下面以在核事故现场的视频图像中识别目标图像为例，详细说明本发明的自动识别方法。如图1所示：
1.    在步骤S1，将待识别的目标核设施图像Tb转化为灰度图像，然后执行SIFT运算，获得其特征点mb及特征描述向量Mb。
2.在步骤S2，确定核事故现场视频图像进行增强运算的算法参数，所采用的直方图均衡化或直方图匹配、自适应中值滤波和拉普拉斯滤波运算均为《数字图像处理(Matlab版)》中所采用的算法：
a.    对核事故现场视频图像的前三帧图像转换为灰度图像并执行SIFT运算，分别获得其特征点数n1,n2,n3；
b.    对核事故现场视频图像的前三帧图像执行直方图均衡化处理，并计算其SIFT算法的特征点m1,m2,m3，令t1=m1-2*n1，t2=m2-2*n2，t3=m3-2*n3，若t1,t2,t3中有两个或三个大于0，则令f1=1，否则令f1=0；
c.    对核事故现场视频图像的前三帧图像执行直方图匹配处理，并计算其SIFT算法的特征点p1,p2,p3，令t1=p1-2*n1，t2=p2-2*n2，t3=p3-2*n3，若t1,t2,t3中有两个或三个大于0，则令f2=1，否则令f2=0；
d.    对核事故现场视频图像的前三帧图像执行拉普拉斯滤波，滤波器系数为[1 1 1; 1 -4 1; 1 1 1]，计算其SIFT算法的特征点r1,r2,r3，令t1=r1-2*n1，t2=r2-2*n2，t3=r3-2*n3，若t1,t2,t3中有两个或三个大于0，则令f3=1，否则令f3=0。
3.    在步骤S3，采用SIFT算法对核事故现场视频图像按照以下步骤逐帧循环执行目标核设施图像的自动识别运算（如图2所示）：
a.    令核事故现场视频图像中帧编号变量i=1；
b.    将核事故现场视频图像的第i帧转换为灰度图像；
c.    若f1=1，说明核事故现场视频图像的第i帧亮度低或对比度低，且适合采用直方图均衡化处理对其进行处理，对其执行直方图均衡化处理，生成处理后的图像T1；若f1=0；则将核事故现场视频图像的第i帧直接赋给图像T1；
d.    若f2=1，说明核事故现场视频图像的第i帧亮度低或对比度低，且适合采用直方图匹配算法对其进行处理，对其则执行直方图匹配处理，生成处理后的图像T2；若f2=0；则将图像T1直接赋给图像T2；
e.    对图像T2执行自适应中值滤波运算，生成处理后的图像T3； 
f.    若f3=1，说明核事故现场视频图像的第i帧模糊，则对图像T3执行拉普拉斯滤波运算，生成处理后的图像T4；若f3=0；则将图像T3直接赋给图像T4；
g.    对图像T4执行SIFT运算，获得其特征点mj及特征描述向量Mj：对图像Tb的特征描述向量和图像T4的特征描述向量执行匹配计算。若匹配点数大于8，则证明核事故现场视频图像的第i帧中包含目标核设施图像Tb，因此输出Tb和T4的匹配结果图。若匹配点数小于等于8，则证明核事故现场视频图像的第i帧中不包含目标核设施图像Tb，不输出Tb和T4的匹配结果图；
h.  若核事故现场视频图像的所有帧对目标核设施图像的识别运算都执行完毕，则终止算法的运算；否则令i=i+1，并转至第b步执行核事故现场视频图像中下一帧的识别运算。

Claims (3)

1.在复杂工业环境下的视频图像中自动识别目标图像的方法，其步骤包括：
a.  将复杂工业环境下的视频图像按帧转化为灰度图像；
b.  若步骤a的视频图像亮度低或对比度低，则采用直方图均衡化或直方图匹配对其进行改善亮度或对比度处理；
c.  采用自适应中值滤波的方式对步骤b的视频图像进行去噪处理；
d.  若清晰度不高，采用拉普拉斯滤波器对步骤c的视频图像进行锐化处理；
e   对步骤d的视频图像提取其SIFT特征点；
f.  计算步骤e获得的视频图像SIFT特征点与目标图像SIFT特征点的匹配关系，找到符合匹配要求的关键帧；
g.  输出关键帧与目标图像的匹配结果图。
2.根据权利要求1所述的在复杂工业环境下的视频图像中自动识别目标图像的方法，其特征在于：对所述复杂工业环境下的视频图像逐帧按所述步骤a～g进行识别。
3.根据权利要求1所述的在复杂工业环境下的视频图像中自动识别目标图像的方法，其特征在于：所述各步骤的处理过程均采用FPGA执行。
CN2013100419203A 2013-02-04 2013-02-04 在复杂工业环境下的视频图像中自动识别目标图像的方法 Pending CN103136530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013100419203A CN103136530A (zh) 2013-02-04 2013-02-04 在复杂工业环境下的视频图像中自动识别目标图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013100419203A CN103136530A (zh) 2013-02-04 2013-02-04 在复杂工业环境下的视频图像中自动识别目标图像的方法

Publications (1)

Publication Number Publication Date
CN103136530A true CN103136530A (zh) 2013-06-05

Family

ID=48496337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100419203A Pending CN103136530A (zh) 2013-02-04 2013-02-04 在复杂工业环境下的视频图像中自动识别目标图像的方法

Country Status (1)

Country Link
CN (1) CN103136530A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106521066A (zh) * 2016-12-23 2017-03-22 天津市三特电子有限公司 高炉炉料粒度监控***及分布数据在线分析方法
CN108288041A (zh) * 2018-01-26 2018-07-17 大连民族大学 一种行人目标错检去除的预处理方法
CN109598706A (zh) * 2018-11-26 2019-04-09 安徽嘉拓信息科技有限公司 一种摄像机镜头遮挡检测方法及***
WO2019223069A1 (zh) * 2018-05-25 2019-11-28 平安科技（深圳）有限公司 基于直方图的虹膜图像增强方法、装置、设备及存储介质
CN110715870A (zh) * 2019-10-21 2020-01-21 张丽 货物重量数据作弊检测***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819158A (zh) * 2010-03-18 2010-09-01 浙江工商大学 面粉麸星自动检测装置
US20110013028A1 (en) * 2009-07-17 2011-01-20 Jie Zhou Video stabilizing method and system using dual-camera system
CN102685460A (zh) * 2012-05-17 2012-09-19 武汉大学 一种集成可量测实景影像和电子地图的视频监控巡航方法
CN102831618A (zh) * 2012-07-20 2012-12-19 西安电子科技大学 基于霍夫森林的视频目标跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110013028A1 (en) * 2009-07-17 2011-01-20 Jie Zhou Video stabilizing method and system using dual-camera system
CN101819158A (zh) * 2010-03-18 2010-09-01 浙江工商大学 面粉麸星自动检测装置
CN102685460A (zh) * 2012-05-17 2012-09-19 武汉大学 一种集成可量测实景影像和电子地图的视频监控巡航方法
CN102831618A (zh) * 2012-07-20 2012-12-19 西安电子科技大学 基于霍夫森林的视频目标跟踪方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106521066A (zh) * 2016-12-23 2017-03-22 天津市三特电子有限公司 高炉炉料粒度监控***及分布数据在线分析方法
CN108288041A (zh) * 2018-01-26 2018-07-17 大连民族大学 一种行人目标错检去除的预处理方法
CN108288041B (zh) * 2018-01-26 2021-02-02 大连民族大学 一种行人目标错检去除的预处理方法
WO2019223069A1 (zh) * 2018-05-25 2019-11-28 平安科技（深圳）有限公司 基于直方图的虹膜图像增强方法、装置、设备及存储介质
CN109598706A (zh) * 2018-11-26 2019-04-09 安徽嘉拓信息科技有限公司 一种摄像机镜头遮挡检测方法及***
CN110715870A (zh) * 2019-10-21 2020-01-21 张丽 货物重量数据作弊检测***

Similar Documents

Publication Publication Date Title
CN108230264B (zh) 一种基于ResNet神经网络的单幅图像去雾方法
CN106845415B (zh) 一种基于深度学习的行人精细化识别方法及装置
Xie et al. Image edge detection based on opencv
CN108510451B (zh) 一种基于双层卷积神经网络的重建车牌的方法
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉***
CN110472566B (zh) 一种高精度的模糊人脸识别方法
CN103136530A (zh) 在复杂工业环境下的视频图像中自动识别目标图像的方法
CN104268519B (zh) 基于模式匹配的图像识别终端及其识别方法
CN107610093B (zh) 基于相似性特征融合的全参考型图像质量评价方法
CN106408597A (zh) 基于邻域熵和一致性检测的sar图像配准方法
CN103400142B (zh) 一种行人计数方法
Yan et al. Method to Enhance Degraded Image in Dust Environment.
CN104537381B (zh) 一种基于模糊不变特征的模糊图像识别方法
CN108711160B (zh) 一种基于hsi增强性模型的目标分割方法
CN104463091B (zh) 一种基于图像lgbp特征子向量的人脸图像识别方法
CN105654479A (zh) 多光谱图像配准方法和装置
CN111027564A (zh) 基于深度学习一体化的低照度成像车牌识别方法及装置
CN104715470A (zh) 一种klt角点检测装置及方法
CN106778789B (zh) 一种多视点图像中的快速目标提取方法
Ouzounis et al. Interactive collection of training samples from the max-tree structure
CN104299223A (zh) 基于Gabor编码的异源图像匹配方法
Zhang et al. Multisensor Infrared and Visible Image Fusion via Double Joint Edge Preservation Filter and Nonglobally Saliency Gradient Operator
CN103632357A (zh) 一种基于光照分离的图像超分辨率增强方法
CN101937511B (zh) 基于随机并行优化算法的快速图像匹配方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20130605

RJ01 Rejection of invention patent application after publication