CN115222758B - 一种低分辨广域序列遥感影像船动目标实时检测方法 - Google Patents
一种低分辨广域序列遥感影像船动目标实时检测方法 Download PDFInfo
- Publication number
- CN115222758B CN115222758B CN202211148081.0A CN202211148081A CN115222758B CN 115222758 B CN115222758 B CN 115222758B CN 202211148081 A CN202211148081 A CN 202211148081A CN 115222758 B CN115222758 B CN 115222758B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- area
- low
- target set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000011897 real-time detection Methods 0.000 title claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 29
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 230000000877 morphologic effect Effects 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 230000008961 swelling Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 5
- 230000003044 adaptive effect Effects 0.000 abstract description 4
- 230000003287 optical effect Effects 0.000 abstract description 3
- 238000012706 support-vector machine Methods 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种低分辨广域序列遥感影像船动目标实时检测方法,属于光学遥感影像数据处理技术领域。主要包括获取低分辨广域图像数据,并利用形态学重构算法进行图像增强;对图像增强后的图像数据进行自适应阈值分割;对分割后的二值图像进行连通域标记,根据连通域标记结果,获取一级疑似目标集合;对一级疑似目标集合,进行灰度特征计算,进行基于SVM的二分类计算,获取二级疑似目标集合;根据二级疑似目标集合中船动目标前后帧的相关性,获取三级疑似目标集合;针对三级疑似目标集合,采用S‑Yolo算法,进行进一步特征识别,获取四级疑似目标集合。本发明通过船动目标的多级鉴别,提高了船动目标检查的准确率。
Description
技术领域
本发明涉及光学遥感影像数据处理技术领域,更具体的说是涉及一种低分辨广域序列遥感影像船动目标实时检测方法。
背景技术
以海上船目标检测识别为代表的光学遥感影像数据处理技术,已经成为当前星地一体化智能应用的核心关键,在渔业管理、海上救援、区域监测得到了广泛的应用。长期以来,船目标实时检测主要依赖于高分系列遥感卫星,但存在任务需求单位多、成像位置时间差异大、卫星任务规划难的问题,成像过程受到昼夜、云层、晨昏光暗因素干扰,一些实时观测需求难以满足。
近些年涌现出的一批民用遥感小卫星,有效填补了成像应用任务的缺口。相比于大平台高分系列卫星,小卫星成像分辨率较低、平均清晰度不高、平台稳定度性能一般,导致了所产生的原始图像产品质量不高。但考虑到时间-空间覆盖率,以及紧急情况下的应用需求,低分辨广域海域的遥感影像能够有效展示目标周边状态,且序列图像能够展现目标自身运动信息,在实时应用场景中受到了广泛关注。
米级/十米级分辨率图像中,中小型船只呈现出楔形高斯状灰度分布,目标纹理细节消失只保留船体外观轮廓,从细节特征及目标周边上下文难以具体确认是否为船只。低分辨场景下,海况趋于平缓、船只拖尾痕迹难以识别,碎云所形成的类似船体形状对降低虚警造成了极大的影响。图像序列能够根据运动信息对虚警进行剔除,但需要考虑前后帧稀疏配准信息下的低置信度帧间目标关联如何处理,结合目标自身运动特征形成轨迹信息。
以往的遥感船动目标检测方法主要集中于基于机器学习、深度学习的识别分类,然而低分辨率数据难以形成准确的特征或纹理细节训练数据集,同时由于传动目标与虚警统计特性基本趋于一致导致部分虚警很难通过积累数据的方法实现剔除。深度卷积网络能够有效完成遥感图像的目标检测、语义分割及补全生成,但也面临着大幅宽数据无法实时处理、低分辨数据难以准确识别的问题。特别是面临背景碎云较多的场景,低分辨数据仅能依靠轮廓和目标灰度大致分布来区分目标,传统CNN算法往往会得到大量疑似船目标的虚警。
因此,如何提高遥感影像船动目标检测效率,有效剔除船只疑似目标虚警是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种低分辨广域序列遥感影像船动目标实时检测方法,通过船动目标在大数据中的关联以及船只运动状态剔除虚警。
为了实现上述目的,本发明采用如下技术方案:
一种低分辨广域序列遥感影像船动目标实时检测方法,包括以下步骤:
S1、获取低分辨广域图像数据,并对所述低分辨广域图像数据利用形态学重构算法进行图像增强;
S2、对图像增强后的低分辨广域图像数据进行自适应阈值分割,获取分割后的二值图像;
S3、对二值图像进行连通域标记,根据连通域标记结果,获取一级疑似目标集合;
S4、对一级疑似目标集合中的所有目标,进行灰度特征计算,并根据灰度特征进行基于SVM的二分类计算,获取二级疑似目标集合;
S5、根据二级疑似目标集合中船动目标前后帧的相关性,获取三级疑似目标集合;
S6、针对三级疑似目标集合,采用S-Yolo算法,进行进一步特征识别,获取四级疑似目标集合,得到最终的遥感影像船动目标。
优选的,步骤S1中利用形态学重构算法进行图像增强,具体包括,
根据低分辨广域图像数据,获取大小为M×N的图像矩阵I并进行迭代Top-Hat变换:
Im+1=(OTHβ(x,y)μ1+CTHβ(x,y)μ2)
其中,
OTHβ(x,y)=(Im-(ImΘβ)⊕β)(x,y);
CTHβ(x,y)=((Im⊕β)Θβ-Im)(x,y);
式中,β代表正方形全1结构元素,x,y分别表示图像矩阵中像素点的横纵坐标,x∈[0,M-1],y∈[0,N-1],m表示当前迭代次数,m∈[0,R-1],R代表迭代总次数,OTH和CTH分别代表正Top-Hat变换和逆Top-Hat变换,⊕代表膨胀操作,Θ代表腐蚀操作,μ1和μ2分别代表正Top-Hat变换的权重参数和逆Top-Hat变换的权重参数。
优选的,步骤S2,具体包括,
S21、针对图像增强后的低分辨广域图像数据,获取目标窗口Tb、保护窗口P和背景窗口B,其中,所述目标窗口Tb包括待检测目标的灰度信息;所述保护窗口P包括待检测目标与背景过度之间的灰度信息,用于保护待检测目标弥散部分不被统计到背景窗口;所述背景窗口涵盖海面噪声信息;
S22、根据目标窗口Tb的均值μTb和背景窗口B的均值μB进行阈值分割,获取二值图像:
优选的,步骤S21中,目标窗口Tb检测到目标的判断依据是目标区域重构增强结果的均值信噪比δe满足:
优选的,步骤S3具体包括:
S32、根据连通域集合中每个连通区域的面积大小进行筛选,获取一级疑似目标集合A′i:
优选的,步骤S4中对一级疑似目标集合中的所有目标,进行灰度特征计算,具体包括:
S411、对任一一级疑似目标集合中的目标区域,以区域质心为中心,提取长度为52像素的正方形切片,进行S-HOG特征计算;
S412:将每个正方形切片分割成若干大小为13*13像素Cell,将分割的每个Cell的梯度方向分为8个方向,计算每个Cell位于同一方向梯度的梯度幅值,获取8维的Cell特征向量;
S413:将每相邻4个Cell的特征向量组合成一个Block的特征向量;
优选的,步骤S4中根据灰度特征进行基于SVM的二分类计算,获取二级疑似目标集合,具体包括:
S422、构造求解最优化公式
式中,G′表示一级疑似目标集合中目标区域的个数,c是损失参数,ai和aj是拉格朗日乘子,K(ui,uj)为径向基核函数γ>0,ui为每个正方形切片的特征向量中第i个特征值,uj为每个正方形切片的特征向量中第j个特征值,γ为核参数;
S423、根据求解最优化公式及约束条件,求解拉格朗日乘子最优解a*,并计算阈值b,
S424、根据阈值b获取最终决策函数:
优选的,步骤S5具体包括:
定义连续拍摄的序列图像中第q帧图像为fq,第q帧中的目标标记为Dq,g,其中g∈[0,G″-1],G″表示二级疑似目标集合A″i中目标区域的个数;第q+1帧图像为fq+1,以第q帧的目标Dq,g的坐标为圆心,以r为半径在第q+1帧图像进行搜索,搜索圆内区域的目标,获取第q帧三级疑似目标集合A″′q,i,其中,r∈[5,30],r∈Z+,Z+表示正整数。
优选的,步骤S6具体包括:
S62、利用S-Yolo网络对序列集合中的目标进行鉴别,所述S-Yolo网络包括三个卷积层、三个Maxpool层以及一个Yolo预测层,如果序列集合中有效目标判断结果超过判别阈值ThrY,则认为所述序列集合中的目标为有效目标,得到第四级疑似目标集合,具体公式如下:
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种低分辨广域序列遥感影像船动目标实时检测方法,首先,针对低分辨广域图像数据(低分辨暗弱目标)进行显著性增强计算,经过形态学迭代重建处理提高目标灰度与周边背景的对比度,去除小像素干扰灰度噪声及边缘弥散造成的特征不平滑,提升目标提取的完整性;然后,采用目标与周边噪声的对比度实现前后景的自适应分割计算,获取疑似目标像素级对应位置(一级疑似目标);再根据简化HOG特征结合支持向量机,剔除大部分虚警目标得到二级疑似目标结果,并根据序列图像的局部预测搜索获得目标序列并剔除非序列虚警目标(包括静止船目标,得到三级疑似目标结果);最后,采用轻量化CNN网络S-Yolo对目标序列进行识别,实现剩余目标的最终鉴别(获取四级疑似目标结果)。由于采用了多级鉴别,计算量较大的目标随着疑似目标逐渐减少总计算量依次降低,在有效满足准确率的同时保障了计算的实时性。同时相比于传统Yolo TinyV2/V3系列网络,本方法具有更快的计算速度和更好的检测性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的方法步骤流程示意图;
图2为本发明提供的切片Di中S-HOG特征值及集合示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例公开了一种低分辨广域序列遥感影像船动目标实时检测方法,包括以下步骤:
S1、获取低分辨广域图像数据,并对所述低分辨广域图像数据利用形态学重构算法进行图像增强;
这一步的主要目的在于针对采集到的低分辨广域图像数据(低分辨暗弱目标)进行显著性增强计算,经过形态学迭代重建处理提高船动目标灰度与周边背景的对比度,去除小像素干扰灰度噪声及边缘弥散造成的特征不平滑,提升船动目标提取的完整性。
具体可采用以下步骤:
针对采集到的低分辨广域图像数据,获取大小为M×N的图像矩阵I并进行迭代Top-Hat变换:
Im+1=(OTHβ(x,y)μ1+CTHβ(x,y)μ2) (1)
其中,
OTHβ(x,y)=(Im-(ImΘβ)⊕β)(x,y);
CTHβ(x,y)=((Im⊕β)Θβ-Im)(x,y);
其中,β代表正方形全1结构元素,x,y分别表示图像矩阵中像素点的横纵坐标,x∈[0,M-1],y∈[0,N-1],m表示当前迭代次数,m∈[0,R-1],R代表迭代总次数,OTH和CTH分别代表正Top-Hat变换和逆Top-Hat变换,⊕代表膨胀操作,Θ代表腐蚀操作,μ1和μ2分别代表正Top-Hat变换的权重参数和逆Top-Hat变换的权重参数(默认μ1、μ2均为1)
迭代Top-Hat变换,采用较小的结构元素β(比如3*3)进行Top-Hat变换(包括正Top-Hat变换和逆Top-Hat变换)计算,计算结果作为输入图像再次进行Top-Hat变换,经过多次迭代变换计算之后,相当于采用了较大的结构元素进行直接计算。由于此过程采用较小的结构元素,能够减小在工程实现过程中的缓存大小,例如3*3结构元素下,只需要开辟3行图像缓存,如果是15*15的结构元素,需要开辟15行图像缓存,因此有5倍缓存资源差异,同时也节省了并行流水比较过程比较起和寄存器的占用,提高了数字逻辑设计中最大可执行频率。
形态学重构结果为IR,重构前后船目标的灰度分布以及重构前后碎云目标的灰度分布中,重构后船目标能量更加集中,轮廓边缘相对于背景噪声更加容易区分,同时有效抑制了背景干扰噪声。碎云目标在经过重构后,其***轮廓同样更加清晰,能够通过轮廓剔除掉大部分虚警目标。重构过程中,需要根据目标的大小进行重构迭代次数设置,如果迭代次数太小起不到增强效果,次数太多会增加计算量。
S2、对图像增强后的低分辨广域图像数据进行自适应阈值分割,获取分割后的二值图像;
这一步的目的在于采用目标与周边噪声的对比度实现前后景的自适应分割计算,得到二值图像。
具体包括以下步骤:
S21、针对图像增强后的低分辨广域图像数据,获取目标窗口Tb、保护窗口P和背景窗口B,(目标窗口Tb、保护窗口P和背景窗口B所对应的长度参数分别为rTb、rP和rB)其中,所述目标窗口Tb包括待检测目标的灰度信息;所述保护窗口P包括待检测目标与背景过度之间的灰度信息,用于保护待检测目标弥散部分不被统计到背景窗口;所述背景窗口涵盖海面噪声信息;
目标窗口Tb检测到待检测目标的判断依据是目标区域重构增强结果的均值信噪比δe满足:
S22、根据目标窗口Tb的均值μTb和背景窗口B的均值μB进行阈值分割,获取二值图像:
式中,TThr为二值化比较阈值。
步骤S2的自适应分割计算过程体现在公式(2)和(3),公式(3)是自适应分割的过程,就是在整个图像范围内进行以公式(3)为判断标准的滑窗判断,如果超过阈值则像素置为1,否则为0。由于在不同区域,采用目标区域与周边噪声区域比较的方式,而且在不同区域比较的数值只跟该区域有关,而且最终生成了二值图像,所以是自适应分割计算,经过自适应阈值分割后,根据对比度提取暗弱目标,既降低了后续需要处理的图像数据量,又消除了背景噪声对疑似暗弱目标的干扰。
S3、对二值图像进行连通域标记,根据连通域标记结果,获取一级疑似目标集合;
这一步的目的在于对二值图像进行连通域标记,获取一级疑似目标集合。
具体包括:
S32、根据连通域集合中每个连通区域的面积大小进行筛选,获取一级疑似目标集合A′i:
在步骤S1-S3过程中,考虑船目标宽度在3个像素左右,形态学重构采用的正方形全1结构元素β大小为3×3,即重构迭代次数R与目标区域重构结果的均值信噪比δe相关,与光照条件、成像侧摆角、目标海况等条件相关,在实际应用中考虑工作模式往往在同一时间段观测相同区域,因此对区域内大量目标进行处理后的均值信噪比δe观察,在一个具体实施例中,对80组数据进行统计,迭代次数为3时δe达到最优,得到最优重构迭代次数Roptimal=3;自适应阈值分割中的阈值TThr,主要与成像区域海况、海面背景灰度均值/方差相关,考虑到在低分辨率下经过重构后海面灰度分布趋于统一,对80组数据进行统计,得到TThr=1.2;连通域标记并计算疑似目标面积,通过面积剔除较大、较小目标,面积上下限数值分别为Slow=5和Shigh=100。
S4、对一级疑似目标集合中的所有目标,进行灰度特征计算,并根据灰度特征进行基于SVM的二分类计算,获取二级疑似目标集合;
这一步骤主要包括灰度特征计算和基于SVM的二分类计算两个步骤;
经过步骤S1-S3之后已经对船目标的边缘及灰度分布实现了增强,伽马增强反而会增加噪声对目标的干扰,因此灰度特征计算主要包括以下步骤:
S411、对任一一级疑似目标集合中的目标区域(也就是一级疑似目标集合A′i的任意一个),以区域质心为中心,提取长度为52像素的正方形切片Di,进行S-HOG特征计算。
S412:将每个正方形切片分割成若干大小为13*13像素Cell,将分割的每个Cell的梯度方向分为8个方向(0°、45°、90°、135°、180°、225°、270°、315°),计算每个Cell位于同一方向梯度的梯度幅值,获取8维的Cell特征向量;
S413:将每相邻4个Cell的特征向量组合成一个Block的特征向量;
如图2所示,每个合成的Block的特征值可表示为:
Block(i,j)=[Cell(i,j),Cell(i+1,j),Cell(i,j+1)Cell(i+1,j+1)]
每个正方形切片切片共计有9个Block,每个Block有32个特征值,每个正方形切片共计有288个特征值。如此设计能够提高特征值对图像区域的覆盖,防止边缘处特征不够强导致特征量较小的现象出现。
基于SVM的二分类计算,获取二级疑似目标集合主要包括:
对单个正方形切片图像Di的特征值进行基于SVM的二分类计算,考虑特征维度较高,采用非线性SVM,训练及决策计算分为以下几个步骤:
S422、构造求解最优化公式
式中,G′表示一级疑似目标集合中目标区域的个数,c是损失参数,ai和aj是拉格朗日乘子,K(ui,uj)为径向基核函数γ>0,ui为每个正方形切片的特征向量中第i个特征值,uj为每个正方形切片的特征向量中第j个特征值,γ为核参数,K函数就是对特征向量中的任意两个特征值进行计算;
S423、根据求解最优化公式及约束条件,求解拉格朗日乘子最优解a*,并计算阈值b,
S424、根据阈值b获取最终决策函数:
即将特征向量中的每个特征值带入最终决策函数f(u),按照公式即可得到二级疑似目标集合A″i。
S5、根据二级疑似目标集合中船动目标前后帧的相关性,获取三级疑似目标集合;
这一步骤目的在于根据序列图像的局部预测搜索获得目标序列并剔除非序列虚警目标。通过前后帧中目标的相关性排除干扰虚警目标,假设前提是认为在短观测时间内认为目标匀速运动,相邻帧之间目标位置差等于移动距离与帧间姿轨误差之和。考虑到在轨相邻帧之间像素级误差的随机性,在帧间搜索过程中采用保守的圆搜索方法,搜索半径r与移动距离与帧间姿轨误差之和成正比。因此步骤S5主要包括:
定义连续拍摄的序列图像中第q帧图像为fq,第q帧中的目标标记为Dq,g,其中g∈[0,G″-1],G″表示二级疑似目标集合中目标区域的个数;第q+1帧图像为fq+1,以第q帧的目标Dq,g的坐标为圆心,以r为半径在第q+1帧图像进行搜索,搜索圆内区域的目标,获取第q帧三级疑似目标集合A″′q,i,其中,r∈[5,30]r∈Z+,Z+表示正整数,即第q帧三级疑似目标集合A″′q,i可表示为:
其中,i,j,k∈[0,P″-1],| |m表示两个坐标点的马氏距离。Dq,i表示第q帧第i个目标的坐标,Dq+1,j表示第q+1帧第j个目标的坐标,Dq+2,k表示第q+2帧第k个目标的坐标,表示空集合,半径r可在取值范围内根据实际情况进行调整。
当连续三帧都出现半径范围内目标时认为目标存在,否则认为该目标不存在。在实际应用中,可以根据实时性需求增加三级疑似目标集合公式中的多帧关联序列个数,用以提高目标鉴别的置信度。经过关联鉴别后,干扰目标特别是碎云造成的虚警得到了较好剔除,但也要考虑到序列关联过程中目标收到云层遮挡、海况干扰造成某一帧漏检,适当增加容忍度以提高关联鉴别的适应性。
S6、针对三级疑似目标集合,采用S-Yolo算法,进行进一步特征识别,获取四级疑似目标集合,得到最终的遥感影像船动目标。
经过三次鉴别虚警剔除,仍然会有碎云干扰具有类似船目标的移动关联特征,此时需要考虑采用图像的细节特征进行进一步虚警剔除。同时,此时数据以切片形式保留,目标及虚警数据量急剧下降,可以考虑采用CNN方法进行目标精细化特征识别。
步骤S1-S3过程中前后景分割造成目标质心定位精度不够,HOG特征对于低分辨率云船边缘、拖尾痕迹等精细化特征很难有效描述,因此本发明采用简化版Yolo算法(S-Yolo),以Yolov2tiny[10]为基线设计轻小化网络,用以对三级疑似目标集合A″′q,i进行进一步特征识别。
本发明实施例中S6具体包括以下步骤:
S62、利用S-Yolo网络对序列集合中的目标进行鉴别,所述S-Yolo网络包括三个卷积层、三个Maxpool层以及一个Yolo预测层,如果序列集合中有效目标判断结果超过判别阈值ThrY,则认为所述序列集合中的目标为有效目标,得到第四级疑似目标集合,具体公式如下:
本实施例中S-Yolo网络如表1所示
表1用于船目标切片检测识别的S-Yolo网络
表中S-Yolo网络输入为52×52的图像数据,总的参数为23296个,S-Yolo输出目标为52×52的切片图像上的位置、类别及长宽。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种低分辨广域序列遥感影像船动目标实时检测方法,其特征在于,所述方法包括以下步骤:
S1、获取低分辨广域图像数据,并对所述低分辨广域图像数据利用形态学重构算法进行图像增强;
S2、对图像增强后的低分辨广域图像数据进行自适应阈值分割,获取分割后的二值图像;
步骤S2,具体包括,
S21、针对图像增强后的低分辨广域图像数据,获取目标窗口Tb、保护窗口P和背景窗口B,其中,所述目标窗口Tb包括待检测目标的灰度信息;所述保护窗口P包括待检测目标与背景过度之间的灰度信息,用于保护待检测目标弥散部分不被统计到背景窗口;所述背景窗口涵盖海面噪声信息;
S22、根据目标窗口Tb的均值μTb和背景窗口B的均值μB进行阈值分割,获取二值图像:
S3、对二值图像进行连通域标记,根据连通域标记结果,获取一级疑似目标集合;
S4、对一级疑似目标集合中的所有目标,进行灰度特征计算,并根据灰度特征进行基于SVM的二分类计算,获取二级疑似目标集合;
S5、根据二级疑似目标集合中船动目标前后帧的相关性,获取三级疑似目标集合;
步骤S5具体包括:
定义连续拍摄的序列图像中第q帧图像为fq,第q帧中的目标标记为Dq,g,其中g∈[0,G”-1],G”表示二级疑似目标集合A″i中目标区域的个数;第q+1帧图像为fq+1,以第q帧的目标Dq,g的坐标为圆心,以r为半径在第q+1帧图像进行搜索,搜索圆内区域的目标,获取第q帧三级疑似目标集合A″′q,i,其中,r∈[5,30],r∈Z+,Z+表示正整数;
S6、针对三级疑似目标集合,采用S-Yolo算法,进行进一步特征识别,获取四级疑似目标集合,得到最终的遥感影像船动目标。
5.根据权利要求1所述的低分辨广域序列遥感影像船动目标实时检测方法,其特征在于,步骤S4中对一级疑似目标集合中的所有目标,进行灰度特征计算,具体包括:
S411、对任一一级疑似目标集合中的目标区域,以区域质心为中心,提取长度为52像素的正方形切片,进行S-HOG特征计算;
S412:将每个正方形切片分割成若干大小为13*13像素Cell,将分割的每个Cell的梯度方向分为8个方向,计算每个Cell位于同一方向梯度的梯度幅值,获取8维的Cell特征向量;
S413:将每相邻4个Cell的特征向量组合成一个Block的特征向量;
6.根据权利要求5所述的低分辨广域序列遥感影像船动目标实时检测方法,其特征在于,步骤S4中根据灰度特征进行基于SVM的二分类计算,获取二级疑似目标集合,具体包括:
式中,G′表示一级疑似目标集合中目标区域的个数,c是损失参数,ai和aj是拉格朗日乘子,K(ui,uj)为径向基核函数γ>0,ui为每个正方形切片的特征向量中第i个特征值,uj为每个正方形切片的特征向量中第j个特征值,γ为核参数;
S423、根据求解最优化公式及约束条件,求解拉格朗日乘子最优解a*,并计算阈值b,
S424、根据阈值b获取最终决策函数:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211148081.0A CN115222758B (zh) | 2022-09-21 | 2022-09-21 | 一种低分辨广域序列遥感影像船动目标实时检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211148081.0A CN115222758B (zh) | 2022-09-21 | 2022-09-21 | 一种低分辨广域序列遥感影像船动目标实时检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115222758A CN115222758A (zh) | 2022-10-21 |
CN115222758B true CN115222758B (zh) | 2023-01-10 |
Family
ID=83617018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211148081.0A Active CN115222758B (zh) | 2022-09-21 | 2022-09-21 | 一种低分辨广域序列遥感影像船动目标实时检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115222758B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101214851A (zh) * | 2008-01-10 | 2008-07-09 | 黄席樾 | 船舶行驶智能型全天候主动安全预警***及其预警方法 |
CN103996017A (zh) * | 2014-02-24 | 2014-08-20 | 航天恒星科技有限公司 | 一种基于Hu不变矩和支持向量机的舰船检测方法 |
WO2016101279A1 (zh) * | 2014-12-26 | 2016-06-30 | 中国海洋大学 | 一种合成孔径雷达图像舰船目标快速检测方法 |
CN106682631A (zh) * | 2016-12-30 | 2017-05-17 | 广东华中科技大学工业技术研究院 | 一种基于偏振特性的水面目标检测方法 |
CN106709426A (zh) * | 2016-11-29 | 2017-05-24 | 上海航天测控通信研究所 | 基于红外遥感图像的舰船目标检测方法 |
CN107862262A (zh) * | 2017-10-27 | 2018-03-30 | 中国航空无线电电子研究所 | 一种适用于高空侦察的快速可见光图像舰船检测方法 |
CN110517280A (zh) * | 2019-08-14 | 2019-11-29 | 武汉理工大学 | 基于红外识别船舶尾气监测*** |
CN110532842A (zh) * | 2019-04-19 | 2019-12-03 | 北京空间飞行器总体设计部 | 一种应用于遥感图像的在轨检测识别装置及方法 |
CN110796687A (zh) * | 2019-10-30 | 2020-02-14 | 电子科技大学 | 天空背景红外成像多目标跟踪方法 |
CN111797737A (zh) * | 2020-06-22 | 2020-10-20 | 重庆高新区飞马创新研究院 | 遥感目标检测方法及装置 |
CN113192059A (zh) * | 2021-05-24 | 2021-07-30 | 北京市遥感信息研究所 | 一种红外遥感图像在轨舰船检测方法 |
CN114998350A (zh) * | 2022-08-04 | 2022-09-02 | 山东泗水泰和石材有限公司 | 基于图像处理的石材缺陷检测方法 |
-
2022
- 2022-09-21 CN CN202211148081.0A patent/CN115222758B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101214851A (zh) * | 2008-01-10 | 2008-07-09 | 黄席樾 | 船舶行驶智能型全天候主动安全预警***及其预警方法 |
CN103996017A (zh) * | 2014-02-24 | 2014-08-20 | 航天恒星科技有限公司 | 一种基于Hu不变矩和支持向量机的舰船检测方法 |
WO2016101279A1 (zh) * | 2014-12-26 | 2016-06-30 | 中国海洋大学 | 一种合成孔径雷达图像舰船目标快速检测方法 |
CN106709426A (zh) * | 2016-11-29 | 2017-05-24 | 上海航天测控通信研究所 | 基于红外遥感图像的舰船目标检测方法 |
CN106682631A (zh) * | 2016-12-30 | 2017-05-17 | 广东华中科技大学工业技术研究院 | 一种基于偏振特性的水面目标检测方法 |
CN107862262A (zh) * | 2017-10-27 | 2018-03-30 | 中国航空无线电电子研究所 | 一种适用于高空侦察的快速可见光图像舰船检测方法 |
CN110532842A (zh) * | 2019-04-19 | 2019-12-03 | 北京空间飞行器总体设计部 | 一种应用于遥感图像的在轨检测识别装置及方法 |
CN110517280A (zh) * | 2019-08-14 | 2019-11-29 | 武汉理工大学 | 基于红外识别船舶尾气监测*** |
CN110796687A (zh) * | 2019-10-30 | 2020-02-14 | 电子科技大学 | 天空背景红外成像多目标跟踪方法 |
CN111797737A (zh) * | 2020-06-22 | 2020-10-20 | 重庆高新区飞马创新研究院 | 遥感目标检测方法及装置 |
CN113192059A (zh) * | 2021-05-24 | 2021-07-30 | 北京市遥感信息研究所 | 一种红外遥感图像在轨舰船检测方法 |
CN114998350A (zh) * | 2022-08-04 | 2022-09-02 | 山东泗水泰和石材有限公司 | 基于图像处理的石材缺陷检测方法 |
Non-Patent Citations (1)
Title |
---|
《遥感舰船目标检测识别方法》;李宗凌;《遥感信息》;20200220;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115222758A (zh) | 2022-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6759475B2 (ja) | シーンの多次元特徴に基づく船舶検出方法及びシステム | |
Li et al. | An improved superpixel-level CFAR detection method for ship targets in high-resolution SAR images | |
Cao et al. | Ship recognition method combined with image segmentation and deep learning feature extraction in video surveillance | |
CN108121991B (zh) | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 | |
CN111046772A (zh) | 多时相卫星遥感岛礁岸线及开发利用信息提取方法 | |
CN109359661B (zh) | 一种基于卷积神经网络的Sentinel-1雷达图像分类方法 | |
CN105809175A (zh) | 一种基于支持向量机算法的脑水肿分割方法及*** | |
Zhang et al. | Adaptive contourlet fusion clustering for SAR image change detection | |
CN113888461A (zh) | 基于深度学习的小五金件缺陷检测方法、***及设备 | |
CN103106658A (zh) | 一种海岛、礁岸线快速提取方法 | |
Yaohua et al. | A SAR oil spill image recognition method based on densenet convolutional neural network | |
Wang et al. | IDUDL: Incremental double unsupervised deep learning model for marine aquaculture SAR images segmentation | |
Zhang et al. | Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image | |
Chen et al. | Contour refinement and EG-GHT-based inshore ship detection in optical remote sensing image | |
CN116091764A (zh) | 一种基于融合变换网络的云图像分割方法 | |
Mo et al. | Sea-sky line detection in the infrared image based on the vertical grayscale distribution feature | |
CN113420759B (zh) | 一种基于深度学习的抗遮挡与多尺度死鱼识别***与方法 | |
Xu et al. | Intelligent ship recongnition from synthetic aperture radar images | |
CN115222758B (zh) | 一种低分辨广域序列遥感影像船动目标实时检测方法 | |
CN117253150A (zh) | 一种基于高分辨率遥感图像的船舶轮廓提取方法及*** | |
CN116797941A (zh) | 一种高分辨率遥感影像的海上溢油风险源快速智能识别分类方法 | |
Raj et al. | A novel Ship detection method from SAR image with reduced false alarm | |
CN111127506A (zh) | 一种基于序列图像的海上运动目标综合检测方法 | |
CN113192018B (zh) | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 | |
CN110969628B (zh) | 一种基于变分水平集的超像素分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |