CN114494342A - 一种同步轨道卫星可见光序列图像海上目标检测跟踪方法 - Google Patents

一种同步轨道卫星可见光序列图像海上目标检测跟踪方法 Download PDF

Info

Publication number
CN114494342A
CN114494342A CN202111666781.4A CN202111666781A CN114494342A CN 114494342 A CN114494342 A CN 114494342A CN 202111666781 A CN202111666781 A CN 202111666781A CN 114494342 A CN114494342 A CN 114494342A
Authority
CN
China
Prior art keywords
target
image
images
detection
targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111666781.4A
Other languages
English (en)
Inventor
潘宗序
王乾通
胡玉新
刘方坚
韩冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202111666781.4A priority Critical patent/CN114494342A/zh
Publication of CN114494342A publication Critical patent/CN114494342A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种同步轨道卫星可见光序列图像海上目标检测跟踪方法。本发明首先对多帧图像进行分组合成，方便利用目标的运动信息检测候选目标，可提高检出率并降低虚警率；随后对输入序列图像分块后，进行自适应量化的预处理，减小亮度对目标检测的影响；再利用卷积神经网络，对目标进行检测模型训练和加载，能适应复杂场景下的目标检测；利用已训练的检测模型在单组图像上进行目标检测，基于交并比，在多组图像上的检测结果进行目标关联。本方法以数据驱动的方式，自动地在数据中学习能够描述目标的良好特征，计算复杂度随检出目标数呈线性变化，运算效率高，能够满足时效性要求。

Description

一种同步轨道卫星可见光序列图像海上目标检测跟踪方法
技术领域
本发明涉及遥感图像目标探测感知技术领域，具体涉及一种同步轨道卫星可见光序列图像海上目标检测跟踪方法。
背景技术
海上目标的检测和跟踪是海洋监视的重要任务。随着卫星技术的发展，合成孔径雷达、光学卫星等对地观测手段在海上目标监视方面发挥着越来越重要的作用。低轨卫星图像通常具有较高的空间分辨率，围绕低轨卫星图像的海上目标检测识别已开展了大量的工作。然而，低轨卫星单次观测范围小、重访周期长，难以在短时间内对同一区域进行连续观测。与低轨卫星相比，地球同步轨道卫星所获取图像的空间分辨率较低，但其具有观测范围大、重访周期短、响应快速等优点，能够获取同一观测点的序列图像，从而对大范围区域实现近实时的持续监视，在对海上目标的动态监视方面发挥着重要的作用。
近年来，基于地球同步轨道光学卫星图像的海上目标监视的难点主要有两个方面，一是图像空间分辨率低使得目标特征不显著，容易造成漏检；二是云对检测将产生较大的干扰，目标与部分碎云在形状上极为相似，容易导致虚警。
“***,徐清俊,张川,赵冬.基于单景高分四号卫星多光谱影像的舰船运动特征检测[J].遥感技术与应用,2019,34(4):892-900.”的研究将基于单帧图像的检测方法分别用于序列图像的各帧图像上，以提高检出率并计算目标的航向和航速。
“矫腾章,胡玉新,吕鹏,张凯,台宪青.一种在轨海上多运动舰船目标检测和跟踪方法[J].中国科学院大学学报,2020,37(3):368-378.”中方法的实施过程如下：首先，在单帧图像上利用边缘检测算子提取候选目标；然后，提取候选目标的面积、长宽比等特征，利用特征构建分类器，从而去除云、岛屿等虚警；最后，利用联合概率数据关联方法对多帧图像的检测结果进行关联，从而得到目标的轨迹。
“L.Yao,Y.Liu,and Y.He.A Novel Ship-Tracking Method for GF-4SatelliteSequential Images[J].Sensors,2018,18:1-14.”中方法的实施过程如下：首先，利用基于统计分析的显著性检测方法提取候选目标，并根据候选目标的尺寸去除虚警；然后，采用有理多项式系数模型计算目标的地理位置；最后，通过多假设跟踪方法对多帧图像的检测结果进行关联，从而得到目标的轨迹。
现有方法的技术路线总结为：先在单帧图像上以目标与海背景的灰度差异为依据，利用阈值分割、边缘提取等图像处理方法或恒虚警检测、显著性检测等基于统计分析的方法提取候选目标，再根据候选目标的尺寸、面积、长宽比等几何特征进行虚警去除，然后采用联合概率数据关联或多假设跟踪方法，对多帧的检测结果进行关联，得到目标轨迹，方法流程图如图1所示。
现有方法的技术缺陷主要体现在以下四个方面：1)现有方法并未对输入图像的亮度进行量化等预处理操作，当目标在图像上的亮度较低时容易造成漏检；2)现有方法仅在单帧图像上检测候选目标，对弱小目标的检测效果不佳，容易出现漏检或错检；3)现有方法采用阈值分割、边缘提取、统计量计算等常规图像处理或统计分析方法，利用人工设计的特征进行目标检测，在碎云较多的复杂场景下难以准确地检测目标；4)现有方法采用基于概率模型或多假设跟踪算法的目标关联，计算复杂度随检出目标数呈指数变化，计算复杂度高，难以满足时效性要求。
发明内容
有鉴于此，本发明提供了一种同步轨道卫星可见光序列图像海上目标检测跟踪方法，对输入图像进行自适应量化处理，利用了目标的运动信息，能够提高检出率并降低虚警率，以数据驱动的方式自动地在数据中学习能够描述目标的良好特征，计算复杂度随检出目标数呈线性变化，运算效率高，能够满足时效性要求。
一种同步轨道卫星可见光序列图像海上目标检测跟踪方法，包括：
步骤1，依次读取序列图像，并进行分组；统一组内图像的长度和宽度，拼接形成图像张量Yi；
步骤2，对图像进行分块处理，并统一图像块内的亮度，将图像张量Yi按块分割成图像块张量yi；
步骤3，构建神经网络作为海上目标检测模型，其中，神经网络的输入为每组的图像块张量yi；利用样本集对海上目标检测模型进行训练，得到训练完成的海上目标检测模型；
步骤4，将待检测的图像序列按组输入训练完成的海上目标检测模型，得到各组的目标检测结果；
步骤5，基于交并比，依次对每组图像的检测结果进行目标关联，得到目标轨迹；
步骤6，得到的目标轨迹中，包含目标数大于或等于N/2的目标轨迹即为最终的目标检测跟踪结果，其中N为待检测的图像序列中图像的总帧数。
进一步的，采用线性拉伸法、直方图均衡化法或利用像素的统计量来量化统一图像块的亮度。
进一步的，利用像素的统计量来量化统一图像块的亮度的具体方法为：
计算图像块内像素的最小值zmin、最大值zmax、均值μ和标准差σ；
如果σ<10，则按照式(1)对图像块进行量化：
x＝min((z-zmin)×5,255) (1)
其中，x表示经过量化后的像素值，z为原图像像素；
否则，按照式(2)对图像块进行量化：
Figure BDA0003451330160000041
其中，Tb＝min(Ta,zmax)，Ta＝μ+rσ；
r为标准差增益，r的高值rup∈[4.5,5.5]，r的低值rdown∈[2.5,3.5]；如果Sa/Sb>τs，则r＝rup，否则r＝rdown，其中像素数比例阈值τs∈[0.01,0.03]，Sa为图像块内像素值大于μ+3σ的像素个数，Sb为图像块内的像素总个数。
进一步的，所述步骤1中，针对各组图像，计算其所包含的M帧图像的最小高度hmin和最小宽度wmin，将M帧图像的高度和宽度统一剪裁为hmin和wmin。
进一步的，所述步骤5基于交并比的目标关联的具体方法为：
对于图像张量Yi，当i＝1时，将每个检出目标
Figure BDA0003451330160000042
都作为一条目标轨迹，得到当前目标轨迹，当前目标轨迹数目T＝K；
当i≥2时，设已得到的当前目标轨迹共有T条，计算第t条目标轨迹的最后一个目标Rt＝[xt,yt,ht,wt]T与本组新得到的未被关联的检出目标
Figure BDA0003451330160000043
依次进行交并比，若交并比中的最大值大于阈值τ，则将最大交并比所对应的检出目标关联到第t条目标轨迹上，并记录已经被关联的检出目标
Figure BDA0003451330160000044
的关联状态；依次对已得到的T条当前目标轨迹与本组新得到的未被关联的检出目标进行关联；所有已关联上的目标轨迹，以及所有未被关联的目标，都作为已得到的当前目标轨迹。
进一步的，记录检出目标
Figure BDA0003451330160000051
的关联状态的方法为：在目标关联过程中，维护一个包含K个布尔变量的向量c＝[c1,...,cK]T，检出目标
Figure BDA0003451330160000052
还未被关联，标记ck＝0；
Figure BDA0003451330160000053
已被关联则标记ck＝1。
进一步的，步骤3中的所述神经网络为深度卷积神经网络。
进一步的，所述深度卷积神经网络采用Faster RCNN、SSD或R3Det。
进一步的，步骤5中对多组图像的检测结果，利用目标中心点距离来关联。
有益效果：
a、针对当目标在图像上的亮度较低时容易造成漏检的问题，本发明对输入图像进行自适应量化处理，将过暗的目标调亮、过亮的目标调暗，从而减小亮度对目标检测的影响；
b、针对在单帧图像上进行检测时对弱小目标的检测效果不佳、容易出现漏检或错检的问题，本发明在多帧图像组成的合成图像上检测候选目标，由于在合成图像上目标的尺寸增大了，能够解决弱小目标难以检测的问题，同时由于利用了目标的运动信息，能够提高检出率并降低虚警率；
c、针对基于人工设计的特征在碎云较多的复杂场景下难以准确检测目标的问题，本发明采用卷积神经网络以数据驱动的方式自动地在数据中学习能够描述目标的良好特征，能够适应复杂场景下的目标检测，有效地降低虚警率；
d、针对现有目标关联模型计算复杂度高，难以满足时效性要求的问题，本发明利用相邻合成图像中同一目标具有较大重叠的特点，基于交并比进行目标关联，使得计算复杂度随检出目标数呈线性变化，运算效率高，能够满足时效性要求。
附图说明
图1为现有方法的流程图。
图2为本发明方法的流程图。
图3为实施例中步骤4的第1组图像检测结果。
图4为实施例中步骤4的第2组图像检测结果。
图5为实施例中步骤4的第3组图像检测结果。
图6为实施例中步骤4的第4组图像检测结果。
图7为实施例中步骤4的第5组图像检测结果。
图8为实施例中步骤4的第6组图像检测结果。
图9为实施例中步骤5最终的目标检测跟踪结果。
其中，圆形框表示在当前图像上的检出目标，矩形框表示在历史图像上的检出目标，箭头表示目标轨迹。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种同步轨道卫星可见光序列图像海上目标检测跟踪方法，包括如下步骤：
步骤1，依次读取包含N帧的序列图像，并进行分组；统一组内图像的长度和宽度，拼接形成图像张量Yi；首先将N＝8帧图像按照相邻M＝3帧为一组进行分组，得到N-M+1＝6组合成图像，其中第i组合成图像Xi由第i到i+M-1帧图像组成。本实施例将8帧图像按照相邻3帧为一组进行分组，得到6组合成图像Xi,i＝1,...,6，其中第i组合成图像Xi由第i到i+2帧图像组成，即：
第1组合成图像X1由第1到3帧图像组成，
第2组合成图像X2由第2到4帧图像组成，
以此类推。
对于每组图像，计算其所包含M帧图像中的最小高度hmin和宽度wmin，M＝3，通过裁剪多余的像素将3帧图像的高度和宽度统一为hmin和wmin。
将经过尺寸统一后的3帧图像沿通道方向进行拼接，形成尺寸为hmin×wmin×M的图像张量Yi。将图像张量Yi沿着行和列的方向切成尺寸为p×p×M的图像块张量yi。在实施例中，hmin为1600，wmin为3200。将经过尺寸统一后的3帧图像沿通道方向进行拼接，形成图像张量Yi，尺寸为1600×3200×3。
将图像张量Yi沿着行和列的方向裁剪，所形成的图像块张量yi，尺寸为320×320×3。
步骤2，对图像进行分块处理，并统一图像块内的亮度，将图像张量Yi按块分割成图像块张量yi；
对图像进行分块处理，形成p×p大小的图像块。本实施例中N＝8，图像块尺寸p设置为320。
对每一个图像块进行自适应量化处理操作，利用图像块的统计量进行阈值的计算，计算得出图像块内像素的最小值zmin、最大值zmax、均值μ和标准差σ；
如果σ<10，则按照式(1)对图像块进行量化：
x＝min((z-zmin)×5,255) (1)
其中，x表示经过量化后的像素值；
否则，按照式(2)计算经过量化后的像素值，对图像块进行量化：
Figure BDA0003451330160000071
其中，Tb＝min(Ta,zmax)，Ta＝μ+rσ；
计算图像块内像素值大于μ+3σ的像素个数Sa，图像块内的像素总数Sb；
若Sa/Sb>τs时，则r＝rup，否则r＝rdown。其中，r为标准差增益。本实施例中，自适应量化处理的相关参数设置如下：设像素数比例阈值τs＝0.02，标准差增益高值rup＝5，标准差增益低值rdown＝3。
按以上方法对每一图像块作自适应处理。
步骤3，构建神经网络，作为目标检测模型。将神经网络输入层的尺寸设置为320×320×3，神经网络的输入为yi，yi为相邻3帧图像沿通道方向拼接而成的张量。然后利用训练样本集，对构建的神经网络进行训练，得到训练好的检测模型。
步骤4，将待检测图像序列按步骤1同样的方式进行分组，并获得每组图像张量Yi，将其包含的图像块张量yi输入到训练好的检测模型中；依次对每组图像张量Yi进行目标检测，得到检测结果Ri。
设Ri中共包含K个检出目标，将第k个检出目标记为
Figure BDA0003451330160000081
其中
Figure BDA0003451330160000082
分别表示目标的中心点横纵坐标、高度、宽度，k∈N。依次处理图像张量Y1到YN-M+1。
步骤5，基于交并比，对多组图像的检测结果进行目标关联。
如图3-9所示，圆形框表示在当前图像上的检出目标，矩形框表示检测出来的目标，箭头表示目标轨迹。
在实施例中，交并比阈值τ设置为0.1。
对于图像张量Y1，将其包含的图像块张量y1输入到检测模型fθ(·)中，得到检测结果R1。图像检测结果R1如图3所示，当前组图像上的检测结果分别是：检出目标
Figure BDA0003451330160000083
和
Figure BDA0003451330160000084
当前图像上检出的目标数目K＝3，这3个目标分别对应一条目标轨迹，即目标轨迹1、2和3，因此当前目标轨迹数目T＝3。
对于图像张量Y2，将其包含的图像块张量y2输入到检测模型fθ(·)中，得到检测结果R2。检测结果R2如图4所示，当前组图像上共检测出2个目标，分别是：检出目标
Figure BDA0003451330160000085
和
Figure BDA0003451330160000086
因此当前图像上检出的目标数目K＝2。其中检出的目标
Figure BDA0003451330160000087
与目标轨迹2相关联；而检出目标
Figure BDA0003451330160000091
未和现有目标轨迹相关联，因此将检出目标
Figure BDA0003451330160000092
作为一条新的目标轨迹，即目标轨迹4。在前两组图像进行目标关联后共有4条目标轨迹，即当前目标轨迹数目T＝4。
对于图像张量Y3，将其包含的图像块张量y3输入到检测模型fθ(·)中，得到检测结果R3。检测结果R3如图5所示，当前组图像上共检测出3个目标，分别是：检出目标
Figure BDA0003451330160000093
和
Figure BDA0003451330160000094
因此当前图像上检出的目标数目K＝3。其中检出目标
Figure BDA0003451330160000095
和
Figure BDA0003451330160000096
分别和目标轨迹2和4相关联，而检出目标
Figure BDA0003451330160000097
未和已有的目标轨迹相关联，因此将检出目标
Figure BDA0003451330160000098
作为一条新的目标轨迹，即目标轨迹5。在前三组图像进行目标关联后共有5条目标轨迹，即T为5。
对于图像张量Y4，将其包含的图像块张量y4输入到检测模型fθ(·)中，得到检测结果R4。检测结果R4如图6所示，当前组图像上共检测出2个目标，分别是：检出目标
Figure BDA0003451330160000099
和
Figure BDA00034513301600000910
因此当前图像上检出的目标数目K为2。其中检出目标
Figure BDA00034513301600000911
和
Figure BDA00034513301600000912
分别和目标轨迹4和5相关联。在前四组图像进行目标关联后共有5条目标轨迹，即T为5。
对于图像张量Y5，将其包含的图像块张量y5输入到检测模型fθ(·)中，得到检测结果R5。检测结果R5如图7所示，当前组图像上共检测出3个目标，分别是：检出目标
Figure BDA00034513301600000913
和
Figure BDA00034513301600000914
因此当前图像上检出的目标数目K为3，其中检出目标
Figure BDA00034513301600000915
和
Figure BDA00034513301600000916
分别和目标轨迹2和4相关联，而检出目标轨迹
Figure BDA00034513301600000917
未和已有的目标轨迹相关联，因此将新检出的目标
Figure BDA00034513301600000918
作为一条新的目标轨迹，即目标轨迹6。在前五组图像进行目标关联后共有6条目标轨迹，即T为6。
对于图像张量Y6，将其包含的图像块张量y6输入到检测模型fθ(·)中，得到检测结果R6。第6组图像检测结果如图8所示，当前组图像上共检测出2个目标，分别是：检出目标
Figure BDA00034513301600000919
和
Figure BDA00034513301600000920
因此当前图像上检出的目标数目K为2，其中检出目标
Figure BDA00034513301600000921
和
Figure BDA00034513301600000922
分别和目标轨迹2和4相关联。六组图像进行目标关联后共有6条目标轨迹，即T为6。
步骤5，进行目标航迹生成与输出。
在完成序列中全部图像的目标检测和关联后得到一组目标轨迹，将包含目标数大于等于N/2的目标轨迹作为最终的目标检测跟踪结果并进行输出。在本实施例中N为8，因此仅保留包含目标数大于或等于4的目标轨迹作为最终的目标检测跟踪结果。目标轨迹1到6所包含的目标数分别为1、5、1、5、2、1，因此仅保留目标轨迹2和4。最终的目标检测跟踪结果如图9所示。目标轨迹2和4对应两个船舶目标，其余目标轨迹为云产生的虚警，本发明正确地检出船舶目标并将虚警去除。
利用10组实测序列对本发明方案的效果进行验证，图像的平均尺寸为10000×10000，表1给出了本发明方案在各个测试序列上的检出率、虚警率和运行时间。本发明方案的平均检出率为92％，虚警率为30％，运行时间为8s。现有方法在相同的10组实测序列上的平均检出率为70％，虚警率为40％，运行时间为125s。本发明方案在检出率和虚警率上要明显优于现有方法，证明了本发明方案中利用多帧图像生成合成图像进行序列图像目标检测的有效性；在时效性上，本发明方案较现有基于多假设跟踪的方法提升了15.6倍，表明了本发明方案中基于交并比进行目标关联的有效性。
表1本发明方案在10组实测序列上的检测结果和运行时间
Figure BDA0003451330160000101
Figure BDA0003451330160000111
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种同步轨道卫星可见光序列图像海上目标检测跟踪方法，其特征在于，包括：
步骤1，依次读取N帧序列图像，并按照相邻M帧为一组进行分组，得到N-M+1组图像X1,…,Xi…,XN-M+1，其中Xi由第i到i+M-1帧图像组成；统一组内图像的长度和宽度，拼接形成图像张量Yi；
步骤2，对图像进行分块处理，并统一图像块内的亮度，将图像张量Yi按块分割成图像块张量yi；
步骤3，构建神经网络作为海上目标检测模型，其中，神经网络的输入为每组的图像块张量yi；利用样本集对海上目标检测模型进行训练，得到训练完成的海上目标检测模型；
步骤4，将待检测的图像序列按组输入训练完成的海上目标检测模型，得到各组的目标检测结果；
步骤5，基于交并比，依次对每组图像的检测结果进行目标关联，得到目标轨迹；
步骤6，得到的目标轨迹中，包含目标数大于或等于N/2的目标轨迹即为最终的目标检测跟踪结果，其中N为待检测的图像序列中图像的总帧数。
2.如权利要求1所述的一种同步轨道卫星可见光序列图像海上目标检测跟踪方法，其特征在于，采用线性拉伸法、直方图均衡化法或利用像素的统计量来量化统一图像块的亮度。
3.如权利要求2所述的一种同步轨道卫星可见光序列图像海上目标检测跟踪方法，其特征在于，利用像素的统计量来量化统一图像块的亮度的具体方法为：
计算图像块内像素的最小值zmin、最大值zmax、均值μ和标准差σ；
如果σ<10，则按照式(1)对图像块进行量化：
x＝min((z-zmin)×5,255) (1)
其中，x表示经过量化后的像素值，z为原图像像素；
否则，按照式(2)对图像块进行量化：
Figure FDA0003451330150000021
其中，Tb＝min(Ta,zmax)，Ta＝μ+rσ；
r为标准差增益，r的高值rup∈[4.5,5.5]，r的低值rdown∈[2.5,3.5]；如果Sa/Sb>τs，则r＝rup，否则r＝rdown，其中像素数比例阈值τs∈[0.01,0.03]，Sa为图像块内像素值大于μ+3σ的像素个数，Sb为图像块内的像素总个数。
4.如权利要求1所述的一种同步轨道卫星可见光序列图像海上目标检测跟踪方法，其特征在于，所述步骤1中，针对各组图像，计算其所包含的M帧图像的最小高度hmin和最小宽度wmin，将M帧图像的高度和宽度统一剪裁为hmin和wmin。
5.如权利要求1所述的一种同步轨道卫星可见光序列图像海上目标检测跟踪方法，其特征在于，所述步骤5基于交并比的目标关联的具体方法为：
对于图像张量Yi，当i＝1时，将每个检出目标
Figure FDA0003451330150000022
都作为一条目标轨迹，得到当前目标轨迹，当前目标轨迹数目T＝K；
当i≥2时，设已得到的当前目标轨迹共有T条，计算第t条目标轨迹的最后一个目标Rt＝[xt,yt,ht,wt]T与本组新得到的未被关联的检出目标
Figure FDA0003451330150000023
依次进行交并比，若交并比中的最大值大于阈值τ，则将最大交并比所对应的检出目标关联到第t条目标轨迹上，并记录已经被关联的检出目标
Figure FDA0003451330150000024
的关联状态；依次对已得到的T条当前目标轨迹与本组新得到的未被关联的检出目标进行关联；所有已关联上的目标轨迹，以及所有未被关联的目标，都作为已得到的当前目标轨迹。
6.如权利要求5所述的一种同步轨道卫星可见光序列图像海上目标检测跟踪方法，其特征在于，记录检出目标
Figure FDA0003451330150000031
的关联状态的方法为：在目标关联过程中，维护一个包含K个布尔变量的向量c＝[c1,...,cK]T，检出目标
Figure FDA0003451330150000032
还未被关联，标记ck＝0；
Figure FDA0003451330150000033
已被关联则标记ck＝1。
7.如权利要求1所述的一种同步轨道卫星可见光序列图像海上目标检测跟踪方法，其特征在于，步骤3中的所述神经网络为深度卷积神经网络。
8.如权利要求7所述的一种同步轨道卫星可见光序列图像海上目标检测跟踪方法，其特征在于，所述深度卷积神经网络采用Faster RCNN、SSD或R3Det。
CN202111666781.4A 2021-12-31 2021-12-31 一种同步轨道卫星可见光序列图像海上目标检测跟踪方法 Pending CN114494342A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111666781.4A CN114494342A (zh) 2021-12-31 2021-12-31 一种同步轨道卫星可见光序列图像海上目标检测跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111666781.4A CN114494342A (zh) 2021-12-31 2021-12-31 一种同步轨道卫星可见光序列图像海上目标检测跟踪方法

Publications (1)

Publication Number Publication Date
CN114494342A true CN114494342A (zh) 2022-05-13

Family

ID=81507871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111666781.4A Pending CN114494342A (zh) 2021-12-31 2021-12-31 一种同步轨道卫星可见光序列图像海上目标检测跟踪方法

Country Status (1)

Country Link
CN (1) CN114494342A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019187A (zh) * 2022-08-09 2022-09-06 中国科学院空天信息创新研究院 针对sar图像船舶目标的检测方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019187A (zh) * 2022-08-09 2022-09-06 中国科学院空天信息创新研究院 针对sar图像船舶目标的检测方法、装置、设备及介质
CN115019187B (zh) * 2022-08-09 2022-11-22 中国科学院空天信息创新研究院 针对sar图像船舶目标的检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110232350B (zh) 一种基于在线学习的实时水面多运动目标检测跟踪方法
CN113034548B (zh) 一种适用于嵌入式终端的多目标跟踪方法及其***
CN107818571B (zh) 基于深度学习网络和均值漂移的船只自动跟踪方法及***
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
Rakibe et al. Background subtraction algorithm based human motion detection
KR20200007084A (ko) 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템
CN113052876B (zh) 一种基于深度学习的视频接力跟踪方法及***
CN108197604A (zh) 基于嵌入式设备的快速人脸定位跟踪方法
CN112669350A (zh) 一种自适应特征融合的智能变电站人体目标跟踪方法
CN111582126B (zh) 基于多尺度行人轮廓分割融合的行人重识别方法
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
Modasshir et al. Coral identification and counting with an autonomous underwater vehicle
Petraglia et al. Pipeline tracking and event classification for an automatic inspection vision system
CN113920436A (zh) 一种基于改进YOLOv4算法的遥感图像海上船舶识别***及其方法
CN112927233A (zh) 一种船用激光雷达与视频联合目标捕捉方法
CN110751077A (zh) 一种基于部件匹配与距离约束的光学遥感图片船舶检测方法
CN108717539A (zh) 一种小尺寸舰船检测方法
CN114494342A (zh) 一种同步轨道卫星可见光序列图像海上目标检测跟踪方法
CN114419444A (zh) 一种基于深度学习网络的轻量化的高分辨率鸟群识别方法
Saad et al. StereoYolo+ DeepSORT: a framework to track fish from underwater stereo camera in situ
CN113255549A (zh) 一种狼群围猎行为状态智能识别方法及***
CN117475353A (zh) 基于视频的异常烟雾识别方法及***
CN117423157A (zh) 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法
CN116343078A (zh) 基于视频sar的目标跟踪方法、***及设备
CN114332682B (zh) 一种海上全景去雾目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination