CN114419090A - 一种基于全卷积网络的红外图像多目标分割方法 - Google Patents

一种基于全卷积网络的红外图像多目标分割方法 Download PDF

Info

Publication number
CN114419090A
CN114419090A CN202210073973.2A CN202210073973A CN114419090A CN 114419090 A CN114419090 A CN 114419090A CN 202210073973 A CN202210073973 A CN 202210073973A CN 114419090 A CN114419090 A CN 114419090A
Authority
CN
China
Prior art keywords
image
network
full convolution
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210073973.2A
Other languages
English (en)
Inventor
吴偌灏
张瀚
赵汗青
宿立升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Jintai Star Measurement Technology Co ltd Taizhou Branch
Original Assignee
Beijing Aerospace Jintai Star Measurement Technology Co ltd Taizhou Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Jintai Star Measurement Technology Co ltd Taizhou Branch filed Critical Beijing Aerospace Jintai Star Measurement Technology Co ltd Taizhou Branch
Priority to CN202210073973.2A priority Critical patent/CN114419090A/zh
Publication of CN114419090A publication Critical patent/CN114419090A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于全卷积网络的红外图像多目标分割方法,特点是包括以下操作步骤:步骤S1,构建红外图像数据集;采集多种背景、多种目标、多种时间段的红外视频构建图像数据集作为模型的训练样本,利用多种传统图像处理手段对原始红外视频进行处理得到二值标注图像;步骤S2,获得并训练全卷积神经网络模型,采用分阶段损失函数的方式训练模型;步骤S3,移植模型,将网络模型移植到移动终端上进行实时分割。优点是实现了少量增加网络层数和通道数的情况下,充分利用其他网络层学习到的特征,更加有利于挖掘网络自身的算力;该神经网络可以学习到多层次的、更丰富的特征表示,表征能力更强,有助于实时图像分割实现良好效果。

Description

一种基于全卷积网络的红外图像多目标分割方法
技术领域
本发明涉及图像分割的领域,尤其涉及一种基于全卷积网络的红外图像多目标分割方法。
背景技术
近年来,随着边防警戒、设备安防、自动作战等需求的提升,针对人员、车辆、直升机等多种目标的图像分割技术越来越精细。现代红外图像分割的四大需求为自动化、精确化、快速化、多目标, 然而红外图像具有数据量少、图像清晰度不高、红外目标与环境相似度较高等特点, 导致传统的人工神经网络在红外图像数据集处理方面表现不佳。
现有技术的分割模型主要是对于固定背景下的图像或者单一目标效果较好。这些方法虽然能够提供初步的分割结果,但其对于复杂背景下的多目标图像分割效果欠佳。另一方面,近年来涌现了许多更深更宽的网络模型提升分割效果的方案。但它们只是以简单堆叠网络层的方式增加参数,而且暴露出来明显的运算速度下降难以实时分割的问题。
专利CN202111001405.3公开了一种基于热红外注意力机制神经网络的行车场景分割方法。本发明公开了一种基于热红外注意力机制神经网络的行车场景分割方法,本方法首先获取同场景、同分辨率的可见光、热红外影像,通过标记,形成复合影像训练数据集;接着构建热红外信息注意网络,使用复合影像训练集对其进行训练;当得到较好的训练模型后,使用热红外信息注意网络对行车影像进行分割;能够在不同环境下稳定地对行车环境影像进行分割,且分割精度较高。该方法利用了可见光和热红外影像,但是其采用的注意力机制神经网络参数较多、体积较大,难以移植到可移动设备中,也难以做到实时性。
专利CN200710072483.6公开了一种运动背景的红外图像实时目标识别与***及方法。包括红外成像探测部件、红外图像信号处理部件、伺服控制部件和通信模块四个部分。采用红外热像仪采集数字化的红外图像,采用伺服控制部件控制搜索和跟踪视场内目标,采用红外图像信号处理部件实时地检测、识别与跟踪目标,采用1553B总线与上位机通信构成红外图像跟踪结果显示。能检测15公里以上的景深范围,能进行±18°度的大角度搜索和2°~6°度的小角度精确跟踪。具有检测距离远、探测范围广、定位精度高、识别能力强、实时目标跟踪、全天候工作等特点。但该方法只利用传统图像处理算法,并且侧重于***架构与集成,对于算法的处理上十分粗糙。
专利CN201810882454.4公开了一种基于FPGA的田间视频图像实时分割***及方法,所述方案属于田间作物生长信息处理技术领域,对图像分割算法的结构进行适用于硬件环境的更改,加入数据及流水线指令,使图像分割算法适应于实时图像分割的应用场景;通过对图像采集显示***的各个模块进行设计,搭建基于摄像头的视频通路;结合田间植株超绿特征提取、Canny边缘检测算法、中值滤波和阈值分割及FPGA硬件开发的流程,实现田间视频图像分割。本发明的拥有丰富的寄存器资源和流水线结构,可实时处理大量的图像数据,极大程度的提高了图像处理的速度;本发明所使用的开发板成本更低,体积小,功耗低,更适合复杂的田间工作环境。但其只利用传统图像处理算法,不能针对特定目标进行分割与识别,虽然速度快体积小,但精度不高,视觉效果不好。
专利CN202010878598.X公开了一种基于语义分割网络的抛洒物检测方法与***,具体涉及道路检测领域,主要包括离线建模模块、在线背景获取模块和在线抛洒判断模块。本发明不用通过直接对抛洒物进行判断,而是通过运动目标的判断间接的判定抛洒物,提高了抛洒物的预检出率,同时采用双重背景和背景更新的策略来对预设背景图像进行更新,并通过候选判定区域、候选判定区域与预设背景图像的相似度判定,双重判定,提高了判定的准确度。然而该方法利用语义分割网络对背景进行分割,无法直接获取目标,对于图像既要预处理也要后处理,步骤较为繁琐。
发明内容
本发明目的是提供基于全卷积网络的红外图像多目标分割方法,以解决对于复杂背景下的多目标图像分割效果欠佳以及网络模型分割中暴露出来明显的运算速度下降难以实时分割等技术问题。
为了实现上述技术目的,达到上述的技术要求,本发明所采用的技术方案是:一种基于全卷积网络的红外图像多目标分割方法,包括以下操作步骤:步骤S1,构建红外图像数据集;采集多种背景、多种目标、多种时间段的红外视频构建图像数据集作为模型的训练样本,利用多种传统图像处理手段对原始红外视频进行处理得到二值标注图像;步骤S2,获得并训练全卷积神经网络模型,采用分阶段损失函数的方式训练模型;步骤S3,移植模型,将网络模型移植到移动终端上进行实时分割。
优选地:所述的步骤S1中多种传统图像处理手段为阈值分割方式、区域生长方式、滤波方式。
优选地:所述的全卷积神经网络模型的获得方法为输入图像经过一个过渡层之后输入到Fiboblock,之后其输出分为两路,一路经过一个过渡层之后输入到Denseblock,另一路经过Fiboblock与Denseblock上采样后的输出合并,再经过一个卷积层就得到了最终输出。
优选地:所述的过渡层由一个池化层和卷积层组成。
优选地:所述的Fiboblock每一个卷积层的输入,是前两个卷积层的输出合并而来,同时其每一个卷积层的输出通道数与输入通道数保持不变。
优选地:所述的步骤S2中分阶段损失函数的方式为前70轮使用Focal loss训练,后30轮使用Dice Loss训练。
本发明的有益效果;本发明采用特征复用的方式,综合考虑了分割效果和运算速度构建了全卷积神经网络模型;基于特征复用构建的全卷积神经网络可以少量增加网络层数和通道数的情况下,充分利用其他网络层学习到的特征,更加有利于挖掘网络自身的算力。该神经网络可以学习到多层次的、更丰富的的特征表示,表征能力更强,有助于实时图像分割实现良好效果;通过引入分阶段损失函数,使得损失函数可以充分发挥各自的作用,解决了大多数的多种损失函数结合只是简单累加而导致容易造成梯度冲突的情况,导致模型收敛缓慢的技术问题,本发明中分阶段损失函数既结合两者的优势,又回避了各自的缺点,充分发挥各自的作用;既可以保障损失函数稳定下降,又可以有效提升评价指标。
本发明大大增强了复杂背景下的多目标图像分割效果,运算速度快,有效实现图像的实时分割。
附图说明
为了更清楚地说明发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的工作流程图。
图2是本发明的全卷积神经网络模型框架简图。
图3是本发明中Fiboblock与Denseblock的对比示意图。
具体实施方式
下面将结合附图对发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是发明一部分实施例,而不是全部的实施例。基于发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于发明保护的范围。
一种基于全卷积网络的红外图像多目标分割方法,包括以下操作步骤:步骤S1,构建红外图像数据集;采集多种背景、多种目标、多种时间段的红外视频构建图像数据集作为模型的训练样本,利用阈值分割、区域生长、滤波等多种传统图像处理手段对原始红外视频进行处理得到二值标注图像;步骤S2,获得并训练全卷积神经网络模型,输入图像经过一个过渡层之后输入到Fiboblock,之后其输出分为两路,一路经过一个过渡层之后输入到Denseblock,另一路经过Fiboblock上采样与Denseblock上采样后的输出合并,再经过一个卷积层就得到了最终输出,即完成模型预测,然后采用分阶段损失函数的方式训练模型,前70轮使用Focal loss训练,后30轮使用Dice Loss训练;步骤S3,移植模型,将网络模型移植到移动终端上进行实时分割。
具体的,所述的过渡层由一个池化层和卷积层组成。传统的Denseblock每一个卷积层的输入,是前一个卷积层的输入与输出合并而来,递归地表现为所有卷积层的输出集合,同时其每一个卷积层的输出通道数是固定的。也就是说随着深度的增加,输入通道数线性增长,但输出通道数固定不变。整个block的输出通道数与卷积层的数量呈线性关系。
而Fiboblock每一个卷积层的输入,是前两个卷积层的输出合并而来,同时其每一个卷积层的输出通道数与输入通道数保持不变。也就是说随着深度的增加,输入通道数与输出通道数都呈现斐波那契数列式的增长。整个block的输出通道数即最后一个卷积层的输出,其与卷积层的数量呈类指数关系。
在深度神经网络模型训练中,交叉熵损失函数(CE loss)是最常见的损失函数,其公式如下:
其中p为预测概率大小;y为label,在二分类中对应0,1。如果引入一个新的变量pt
则交叉熵损失函数可以写作:
协调损失函数(Focal loss)是在2017年提出的,最初用于图像领域解决数据不平衡造成的模型性能问题,其公式可写作:
其中r为可调节因子,用来调整分类难度的权重。
pt反应了分类的难易程度,pt越大,说明分类的置信度越高,代表样本越易分;pt越小,分类的置信度越低,代表样本越难分。因此Focal loss相当于增加了难分样本在损失函数的权重,使得损失函数倾向于难分的样本,有助于提高难分样本的准确度。整体而言,协调损失函数增加了分类不准确样本在损失函数中的权重。
Dice Loss是基于图像分割评价指标Dice系数于2016年提出的一种损失函数。Dice系数是一种集合相似度度量函数,通常用于计算两个样本的相似度,取值范围在[0,1]。其公式为:
基于此提出来的Dice Loss可以表示如下:
其中eps是一个小正数,用来避免除数为0。直接采用Dice Loss是因为图像分割的真实目标就是最大化IoU 度量,而与之强相关的Dice系数在反向传播中易于最大化优化。其在训练中更倾向于挖掘前景区域,正负样本不平衡的情况就是前景占比较小,背景占比极大的情况。其对正负样本严重不平衡的场景有着不错的性能,也就是在小目标表现较好,但是训练过程中易出现不稳定的情况。
具体实施时,本发明中的多目标不局限于人员、非机动车和车辆。分阶段损失函数的阶段不局限于固定的值,应当依据具体任务的要求动态调整。本发明中分阶段损失函数不局限于Focal loss和Dice Loss,还可根据实际应用调整。
本发明基于特征复用构建的全卷积神经网络可以少量增加网络层数和通道数的情况下,充分利用其他网络层学习到的特征,更加有利于挖掘网络自身的算力。该神经网络可以学习到多层次的、更丰富的的特征表示,表征能力更强,有助于实时图像分割实现良好效果。同时引入了分阶段损失函数,前70轮使用Focal loss训练,后30轮使用Dice Loss训练,使得损失函数可以充分发挥各自的作用,结合Focal loss和 Dice Loss两者的优势,又回避了各自的缺点。
本发明大大增强了复杂背景下的多目标图像分割效果,运算速度快,有效实现图像的实时分割。

Claims (6)

1.一种基于全卷积网络的红外图像多目标分割方法,其特征在于:包括以下操作步骤:步骤S1,构建红外图像数据集;采集多种背景、多种目标、多种时间段的红外视频构建图像数据集作为模型的训练样本,利用多种传统图像处理手段对原始红外视频进行处理得到二值标注图像;步骤S2,获得并训练全卷积神经网络模型,采用分阶段损失函数的方式训练模型;步骤S3,移植模型,将网络模型移植到移动终端上进行实时分割。
2.根据权利要求1所述的一种基于全卷积网络的红外图像多目标分割方法,其特征在于:所述的步骤S1中多种传统图像处理手段为阈值分割方式、区域生长方式、滤波方式。
3.根据权利要求1所述的一种基于全卷积网络的红外图像多目标分割方法,其特征在于:所述的全卷积神经网络模型的获得方法为输入图像经过一个过渡层之后输入到Fiboblock,之后其输出分为两路,一路经过一个过渡层之后输入到Denseblock,另一路经过Fiboblock与Denseblock上采样的输出合并,再经过一个卷积层就得到了最终输出。
4.根据权利要求3所述的一种基于全卷积网络的红外图像多目标分割方法,其特征在于:所述的过渡层由一个池化层和卷积层组成。
5.根据权利要求3所述的一种基于全卷积网络的红外图像多目标分割方法,其特征在于:所述的Fiboblock每一个卷积层的输入,是前两个卷积层的输出合并而来,同时其每一个卷积层的输出通道数与输入通道数保持不变。
6.根据权利要求1所述的一种基于全卷积网络的红外图像多目标分割方法,其特征在于:所述的步骤S2中分阶段损失函数的方式为前70轮使用Focal loss训练,后30轮使用Dice Loss训练。
CN202210073973.2A 2022-01-21 2022-01-21 一种基于全卷积网络的红外图像多目标分割方法 Pending CN114419090A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210073973.2A CN114419090A (zh) 2022-01-21 2022-01-21 一种基于全卷积网络的红外图像多目标分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210073973.2A CN114419090A (zh) 2022-01-21 2022-01-21 一种基于全卷积网络的红外图像多目标分割方法

Publications (1)

Publication Number Publication Date
CN114419090A true CN114419090A (zh) 2022-04-29

Family

ID=81274551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210073973.2A Pending CN114419090A (zh) 2022-01-21 2022-01-21 一种基于全卷积网络的红外图像多目标分割方法

Country Status (1)

Country Link
CN (1) CN114419090A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584248A (zh) * 2018-11-20 2019-04-05 西安电子科技大学 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110619352A (zh) * 2019-08-22 2019-12-27 杭州电子科技大学 基于深度卷积神经网络的典型红外目标分类方法
CN111160538A (zh) * 2020-04-02 2020-05-15 北京精诊医疗科技有限公司 一种损失函数中margin参数值的更新方法和***
CN113283434A (zh) * 2021-04-13 2021-08-20 北京工业大学 一种基于分割网络优化的图像语义分割方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584248A (zh) * 2018-11-20 2019-04-05 西安电子科技大学 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110619352A (zh) * 2019-08-22 2019-12-27 杭州电子科技大学 基于深度卷积神经网络的典型红外目标分类方法
CN111160538A (zh) * 2020-04-02 2020-05-15 北京精诊医疗科技有限公司 一种损失函数中margin参数值的更新方法和***
CN113283434A (zh) * 2021-04-13 2021-08-20 北京工业大学 一种基于分割网络优化的图像语义分割方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BIN GUO等: "Voxel-Wise Adversarial FiboNet for 3D Cerebrovascular Segmentation on Magnetic Resonance Angiography Images", FRONTIERS IN NEUROSCIENCE, 16 November 2021 (2021-11-16), pages 1 - 3 *

Similar Documents

Publication Publication Date Title
CN110781776B (zh) 一种基于预测和残差细化网络的道路提取方法
CN114299417A (zh) 一种基于雷视融合的多目标跟踪方法
CN111027505B (zh) 一种基于显著性检测的分层多目标跟踪方法
CN108288270A (zh) 一种基于通道修剪与全卷积深度学习的目标检测方法
CN112884742A (zh) 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN110728694A (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN114998744B (zh) 基于运动与视觉双特征融合的农机轨迹田路分割方法及装置
CN111739053A (zh) 一种复杂场景下的在线多行人检测跟踪方法
CN105787950A (zh) 一种基于行梯度累加的红外图像海天线检测算法
CN111797841A (zh) 一种基于深度残差网络的视觉显著性检测方法
CN111882581B (zh) 一种深度特征关联的多目标跟踪方法
CN112507845A (zh) 基于CenterNet与深度关联矩阵的行人多目标跟踪方法
CN114821326A (zh) 一种宽幅遥感影像中密集弱小目标检测识别方法
CN111723747A (zh) 一种应用于嵌入式平台轻量型高效率的目标检测方法
CN115223017B (zh) 一种基于深度可分离卷积的多尺度特征融合桥梁检测方法
CN113379603B (zh) 一种基于深度学习的船舶目标检测方法
CN114266805A (zh) 一种用于无人机目标跟踪的孪生区域建议网络模型
CN112164065B (zh) 一种基于轻量化卷积神经网络的实时图像语义分割方法
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
CN116935356A (zh) 基于弱监督的自动驾驶多模态图片和点云实例分割方法
CN114419090A (zh) 一种基于全卷积网络的红外图像多目标分割方法
CN116189008A (zh) 基于定点数量化的遥感图像变化检测方法
CN115393735A (zh) 基于改进U-Net的遥感影像建筑物提取方法
CN113012158B (zh) 基于深度稠密网络与边缘距离图加权的图像协同分割方法
Yu et al. Precise segmentation of remote sensing cage images based on SegNet and voting mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination