CN109784183B - 基于级联卷积网络和光流的视频显著性目标检测方法 - Google Patents
基于级联卷积网络和光流的视频显著性目标检测方法 Download PDFInfo
- Publication number
- CN109784183B CN109784183B CN201811542535.6A CN201811542535A CN109784183B CN 109784183 B CN109784183 B CN 109784183B CN 201811542535 A CN201811542535 A CN 201811542535A CN 109784183 B CN109784183 B CN 109784183B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- significance
- convolution
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于级联卷积网络和光流的视频显著性目标检测方法,利用级联网络结构,在高、中、低三个尺度上分别对当前帧的图像进行像素级的显著性预测。使用MSAR10K图像数据集训练级联网络结构,显著性标注图作为训练的监督信息,损失函数为交叉熵损失函数。训练终止后,利用训练好的级联网络对视频中的每一帧图像进行静态显著性预测。利用经典的Locus‑Kanada算法进行光流场提取。然后使用三层卷积网络结构构建动态优化网络结构。将每一帧图像的静态检测结果和光流场检测结果进行拼接得到优化网络的输入数据。使用Davis视频数据集优化网络,利用静态检测结果和光流信息对视频帧进行像素点级的显著性分类。
Description
技术领域
本发明属于图像处理领域,涉及一种基于级联卷积网络和光流的视频显著性目标检测方法。
背景技术
近年来所提出的大量图像显著性目标检测的算法都是基于一种自底向上或自顶向下的框架且主要依赖人工特征,但是基于视频显著性目标检测的算法相对较少。视频显著性目标检测与图像显著性目标检测的最大不同是:图像显著性目标检测可以假设人眼视觉注意力机制的焦点位于图像中心,但是对于视频显著性目标检测而言,人的视觉注意力会随着显著性目标的移动而变化。如果简单地把图像显著性目标检测的算法用于处理视频显著性目标检测,无法充分利用视频中显著性目标的运动信息。
文献“deep learning based video salient object detection”提出一种基于深度学习的视频显著性目标检测算法。作者利用全卷积网络提取帧内的显著性信息和帧间运动信息,对静态图像的检测结果进行优化。该算法的主要优势是:1)利用深度学习的特征代替人工特征;2)通过迁移学习的思想解决训练数据缺乏的问题。但此方法中,静态与动态显著性目标检测均使用同样的深层全卷积网络结构,计算复杂性高,速度慢;且显著性图粒度不够精细,容易丢失边缘信息。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,提高视频显著性目标检测的高效性和准确性,本发明提出了一种基于级联卷积网络和光流的视频显著性目标检测方法。
技术方案
一种基于级联卷积网络和光流的视频显著性目标检测方法,其特征在于步骤如下:
步骤1:构建级联网络结构
对原始图像进行下采样,得到三个不同尺度的图像,分别是高尺度-原图像,中尺度-下采样2倍的图像,和低尺度-下采样4倍的图像;低尺度图像,经过5个卷积块,每个卷积块包含3个卷积层,前三个卷积块最后一层各包含一个步长为2的池化层,得到下采样32倍的特征图F1,F1经过2倍上采样和SoftMax层得到低尺度图像的显著性图S1;中尺度的图像,经过3个卷积块,每个卷积块包含3个卷积层和一个步长为2的池化层,再经过一个步长为2的空洞卷积层,得P2,将P2与特征图F1相加得一个下采样16倍的特征图F2,F2经过2倍上采样和SoftMax层得到中尺度图像的显著性图S2;原图像经过3个步长为2的卷积层和一个步长为2的空洞卷积层,得到P3,将P3与特征图F2相加得到一个8倍下采样的特征图F3,F3经过一个2倍的上采样层和SoftMax层得到一个高尺度的显著性图S3;最后,对S3进行4倍上采样得到与原图相同大小的预测结果;
步骤2:训练网络结构
将MSRA10K数据集作为训练数据,对每一幅图像从低、中、高三个尺度上进行分类,得到下采样为16倍、8倍、4倍的特征图,再通过上采样的4倍、2倍、2倍得到对应的显著性图;然后分别计算这些显著性图与显著性标注图、标注图、标注图之间的误差,最后利用反向传播算法更新模型的参数;采用分批次进行训练,每一批次称作一个batch,计算误差时所用的代价函数如下:
其中,N表示样本个数,yi表示第i个像素点对应的真值,si表示网络的输入,θ表示网络的参数;首先,分别在高、中、低三个尺度上计算损失L1、L2、L3,总的损失函数表示为:
L=λ1L1+λ2L2+λ3L3 (2)
其中,λ1、λ2、λ3分别为1、0.4、0.16;其次,使用梯度下降法更新模型参数,先求代价函数L对卷积核W及偏置b的偏导数,再对卷积核和偏置按如下公式进行调整:
其中,η1,η2为学习率,最后,在模型训练过程中,当验证集的误差开始由逐渐减小变成逐渐增大时,即可视为整个网络已经过拟合,此时停止训练;
步骤3:静态显著性检测结果
利用训练好的级联网络对待测样本Im×n中的每个像素点进行显著或非显著的二分类,得到静态的显著性检测结果Sm×n,其中m,n分别对应图像的长和宽;
步骤4:利用光流法提取运动信息
先对图像进行2倍下采样,然后使用经典的Locus-Kanada算法进行光流信息提取;
步骤5:动静信息融合
构建一个三层卷积网络融合静态和动态信息,其中网络的输入为静态显著性检测图Sm×n和动态光流图Gm×n×3的拼接结果S·Gm×n×4;
步骤6:训练动态优化网络
使用Davis2017训练数据集中的80个片段作为训练数据,将训练样本送入网络得到显著性预测图,计算显著性预测图和显著性标注图之间的误差,利用步骤2中的方法更新模型参数;
步骤7:得到动态优化的显著性检测结果
使用级联网络对测试视频的每一帧图像进行静态显著性检测,并通过Locus-Kanada方法计算相邻两帧之间的光流信息,将得到的静态显著性检测结果和动态光流图作为动态优化网络的输入,对每一个像素点进行二分类,得到显著性分类的概率,即可视为显著性预测值。
步骤2中的η1=0.0001,η2=0.0001。
有益效果
本发明提出的一种基于级联卷积网络和光流的视频显著性目标检测方法,本发明使用级联网络结构的多尺度特点,对视频的每帧图像进行静态预测,提高了检测速度;又通过构建动态优化网络,将静态预测结果和视频运动的光流信息充分结合,使得到的显著性图粒度更细,边缘更加清晰。
附图说明
图1基于卷积网络的视频显著性目标检测流程图
图2静态检测结构图
图3动态优化检测结构图
具体实施方式
现结合实施例、附图对本发明作进一步描述:
步骤1构建级联网络结构
对原始图像进行下采样,得到三个不同尺度的图像,分别是原图像(高尺度),下采样2倍的图像(中尺度),和下采样4倍的图像(低尺度)。低尺度图像,经过5个卷积块,每个卷积块包含3个卷积层,前三个卷积块最后一层各包含一个步长为2的池化层,得到下采样32倍的特征图F1,F1经过2倍上采样和SoftMax层得到低尺度图像的显著性图S1;中尺度的图像,经过3个卷积块,每个卷积块包含3个卷积层和一个步长为2的池化层,再经过一个步长为2的空洞卷积层,得到P2。将P2与特征图F1相加得一个下采样16倍的特征图F2,F2经过2倍上采样和SoftMax层得到中尺度图像的显著性图S2;原图像经过3个步长为2的卷积层和一个步长为2的空洞卷积层,得到P3,将P3与特征图F2相加得到一个8倍下采样的特征图F3,F3经过一个2倍的上采样层和SoftMax层得到一个高尺度的显著性图S3。最后,对S3进行4倍上采样得到与原图相同大小的预测结果。
步骤2训练网络结构
将MSRA10K数据集作为训练数据,对每一幅图像从低、中、高三个尺度上进行分类,得到下采样为16倍、8倍、4倍的特征图,再通过上采样的4倍、2倍、2倍得到对应的显著性图;然后分别计算这些显著性图与显著性标注图、标注图、标注图之间的误差,最后利用反向传播算法更新模型的参数。由于训练样本量较大,采用分批次进行训练,每一批次称作一个batch。计算误差时所用的代价函数如下:
其中,N表示样本个数,yi表示第i个像素点对应的真值,si表示网络的输入,θ表示网络的参数。首先,分别在高、中、低三个尺度上计算损失L1、L2、L3,总的损失函数表示为:
L=λ1L1+λ2L2+λ3L3 (2)
其中,λ1、λ2、λ3分别为1、0.4、0.16。其次,使用梯度下降法更新模型参数,先求代价函数L对卷积核W及偏置b的偏导数,再对卷积核和偏置按如下公式进行调整:
其中η1,η2为学习率,在本方法中η1=0.0001,η2=0.0002。最后,在模型训练过程中,当验证集的误差开始由逐渐减小变成逐渐增大时,即可视为整个网络已经过拟合,此时停止训练。
步骤3静态显著性检测结果
模型训练终止后,利用训练好的级联网络对待测样本Im×n中的每个像素点进行显著或非显著的二分类,得到静态的显著性检测结果Sm×n,其中m,n分别对应图像的长和宽。
步骤4利用光流法提取运动信息
由于提取光流信息耗时较大,本发明中先对图像进行2倍的下采样,然后使用经典的Locus-Kanada算法进行光流信息提取。
步骤5动静信息融合
构建一个三层卷积网络融合静态和动态信息,其中网络的输入为静态显著性检测图Sm×n和动态光流图Gm×n×3的拼接结果S·Gm×n×4。
步骤6训练动态优化网络
使用Davis2017训练数据集中的80个片段作为训练数据,将训练样本送入网络得到显著性预测图,计算显著性预测图和显著性标注图之间的误差,利用步骤2中的方法更新模型参数。
步骤7得到动态优化的显著性检测结果
使用级联网络对测试视频的每一帧图像进行静态显著性检测,并通过Locus-Kanada方法计算相邻两帧之间的光流信息,将得到的静态显著性检测结果和动态光流图作为动态优化网络的输入,对每一个像素点进行二分类,得到显著性分类的概率,即可视为显著性预测值。
Claims (2)
1.一种基于级联卷积网络和光流的视频显著性目标检测方法,其特征在于步骤如下:
步骤1:构建级联网络结构
对原始图像进行下采样,得到三个不同尺度的图像,分别是高尺度-原图像,中尺度-下采样2倍的图像,和低尺度-下采样4倍的图像;低尺度图像,经过5个卷积块,每个卷积块包含3个卷积层,前三个卷积块最后一层各包含一个步长为2的池化层,得到下采样32倍的特征图F1,F1经过2倍上采样和SoftMax层得到低尺度图像的显著性图S1;中尺度的图像,经过3个卷积块,每个卷积块包含3个卷积层和一个步长为2的池化层,再经过一个步长为2的空洞卷积层,得P2,将P2与特征图F1相加得一个下采样16倍的特征图F2,F2经过2倍上采样和SoftMax层得到中尺度图像的显著性图S2;原图像经过3个步长为2的卷积层和一个步长为2的空洞卷积层,得到P3,将P3与特征图F2相加得到一个8倍下采样的特征图F3,F3经过一个2倍的上采样层和SoftMax层得到一个高尺度的显著性图S3;最后,对S3进行4倍上采样得到与原图相同大小的预测结果;
步骤2:训练网络结构
将MSRA10K数据集作为训练数据,对每一幅图像从低、中、高三个尺度上进行分类,得到下采样为16倍、8倍、4倍的特征图,再通过上采样的4倍、2倍、2倍得到对应的显著性图;然后分别计算这些显著性图与显著性标注图、标注图、标注图之间的误差,最后利用反向传播算法更新模型的参数;采用分批次进行训练,每一批次称作一个batch,计算误差时所用的代价函数如下:
其中,N表示样本个数,yi表示第i个像素点对应的真值,si表示网络的输入,θ表示网络的参数;首先,分别在高、中、低三个尺度上计算损失L1、L2、L3,总的损失函数表示为:
L=λ1L1+λ2L2+λ3L3 (2)
其中,λ1、λ2、λ3分别为1、0.4、0.16;其次,使用梯度下降法更新模型参数,先求代价函数L对卷积核W及偏置b的偏导数,再对卷积核和偏置按如下公式进行调整:
其中,η1,η2为学习率,最后,在模型训练过程中,当验证集的误差开始由逐渐减小变成逐渐增大时,即可视为整个网络已经过拟合,此时停止训练;
步骤3:静态显著性检测结果
利用训练好的级联网络对待测样本Im×n中的每个像素点进行显著或非显著的二分类,得到静态的显著性检测结果Sm×n,其中m,n分别对应图像的长和宽;
步骤4:利用光流法提取运动信息
先对图像进行2倍下采样,然后使用经典的Locus-Kanada算法进行光流信息提取;
步骤5:动静信息融合
构建一个三层卷积网络融合静态和动态信息,其中网络的输入为静态显著性检测图Sm×n和动态光流图Gm×n×3的拼接结果S·Gm×n×4;
步骤6:训练动态优化网络
使用Davis2017训练数据集中的80个片段作为训练数据,将训练样本送入网络得到显著性预测图,计算显著性预测图和显著性标注图之间的误差,利用步骤2中的方法更新模型参数;
步骤7:得到动态优化的显著性检测结果
使用级联网络对测试视频的每一帧图像进行静态显著性检测,并通过Locus-Kanada方法计算相邻两帧之间的光流信息,将得到的静态显著性检测结果和动态光流图作为动态优化网络的输入,对每一个像素点进行二分类,得到显著性分类的概率,即可视为显著性预测值。
2.根据权利要求1所述的一种基于级联卷积网络和光流的视频显著性目标检测方法,其特征在于步骤2中的η1=0.0001,η2=0.0001。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811542535.6A CN109784183B (zh) | 2018-12-17 | 2018-12-17 | 基于级联卷积网络和光流的视频显著性目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811542535.6A CN109784183B (zh) | 2018-12-17 | 2018-12-17 | 基于级联卷积网络和光流的视频显著性目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109784183A CN109784183A (zh) | 2019-05-21 |
CN109784183B true CN109784183B (zh) | 2022-07-19 |
Family
ID=66497131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811542535.6A Active CN109784183B (zh) | 2018-12-17 | 2018-12-17 | 基于级联卷积网络和光流的视频显著性目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109784183B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110210539B (zh) * | 2019-05-22 | 2022-12-30 | 西安电子科技大学 | 多级深度特征融合的rgb-t图像显著性目标检测方法 |
CN110263732B (zh) * | 2019-06-24 | 2022-01-21 | 京东方科技集团股份有限公司 | 多尺度目标检测方法及装置 |
CN112149459B (zh) * | 2019-06-27 | 2023-07-25 | 哈尔滨工业大学(深圳) | 一种基于交叉注意力机制的视频显著性物体检测模型及*** |
CN110909594A (zh) * | 2019-10-12 | 2020-03-24 | 杭州电子科技大学 | 一种基于深度融合的视频显著性检测方法 |
CN112446292B (zh) * | 2020-10-28 | 2023-04-28 | 山东大学 | 一种2d图像显著目标检测方法及*** |
CN112989958A (zh) * | 2021-02-22 | 2021-06-18 | 哈工大机器人集团(无锡)科创基地研究院 | 基于YOLOv4与显著性检测的安全帽佩戴识别方法 |
CN113139431B (zh) * | 2021-03-24 | 2024-05-03 | 杭州电子科技大学 | 基于深监督学习的图像显著性目标检测方法 |
CN113393435B (zh) * | 2021-06-11 | 2023-12-26 | 大连理工大学 | 一种基于动态上下文感知滤波网络的视频显著性检测方法 |
CN113591708B (zh) * | 2021-07-30 | 2023-06-23 | 金陵科技学院 | 基于星载高光谱图像的气象灾害监测方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050477A (zh) * | 2014-06-27 | 2014-09-17 | 西北工业大学 | 基于道路辅助信息和显著性检测的红外图像车辆检测方法 |
EP2966591A1 (en) * | 2014-07-08 | 2016-01-13 | Nokia Technologies Oy | Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information |
CN105427292A (zh) * | 2015-11-11 | 2016-03-23 | 南京邮电大学 | 一种基于视频的显著目标检测方法 |
CN106447658A (zh) * | 2016-09-26 | 2017-02-22 | 西北工业大学 | 基于全局和局部卷积网络的显著性目标检测方法 |
CN106611427A (zh) * | 2015-10-21 | 2017-05-03 | 中国人民解放军理工大学 | 基于候选区域融合的视频显著性检测方法 |
CN106709472A (zh) * | 2017-01-17 | 2017-05-24 | 湖南优象科技有限公司 | 一种基于光流特征的视频目标检测与跟踪方法 |
CN107146240A (zh) * | 2017-05-05 | 2017-09-08 | 西北工业大学 | 基于相关滤波和显著性检测的航拍视频目标跟踪方法 |
CN107705324A (zh) * | 2017-10-20 | 2018-02-16 | 中山大学 | 一种基于机器学习的视频目标检测方法 |
CN107967695A (zh) * | 2017-12-25 | 2018-04-27 | 北京航空航天大学 | 一种基于深度光流和形态学方法的运动目标检测方法 |
CN108256562A (zh) * | 2018-01-09 | 2018-07-06 | 深圳大学 | 基于弱监督时空级联神经网络的显著目标检测方法及*** |
CN108280844A (zh) * | 2018-02-05 | 2018-07-13 | 厦门大学 | 一种基于区域候选框跟踪的视频目标定位方法 |
CN108875555A (zh) * | 2018-04-25 | 2018-11-23 | 中国人民解放军军事科学院军事医学研究院 | 基于神经网络的视频兴趣区域和显著目标提取与定位*** |
-
2018
- 2018-12-17 CN CN201811542535.6A patent/CN109784183B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050477A (zh) * | 2014-06-27 | 2014-09-17 | 西北工业大学 | 基于道路辅助信息和显著性检测的红外图像车辆检测方法 |
EP2966591A1 (en) * | 2014-07-08 | 2016-01-13 | Nokia Technologies Oy | Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information |
CN106611427A (zh) * | 2015-10-21 | 2017-05-03 | 中国人民解放军理工大学 | 基于候选区域融合的视频显著性检测方法 |
CN105427292A (zh) * | 2015-11-11 | 2016-03-23 | 南京邮电大学 | 一种基于视频的显著目标检测方法 |
CN106447658A (zh) * | 2016-09-26 | 2017-02-22 | 西北工业大学 | 基于全局和局部卷积网络的显著性目标检测方法 |
CN106709472A (zh) * | 2017-01-17 | 2017-05-24 | 湖南优象科技有限公司 | 一种基于光流特征的视频目标检测与跟踪方法 |
CN107146240A (zh) * | 2017-05-05 | 2017-09-08 | 西北工业大学 | 基于相关滤波和显著性检测的航拍视频目标跟踪方法 |
CN107705324A (zh) * | 2017-10-20 | 2018-02-16 | 中山大学 | 一种基于机器学习的视频目标检测方法 |
CN107967695A (zh) * | 2017-12-25 | 2018-04-27 | 北京航空航天大学 | 一种基于深度光流和形态学方法的运动目标检测方法 |
CN108256562A (zh) * | 2018-01-09 | 2018-07-06 | 深圳大学 | 基于弱监督时空级联神经网络的显著目标检测方法及*** |
CN108280844A (zh) * | 2018-02-05 | 2018-07-13 | 厦门大学 | 一种基于区域候选框跟踪的视频目标定位方法 |
CN108875555A (zh) * | 2018-04-25 | 2018-11-23 | 中国人民解放军军事科学院军事医学研究院 | 基于神经网络的视频兴趣区域和显著目标提取与定位*** |
Non-Patent Citations (4)
Title |
---|
A Survey of Optical Carrier Generation Techniques for Terabit Capacity Elastic Optical Networks;Muhammad Imran等;《IEEE Communications Surveys & Tutorials 》;20171117;第20卷(第1期);第211-263页 * |
Salient Feature Detection for optical flow computation;Jiaoru Yang等;《2016 IEEE Chinese Guidance, Navigation and Control Conference (CGNCC)》;20170123;第2473-2476页 * |
基于运动显著图的人群异常行为检测;胡学敏等;《计算机应用》;20180410;第38卷(第4期);第1164-1169页 * |
视觉注意机制下结合语义特征的行人检测;黎宁等;《中国图象图形学报》;20160630;第21卷(第6期);第723-733页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109784183A (zh) | 2019-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109784183B (zh) | 基于级联卷积网络和光流的视频显著性目标检测方法 | |
CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
CN110232394B (zh) | 一种多尺度图像语义分割方法 | |
CN108830855B (zh) | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 | |
CN111047551A (zh) | 一种基于U-net改进算法的遥感影像变化检测方法及*** | |
CN113505792B (zh) | 面向非均衡遥感图像的多尺度语义分割方法及模型 | |
CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
CN112581409B (zh) | 一种基于端到端的多重信息蒸馏网络的图像去雾方法 | |
CN113313706B (zh) | 基于检测参考点偏移分析的电力设备缺陷图像检测方法 | |
CN112101117A (zh) | 一种高速公路拥堵识别模型构建方法和装置及识别方法 | |
CN114898284B (zh) | 一种基于特征金字塔局部差异注意力机制的人群计数方法 | |
CN113780132A (zh) | 一种基于卷积神经网络的车道线检测方法 | |
CN114359297A (zh) | 基于注意力金字塔的多分辨率语义分割方法及装置 | |
US20240161531A1 (en) | Transformer-based multi-scale pedestrian re-identification method | |
CN114463340B (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 | |
CN115797349A (zh) | 一种缺陷检测方法、装置和设备 | |
CN114332075A (zh) | 基于轻量化深度学习模型的结构缺陷快速识别与分类方法 | |
CN112597996B (zh) | 基于任务驱动的自然场景中交通标志显著性检测方法 | |
CN115908464B (zh) | 一种舌体图像分割方法及*** | |
CN112418229A (zh) | 一种基于深度学习的无人船海上场景图像实时分割方法 | |
CN113192018B (zh) | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 | |
CN113344005B (zh) | 一种基于优化小尺度特征的图像边缘检测方法 | |
CN116071544A (zh) | 面向弱监督指向性视觉理解的图像描述预测方法 | |
CN115661539A (zh) | 一种嵌入不确定性信息的少样本图像识别方法 | |
CN113223006A (zh) | 一种基于深度学习的轻量级目标语义分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |