CN114511644B - 一种基于深度学习的自适应数字伪装方法 - Google Patents

一种基于深度学习的自适应数字伪装方法 Download PDF

Info

Publication number
CN114511644B
CN114511644B CN202210069098.0A CN202210069098A CN114511644B CN 114511644 B CN114511644 B CN 114511644B CN 202210069098 A CN202210069098 A CN 202210069098A CN 114511644 B CN114511644 B CN 114511644B
Authority
CN
China
Prior art keywords
convolution
camouflage
gating
deep learning
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210069098.0A
Other languages
English (en)
Other versions
CN114511644A (zh
Inventor
张静
霍一博
杜晓辉
刘娟秀
刘霖
刘永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210069098.0A priority Critical patent/CN114511644B/zh
Publication of CN114511644A publication Critical patent/CN114511644A/zh
Application granted granted Critical
Publication of CN114511644B publication Critical patent/CN114511644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的自适应数字伪装方法，属于图像处理领域。本发明通过摄像头等装置不断扫描周围环境背景，利用空间信息和视频前后帧之间的联系，快速分析计算出伪装目标所在位置应有的环境背景状态，对伪装目标进行实时像素级伪装，达到视觉隐身的效果。该技术能够对静止物体和运动物体实现良好的伪装，对于自然探索、潜伏侦查、国家安防和科学研究都具有十分重大的意义。

Description

一种基于深度学习的自适应数字伪装方法
技术领域
本发明属于图像处理领域，具体来说是一种可以通过周围环境的颜色信息对伪装目标进行计算最佳伪装颜色的一种技术，能够保证伪装目标有着极大的隐蔽性。
背景技术
传统的数码迷彩生成方法的实现步骤较为繁琐，通常需要经过背景主色提取和斑块提取来生成数码迷彩斑块，最后在生成的斑块上进行色彩的填充来完成整个数码迷彩伪装生成的过程。尽管传统方法生成的数码迷彩应用广泛，但由于人眼的视觉暂留效应，这种方法在伪装物体运动的过程中无法实现良好伪装，而自适应数字伪装技术可以弥补这样的缺陷，能够使伪装物体在运动中也能实现良好的伪装效果。本文提出了一种基于深度学习的自适应数字伪装算法，实现了端到端的自适应数字伪装的生成。本文提出的方法利用深度神经网络从参考帧中提取时间和空间信息，能在伪装物体运动过程中实现良好伪装。
发明内容
本发明为克服在待伪装目标运动的过程中，数码迷彩无法保证运动待伪装目标的良好伪装的问题，并对于此提出了解决方案，通过摄像头等设备采集待伪装目标周围的环境信息，时刻为运动待伪装目标计算出与周围环境最相似的伪装色彩，实现快速高效的目的，同时也为提高自适应数字伪装技术的进一步研究打下坚实基础。
为了实现上述目的，本发明采用的技术方案如下：一种基于深度学习的自适应数字伪装方法，该方法包括：
步骤1：通过摄像头拍摄出当前待伪装目标周围的环境信息视频，获取出最接近当前时间视频图像；
步骤2：对这六帧的视频图像进行制作掩膜信息，使得伪装目标在掩膜视频图像中是黑色，环境信息在掩膜视频图像中是白色；
步骤3：将步骤1得到的颜色信息和步骤2得到的掩膜信息作为输入，送到基于深度学习的自适应伪装网络中；
步骤4：利用提前训练好的深度学习神经网络权重对步骤3得到的输入进行计算，得到基于深度学习的自适应伪装算法的结果；
步骤5：将结果进行提取，得到当前这一帧的伪装色彩信息，然后利用待伪装目标的可变色超材料和柔性OLED进行色彩伪装；
步骤6：本时刻伪装结束，重复步骤1-5一直到完成伪装任务；
所述深度学习的自适应伪装网络包括编码器和解码器，一共有17层；其中编码器一共有12层，首先是6层串行的具有不同卷积核的时空门控卷积模块，然后是4层串行的空洞卷积模块，最后是2层串行的时空门控卷积模块；解码器一共有5层，依次为转置卷积模块、门控卷积模块、转置卷积模块、门控卷积模块、门控卷积模块；
所述时空门控卷积模块是件输入的连续帧图像同时采用门控卷积和时空卷积相结合的方式得到结果；所述门控卷积是将原输入使用卷积运算得到一个分支的结果，再将原输入用相同卷积方式和sigmoid激活函数进行特征选择得到另一个分支的结果，然后两个分支的结果进行相乘就是时空门控卷积的输出；所述时空卷积是将连续的多帧图像中的通道数的前四分之一部门整体往后移动一帧，空余出来的第一帧用0填充，再对接下来的四分之一向前移动一帧，空余出来的最后一帧的信息补零，最后剩余的二分之一部分保持不变；再使用二维卷积对处理后的连续多帧图像进行特征提取，然后合并特征信息；
所述空洞卷积模块是使用卷积核将输入连续帧图像进行等间隔采样；
所述转置卷积模块时将输入图像的四边补零，然后将卷积核旋转180°，再进行卷积。
进一步的，所述步骤1中获取出最接近当前时间的六十帧的周围环境的颜色信息，对这六十帧的视频图像进行等间隔抽样，抽样间隔是十帧，最后得到6帧视频图像，采用这6帧图像进行后续处理。
本发明为克服在待伪装目标运动的过程中，数码迷彩无法保证运动待伪装目标的良好伪装的问题，并对于此提出了解决方案，通过摄像头等设备采集待伪装目标周围的环境信息，时刻为运动待伪装目标计算出与周围环境最相似的伪装色彩，实现快速高效的目的，同时也为提高自适应数字伪装技术的进一步研究打下坚实基础。
为了满足实时性的要求，本发明采用时空门控卷积来代替3D卷积，能够有效的减少运算参数；在神经网络的后半部分，采用转置卷积和门控卷积这种2D卷积模块，只对当前帧的图像进行解码生成，能够最大程度的降低神经网络的参数量，减少运算时间。根据实验证明，在CPU为AMD ryzen-5 [email protected],显卡为NVIDIA GeTorce GTX 1660Ti GPU，内存为16G RAM的计算机条件下，其运算速度可达12帧/秒以上。
附图说明
图1为自适应数字伪装技术的流程图。
图2为本发明的深度学习网络结构。
图3是本发明一次实验的伪装的结果图。
具体实施方式
下面结合附图和实例对本发明做进一步的详细说明，但是本发明的实施方式并不局限于此。
本发明算法流程图如图1所示，一种基于深度学习的自适应数字伪装方法，具体的来说，包括以下步骤：
步骤1：通过摄像头拍摄出当前待伪装目标周围的环境信息视频，获取出最接近当前时间的六十帧的周围环境的颜色信息，对这六十帧的视频图像进行等间隔抽样，抽样间隔是十帧，最后得到六帧视频图像；
步骤2：对这六帧的视频图像进行制作掩膜信息，使得伪装目标在掩膜视频图像中是黑色(像素为0)，环境信息在掩膜视频图像中是白色(像素为255)；
步骤3：将步骤1得到的颜色信息和步骤2得到的掩膜信息作为输入，送到基于深度学习的自适应伪装算法中；
步骤4：利用提前训练好的深度学习神经网络权重对步骤3得到的输入进行计算，得到基于深度学习的自适应伪装算法的结果；
步骤5：将结果进行提取，得到当前这一帧的伪装色彩信息，然后利用待伪装目标的可变色超材料和柔性OLED进行色彩伪装。
步骤6：本时刻伪装结束，重复步骤1-5一直到完成伪装任务。
对于具体实施方案中步骤3的基于深度学习的自适应伪装算法，该算法需要详细介绍：
a.对于该算法总体结构的介绍。该算法是一种端到端的卷积神经网络，主要由空洞卷积，时空门控卷积和转置卷积组成。该算法结构采用编码器解码器结构，一共有17层，其中编码器一共有12层，首先是6层串行的具有不同卷积核的时空门控卷积模块，然后是2层串行的空洞卷积模块，最后是2层串行的时空门控卷积模块.解码器一共有5层，分别为转置卷积模块、门控卷积模块、转置卷积模块、门控卷积模块、门控卷积模块。
b.对于空洞卷积的介绍
空洞卷积是一种使用卷积核将输入矩阵等间隔采样的卷积方式。空洞卷积有两大作用，第一是能在不降低空间分辨率的同时扩大感受野。第二是能够捕获多尺度上下文信息。
c.对于时空门控卷积的介绍
时空门控卷积是由时空卷积和门控部分组成。时空卷积是将通道信息的前四分之一整体往后移动一帧，第一帧用0填充；再对四分之一向前移动一帧，最后一帧的信息补零，最后二分之一部分保持不变，然后再使用二维卷积进行特征提取然后合并特征信息。门控卷积是将输入分为两部分，一部分采用时空卷积方式等卷积方式，另一部分在使用这种卷积后再使用sigmoid激活函数进行特征选择，然后两部分的结果进行相乘就是时空门控卷积的输出。
Gatingy,x＝∑∑Wg*I
TsmFeaturey,x＝∑∑Wf*I
Figure BDA0003481350140000041
其中，Γ是sigmoid函数，只输出0和1，0表示无效位置，1表示有效位置。
Figure BDA0003481350140000042
是激活函数，可以是ReLU或者ELU等等。Wf和Wg表示两种不同的时空卷积核。
d.对于转置卷积的介绍
转置卷积是一种特殊的卷积方式，它可以输出比输入尺寸大的信息，往往用于进行图像上采样。转置卷积的操作是先将输入四边补零，然后将卷积核旋转180°，再进行普通卷积得到最终的输出。

Claims (2)

1.一种基于深度学习的自适应数字伪装方法，该方法包括：
步骤1：通过摄像头拍摄出当前待伪装目标周围的环境信息视频，获取出最接近当前时间视频图像；
步骤2：对视频图像进行制作掩膜信息，使得伪装目标在掩膜视频图像中是黑色，环境信息在掩膜视频图像中是白色；
步骤3：将步骤1得到的视频图像和步骤2得到的掩膜信息作为输入，送到基于深度学习的自适应伪装网络中；
步骤4：利用提前训练好的深度学习神经网络权重对步骤3得到的输入进行计算，得到基于深度学习的自适应伪装算法的结果；
步骤5：将结果进行提取，得到当前这一帧的伪装色彩信息，然后利用待伪装目标的可变色超材料和柔性OLED进行色彩伪装；
步骤6：本时刻伪装结束，重复步骤1-5一直到完成伪装任务；
所述深度学习的自适应伪装网络包括编码器和解码器，一共有17层；其中编码器一共有12层，首先是6层串行的具有不同卷积核的时空门控卷积模块，然后是4层串行的空洞卷积模块，最后是2层串行的时空门控卷积模块；解码器一共有5层，依次为转置卷积模块、门控卷积模块、转置卷积模块、门控卷积模块、门控卷积模块；
所述时空门控卷积模块是将输入的连续帧图像同时采用门控卷积和时空卷积相结合的方式得到结果；所述门控卷积是将原输入使用卷积运算得到一个分支的结果，再将原输入用相同卷积方式和sigmoid激活函数进行特征选择得到另一个分支的结果，然后两个分支的结果进行相乘就是时空门控卷积的输出；所述时空卷积是将连续的多帧图像中的通道数的前四分之一部门整体往后移动一帧，空余出来的第一帧用0填充，再对接下来的四分之一向前移动一帧，空余出来的最后一帧的信息补零，最后剩余的二分之一部分保持不变；再使用二维卷积对处理后的连续多帧图像进行特征提取，然后合并特征信息；
所述空洞卷积模块是使用卷积核将输入连续帧图像进行等间隔采样；
所述转置卷积模块是将输入图像的四边补零，然后将卷积核旋转180°，再进行卷积。
2.如权利要求1所述的一种基于深度学习的自适应数字伪装方法，其特征在于，所述步骤1中获取出最接近当前时间的六十帧的周围环境的颜色信息，对这六十帧的视频图像进行等间隔抽样，抽样间隔是十帧，最后得到6帧视频图像，采用这6帧图像进行后续处理。
CN202210069098.0A 2022-01-21 2022-01-21 一种基于深度学习的自适应数字伪装方法 Active CN114511644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210069098.0A CN114511644B (zh) 2022-01-21 2022-01-21 一种基于深度学习的自适应数字伪装方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210069098.0A CN114511644B (zh) 2022-01-21 2022-01-21 一种基于深度学习的自适应数字伪装方法

Publications (2)

Publication Number Publication Date
CN114511644A CN114511644A (zh) 2022-05-17
CN114511644B true CN114511644B (zh) 2023-06-09

Family

ID=81549781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210069098.0A Active CN114511644B (zh) 2022-01-21 2022-01-21 一种基于深度学习的自适应数字伪装方法

Country Status (1)

Country Link
CN (1) CN114511644B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376236A (zh) * 2014-12-02 2015-02-25 上海出版印刷高等专科学校 基于伪装学的方案自适应数字水印嵌入方法及提取方法
CN110245598A (zh) * 2019-06-06 2019-09-17 北京瑞莱智慧科技有限公司 对抗样本生成方法、装置、介质和计算设备
WO2020037965A1 (zh) * 2018-08-21 2020-02-27 北京大学深圳研究生院 一种用于视频预测的多运动流深度卷积网络模型方法
CN112733744A (zh) * 2021-01-14 2021-04-30 北京航空航天大学 一种基于边缘协同监督与多级约束的伪装物体检测模型
CN113538505A (zh) * 2021-06-17 2021-10-22 杭州电子科技大学 一种基于深度学习的单张图片的运动估计***及方法
WO2021244079A1 (zh) * 2020-06-02 2021-12-09 苏州科技大学 智能家居环境中图像目标检测方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4143655B2 (ja) * 2005-11-24 2008-09-03 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体、システム
CN104835104B (zh) * 2014-02-07 2017-11-03 湖南第一师范学院 基于分形的数字图像主动伪装方案
GB2532458B (en) * 2014-11-19 2018-04-18 Folium Optics Ltd Adaptive camouflage device, system and method
US10282628B1 (en) * 2016-04-08 2019-05-07 Joshua LaRue System for producing camouflage pattern based upon perception machine vision
US10776923B2 (en) * 2018-06-21 2020-09-15 International Business Machines Corporation Segmenting irregular shapes in images using deep region growing
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和***
CN110348319B (zh) * 2019-06-18 2021-05-04 武汉大学 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN111292220B (zh) * 2020-01-19 2021-09-28 西北工业大学 面向合成孔径雷达目标图像识别的靶向伪装图像生成方法
CN111142081B (zh) * 2020-04-07 2021-02-26 湖南赛博诺格电子科技有限公司 一种基于数字编码超表面的雷达自适应伪装方法
CN112288647B (zh) * 2020-10-13 2022-06-03 武汉大学 一种基于门控卷积的遥感影像云和阴影修复的方法
CN112446357B (zh) * 2020-12-15 2022-05-03 电子科技大学 一种基于胶囊网络的sar自动目标识别方法
CN112801895B (zh) * 2021-01-15 2022-10-14 南京邮电大学 一种基于二阶段注意力机制gan网络图像修复算法
CN112801914A (zh) * 2021-02-09 2021-05-14 北京工业大学 一种基于纹理结构感知的二段式图像修复方法
CN113450561B (zh) * 2021-05-06 2022-05-24 浙江工业大学 一种基于时空图卷积-生成对抗网络的交通速度预测方法
CN113507625B (zh) * 2021-06-22 2022-08-19 西安理工大学 一种自适应视频修复方法
CN113298736B (zh) * 2021-06-24 2022-03-04 河北工业大学 一种基于面部样式的人脸图像修复方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376236A (zh) * 2014-12-02 2015-02-25 上海出版印刷高等专科学校 基于伪装学的方案自适应数字水印嵌入方法及提取方法
WO2020037965A1 (zh) * 2018-08-21 2020-02-27 北京大学深圳研究生院 一种用于视频预测的多运动流深度卷积网络模型方法
CN110245598A (zh) * 2019-06-06 2019-09-17 北京瑞莱智慧科技有限公司 对抗样本生成方法、装置、介质和计算设备
WO2021244079A1 (zh) * 2020-06-02 2021-12-09 苏州科技大学 智能家居环境中图像目标检测方法
CN112733744A (zh) * 2021-01-14 2021-04-30 北京航空航天大学 一种基于边缘协同监督与多级约束的伪装物体检测模型
CN113538505A (zh) * 2021-06-17 2021-10-22 杭州电子科技大学 一种基于深度学习的单张图片的运动估计***及方法

Also Published As

Publication number Publication date
CN114511644A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN109544448B (zh) 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN111340708A (zh) 一种根据先验信息快速生成高分辨率完整人脸图像的方法
CN113096017A (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN110889370B (zh) 基于条件生成对抗网络的端对端的侧面人脸合成正脸的***及方法
CN112001843A (zh) 一种基于深度学习的红外图像超分辨率重建方法
CN110717868A (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN112288630A (zh) 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及***
Wang et al. Underwater image super-resolution and enhancement via progressive frequency-interleaved network
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN114511644B (zh) 一种基于深度学习的自适应数字伪装方法
CN112435165B (zh) 基于生成对抗网络的两阶段视频超分辨率重建方法
CN113313133A (zh) 一种生成对抗网络的训练方法、动画图像生成方法
CN111222515A (zh) 一种基于上下文感知注意力的图像翻译方法
CN116433516A (zh) 一种基于注意力机制的低照度图像去噪增强方法
CN111861877A (zh) 视频超分变率的方法和装置
Zhang et al. Research on image super-resolution reconstruction based on deep learning
CN115512039A (zh) 一种3d人脸构建方法
CN114582002A (zh) 一种结合注意力模块与二阶池化机制的人脸表情识别方法
Xu et al. Joint super-resolution and inverse tone-mapping: A feature decomposition aggregation network and a new benchmark
CN113658057B (zh) 一种Swin Transformer微光图像增强方法
CN117635478B (zh) 一种基于空间通道注意力的低光照图像增强方法
Li et al. GAMSNet: Deblurring via Generative Adversarial and Multi-Scale Networks
Terai et al. Comparative study of Video/Image denoising algorithms based on Convolutional neural network CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant