CN114627269A - 一种基于深度学***台 - Google Patents

一种基于深度学***台 Download PDF

Info

Publication number
CN114627269A
CN114627269A CN202210240851.8A CN202210240851A CN114627269A CN 114627269 A CN114627269 A CN 114627269A CN 202210240851 A CN202210240851 A CN 202210240851A CN 114627269 A CN114627269 A CN 114627269A
Authority
CN
China
Prior art keywords
image
channel
network
weather
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210240851.8A
Other languages
English (en)
Inventor
李南希
韩芳
王青云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202210240851.8A priority Critical patent/CN114627269A/zh
Publication of CN114627269A publication Critical patent/CN114627269A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学***台，属于智能安防检测领域。本发明的天气分类网络用于对输入图片进行天气分类，根据输出分类结果调用不同图像增强模型，图像增强模型包括暗光增强、去雨模型和去雾模型，对该部分模型进行了改进使其具有更好的处理效果并符合实时性应用需求。图像增强模型的输出将作为YOLOV5网络的输入进行目标检测，改进Yolov5目标检测网络的特征提取网络使其更加轻量化从而满足***实时性需求。***终端基于UE4引擎开发，提供三维虚拟界面，将算法模型部署在Web服务器，通过http协议将算法检测结果返回终端显示，直观的界面展示效果可以让安防人员更加快速查看和定位校园实时监控信息。

Description

一种基于深度学***台
技术领域
本发明属于智能安防检测的技术领域，尤其涉及基于深度学***台。
背景技术
校园安全日益成为社会关注的热点。传统校园安防手段主要分为人防和物防，通过人员巡逻和实体防范进行安防管理。随着科学技术的不断进步，技术防范成为传统安防手段的补充和延申，信息化技术和校园安防的高效结合是提升校园安防力度的重要一环。
传统校园安防监控管理***只是将实时监控画面在二维界面进行统一展示。这类***更适用于监控画面的回看，并不利于安防人员的实时巡检，无法有效提高校园安防管理效率。YOLO系列目标检测算法虽然具有较高的检测精度和检测速度，但无法很好适应于恶劣天气条件下和低光状态下的目标检测任务。基于UE4引擎搭建真实校园的虚拟场景，再利用改进的目标检测算法对实时监控视频进行目标检测，可适应于多种恶劣天气和低光条件下的目标检测任务，将实时视频数据回传至虚拟校园平台，从而可以在虚拟场景中进行实时监控的查看。***实时性高、界面展示直观且人机交互友好，有利于大规模应用。
基于BS架构的实时视频监控***利用网络IP摄像头采集实时视频数据，利用RTMP/RTSP协议将视频流传输给后台视频服务器，利用CGI、JavaScript技术实现多种智能终端登录浏览器显示监控画面。然而这类***只是进行简单的视频数据回传，未与深度学习算法进行融合，且界面展示效果单一。RCNN目标检测算法采用选择性搜索算法产生若甘个可能包含物体的区域，利用卷积神经网络进行特征提取，使用支持向量机分类器进行分类，最后采用边界框回归的方式进行准确定位。Ren等人提出的FasterR-CNN 算法在卷积层后添加区域提议网络代替选择性搜索算法，因此在速度上具有较大的提升。然而该系列目标检测算法虽然有较高的检测精度，但是仍存在计算冗余，不利于对实时性有较高要求的***应用。Yolo系列目标检测算法是单阶段目标检测算法，基于边界框的回归，在产生边界框的同时进行分类和回归，能够满足实时性要求。然而该系列目标检测算法对低分辨率图像检测效果较差，无法适应恶劣天气条件的目标检测需求。典型恶劣天气条件下高铁周界入侵目标检测——基于深度学习的图像处理方法[柳青红.典型恶劣天气条件下高铁周界入侵目标检测[D].北京交通大学,2021.DOI:10.26944/d.cnki.gbfju.2021.000202.]提出先对图像进行去雾、去雨的预处理，然后将处理后的图像作为目标检测网络的输入，可有效提升恶劣天气条件下的目标检测效果。然而该方法会牺牲了对正常天气的目标检测性能且仅适应对单一恶劣天气进行目标检测。
发明内容
本发明针对现有技术的缺陷，提供一种基于深度学***台。利用UE4引擎强大的三维图形渲染能力，结合实际校园场景搭建三维虚拟校园场景，通过网络IP摄像头采集实时监控数据，视频数据通过RTMP协议传输至后台服务器，在后台调用改进的目标检测算法进行目标检测，将检测结果利用HTTP协议响应给虚拟校园终端。将Yolo目标检测算法与图像分类与图像增强算法结合，可有效适应多种恶劣天气和低光状态的目标检测并具有较强实时性，将web服务技术与虚拟终端结合，通过更加直观的界面展示效果可以让安防人员更加快速查看和定位校园实时监控信息，从而提高校园安防监控平台的使用效率和安防人员工作效率。
为了解决上述技术问题，本发明的技术方案是提供一种基于深度学***台，其特征在于，包括以下步骤：
步骤1：基于Nginx搭建后台音视频服务器，利用RTMP协议获取远程实时视频数据，向虚拟终端进行实时视频数据响应；基于Flask框架搭建Web后台服务器，向音视频服务器路由地址拉取视频流数据。
步骤2：构建不同天气状态图像数据集；采集多幅完好的天气状态图像并进行天气类别标注作为驱动深度神经网络训练的标签；天气状态种类分为雾天、雨天和晴天。
步骤3：基于轻量级网络模型ShuffleNet训练天气状态分类模型，对步骤1获取的实时视频数据进行分帧处理，将每一帧的图像作为网络的输入，网络将输出三种天气状态分类结果(雨天、雾天、晴天)；搭建轻量化神经网络模型ShuffleNet，并利用步骤 2中构建的天气状态图像数据集进行训练；所述轻量化神经网络模型使用分组卷积提取特征，并对卷积后的通道进行重排，在降低计算量的同时保证模型效率；设计了一个ShuffleNet单元，利用1*1分组逐点卷积提取特征，然后进行通道重排；应用3*3深度卷积和分组逐点卷积匹配与之相连的跳跃连接的通道数。
步骤4：设计并联三通道连接器，分为通道A、通道B和通道C对图像进行增强操作；将步骤3所得到的三种分类结果分别作为连接器的输入，通道A为除雨通道，该通道将集成除雨模型，输出除雨图像；通道B为除雾通道，该通道将集成除雾模型，输出除雾图像；通道C为空通道，将输出原始图像；三通道均集成暗光增强算法对暗光图像进行预处理。
步骤5：将步骤4完成的图像增强输出作为YOLOv5检测网络的输入；所述YOLOv5 检测网络在实际应用中广泛应用于图像编辑、人群检测和自动驾驶。与之前版本相比，YOLOv3基于Resnet的思想设计了darknet-53，它由连续的3×3和1×1卷积核组成。该算法通过对多尺度特征图进行预测来实现多尺度训练，从而进一步提高检测的精度，特别是对小目标的检测。改进YOLOV5的主干网络，使其由Shufflechannel和Shuffle block组成，同时在特征提取的上层结构中采用了4次slice操作组成了Focus层,将原模型中的普通卷积替换为深度可分离卷积，激活函数使用Swin激活函数,进而减少了网络参数和计算量，提高了目标检测速度。
步骤6：基于UE4引擎开发虚拟终端；根据校园实景搭建虚拟校园场景，虚拟终端通过http协议分别获取实时视频数据和检测结果数据；开发虚拟场景漫游功能，安防人员登录虚拟终端后可以分别切换至第一人称视角和全局漫游视角对虚拟校园进行浏览；根据校园监控实际位点设置虚拟校园监控位点图标，可根据http响应数据对图表进行不同状态渲染，利用射线检测原理实现用户对虚拟图标控制，弹出实时监控画面。
本发明采用上述技术方案，与现有技术相比具有如下优点：
1、本发明首先对Yolo目标检测算法的输入进行图像预处理，使其与图像分类算法和图像增强算法结合，可有效适应多种恶劣天气和低光状态的目标检测并具有较强实时性；基于UE4引擎开发三维虚拟终端，将web服务技术与虚拟终端结合，通过更加直观的界面展示效果可以让安防人员更加快速查看和定位校园实时监控信息，从而提高校园安防监控平台的使用效率和安防人员工作效率。
2、本发明的图像预处理方法，是提出了一种新的目标检测架构，设计并联三通道连接器将天气分类网络和去雾模型、去雨模型、暗光增强模型结合，使Yolo网络能够同时适应雾天、雨天、低光状态的目标检测任务并兼顾实时性，与此同时不会降低状态良好的输入图像的检测性能。
3、本发明的基于UE4引擎开发三维虚拟终端，将web服务技术与虚拟终端结合，通过更加直观的界面展示效果可以让安防人员更加快速查看和定位校园实时监控信息，从而提高校园安防监控平台的使用效率和安防人员工作效率。
4、本发明的并联三通道连接器，分为通道A、通道B和通道C对图像进行增强操作；将图像分类网络所得到的三种分类结果分别作为连接器的输入，通道A为除雨通道，该通道将集成除雨模型，输出除雨图像；通道B为除雾通道，该通道将集成除雾模型，输出除雾图像；通道C为空通道，将输出原始图像；三通道均集成暗光增强算法对暗光图像进行预处理。通过该设计可以使一套***同时对多种恶劣天气状态图像进行优化处理，并联型设计保证***的实时性能。
5、本发明的去雾模型，基于暗通道先验的图像去雾算法，改进了大气光估计方法和低复杂度的形态重建方法，在基于先验的方法的基础上，提出了一种新的大气光估计方法，提高了算法的鲁棒性，解决了过曝光问题，其算法复杂度也低于同性能其他算法。
6、本发明的去雨模型，对经典的基于稀疏表示的去雨算法进行了改进，经典算法对字典分为几何字典以及雨字典的过程中会存在聚类误差，由字典恢复为图像时误差过大，或者背景信息过滤过于严重出现严重模糊。因此我们利用图像的高频成分减去低频成分，得到的新几何字典成分与原来的低频成分相加，和原来的算法仅用高频成分利用字典学习后分离得到的几何字典自动直接叠加低频成分的做法相比，该算法解决了残差的问题。
7、本发明的暗光增强模型，利用双曲正切曲线将图像亮度映射到一个理想的水平，再根据图像的最大熵来确定加权参数，可有效抑制高亮区域的增强并减少噪声出现。
8、本发明的Yolo检测网络，改进了YOLOV5的主干网络，使其由Shufflechannel 和Shuffleblock组成，同时在特征提取的上层结构中采用了4次slice操作组成了Focus 层,将原模型中的普通卷积替换为深度可分离卷积，激活函数使用Swin激活函数,进而减少了网络参数和计算量，提高了目标检测速度。
附图说明
图1是本发明虚拟现实安防监控平台的架构示意图。
图2是本发明去雨算法的流程示意图。
图3是本发明去雾算法的流程示意图。
图4是本发明暗光增强算法的流程示意图。
具体实施方式
实施例
图1为本实施例提供的一种基于深度学***台流程图，具体包括以下步骤：
步骤1：基于Nginx搭建后台音视频服务器，利用RTMP协议获取远程实时视频数据，向虚拟终端进行实时视频数据响应；基于Flask框架搭建Web后台服务器，向音视频服务器路由地址拉取视频流数据。
步骤2：构建不同天气状态图像数据集；通过百度、必应、Google等各大搜索引擎进行图像获取，数据集包括雾天、雨天、晴天3类天气，共9000幅图片，每类天气各3000 幅图片，数据集面向多场景，每一幅图像的背景互不相同且复杂多变。
运用镜像、翻转、裁剪、添加高斯噪声等方法丰富数据集，提高算法泛化能力，从而更好优化网络模型。将3类天气图片分别扩充至10000幅，将每一类天气数据选取20％作为测试集不做数据增强处理，保证算法准确率符合真实情况。其余80％数据进行数据增强，作为训练、验证集提升样本平衡与多样性。
步骤3：基于轻量级网络模型ShuffleNet训练天气状态分类模型，对步骤1获取的实时视频数据进行分帧处理，将每一帧的图像作为网络的输入；ShuffleNet提出逐点分组卷积可以有效节省硬件算力，提升运算速度，同时采用通道混合帮助各组之间信息流通从而构建出轻量化ShuffleNet网络架构。此分类模型采用16个ShuffleNet单元和 LeakyReLU激活函数搭建天气状态分类模型。
利用ImageNet数据集对该网络进行预训练从而优化模型参数，进而减少网络迭代次数。首先将训练集数据作为网络的输入，分别进行卷积运算提取图片特征，形成特征图，再通过Softmax特有的逐点分组卷积运算和通道混合操作向后传播，经过若甘卷积层和池化层后，使得softmax逼近网络从而预测出结果。网络的预测值和实际值作为损失函数的输入进行损失计算，利用梯度下降算法更新网络参数，通过不断迭代训练出最佳的天气分类模型。
步骤4：设计并联三通道连接器，分为通道A、通道B和通道C对图像进行增强操作；将步骤3所得到的三种分类结果分别作为连接器的输入。
步骤4.1：如图2所示，当天气状态分类模型判断图像为雨天状态时，图像将作为A通道的输入，通道A为除雨通道，该通道将集成除雨模型，输出除雨图像。
对原始雨水图像I利用双边滤波算法将原始图像分解为低频部分ILf，利用I-ILf得到图像的高频部分IHf；双边滤波器原理为：
Figure BDA0003541372010000061
Figure BDA0003541372010000062
Figure BDA0003541372010000063
Figure BDA0003541372010000064
其中(i,j)为中心点坐标，f(i,j)为中心点坐标像素值；点(k,l)为中心点(i,j)邻域S中的任意一点，σd和σr为平滑参数；f(k,l)为((k,l)点的像素值，点(k,l)到点(i,j)的空间距离为d(i,j,k,l)，灰度差域值矩阵为r(i,j,k,l)，ω(i,j,k,l)为双边滤波的权重矩阵，各像素点经过双边滤波输出的像素值为g(i,j)；
高频成分IHF中包含了背景信息以及噪音，因此提取图像HOG特征并且通过稀疏矩阵编码以及字典学***面区域包含了更多的物体形状信息。
对IHF进行取块并进行字典学习得到字典D，使用KMeans最近邻算法将字典分为两类分别为雨字典和几何字典。字典学习是信号处理和机器学习的一个分支，其目的是找到一个框架(称为字典)，在这个框架中，一些训练数据用稀疏表示，表示越稀疏代表字典越好。
再根据雨的先验信息对雨字典再次进行分类，将误分类部分移除得到最终的雨字典 DR1。根据雨字典DR1恢复出高频图像的雨成分IHFR，利用IHF-IHFR得到IHFG，并对IHFG再次进行双边滤波并使用较弱的BM3D算法进行去噪处理，得到新的几何分量IHFG，BM3D 依赖于自然图像的非局部和局部特征，也就是说大量相互相似的斑点和图像数据是局部高度相关的。如果这些特征得到验证，则该组在所有的三个维度上都有相关性，并可以通过在该组上应用一个装饰性的三维变换得到真实信号的稀疏表示。最后将IHFG与ILF 相加得到最终的去雨结果。
步骤4.2：通道B为除雾通道，该通道将集成除雾模型，输出除雾图像；
本实施例采用的除雾模型是基于改进的DCP算法，如图3所示，在任何三通道输入图像的局部区域，至少会有一个通道中的像素值趋近于零，进而得到暗通道表达式：
Figure BDA0003541372010000071
Ω(x)为以像素位置x为中心的局部区域块,IC表示输入图像I的某一个颜色通道，y 表示Ω(x)区域内的像素值。则DCP表示为:
Idark(x)→0
在恶劣的天气条件下，捕捉到的图像会雾化，这是由于空气中粒子的散射效应造成，这个过程可以表示为:
Figure BDA0003541372010000072
x为像素位置，I(x)为捕获图像的颜色强度，J(x)为待恢复的原始场景亮度，A为大气光，t(x)为透射率；无雾图像J(x)的恢复问题会转化为预测未知参数大气光强度A和透射率t(x)。
如果大气光强度A的估计值较低会导致结果模糊，而估计值过高会产生过多的噪声。本实施例提出一种新的大气光估计方法，Abrightest表示原始图像在暗通道中的最高值，A0.1％为暗通道中前0.1％最亮像素的平均值，a为权重默认值，设置为0.6，利用该方法将显著提高估计的鲁棒性。
A＝aAbrightest+(1-a)A0.1％
通过引入透射率下界来防止重建图像天空区域的颜色畸变。定义t0为透射率的下界，缺省值为0.4。
正常情况下，目标区域的透射率不会低于0.6，而天空区域的透射率接近0，因此，目标区域的去雾过程不会受到这个下界的影响。由于DCP去雾应用于整个图像，由于透射率的变化，未正确估计天空区域的像素值导致天空区域的颜色强度偏高。然而，由于雾霾和天空的颜色非常相似，这种不正确的估计不会影响结果的整体质量。在雾霾较重的情况下，透射率可能低于0.4，导致相应区域存在残留雾霾，为了解决这个问题，在应用透射率下界之前，引入了一组形态运算来重建传输映射，先进行开运算
Figure BDA0003541372010000081
再进行闭运算γ；闭运算用来填补图像的空洞，增强对象的结构，而开运算则在保留较大对象的同时去除图像中的小对象，εB为扩张因子，δB为收缩因子；
Figure BDA0003541372010000082
and
tCO＝γ(tC)＝δB[εB(tC)]
最后将天空和物体分离，通过以下方法重新估计透射率t,treconstructed是最终用于恢复无雾图像的透射率；
Figure BDA0003541372010000083
该方式通过对场景亮度下限更加鲁棒性的估计，避免了过度增强；通过形态重构显著减少了处理时间，并提供了平滑的边缘。
步骤4.3：通道C为空通道，将输出原始图像；
步骤4.4：如图4所示，通道A、通道B、通道C均集成暗光增强算法；双曲正切曲线(HTC)是(-1，+1)范围内的单调递增函数，当图像强度值归一化为[0,1]时，利用双曲正切曲线进行亮度映射；对于RGB图像，设像素值为I(x,y)＝{R(x,y)，G(x,y)，B(x,y)}；红色、绿色和蓝色的分量分别表示为R、G和B，并归一化为[0,1]，像素位置坐标为(x,y)，得双曲正切函数：
Figure BDA0003541372010000084
其中
Figure BDA0003541372010000085
k为比例因子，它的值根据图像的亮度来确定。
为了抑制高亮区域的增强，将输出图像的亮度加权为:
Iw(x,y)＝wI(x,y)+(1-w)tanh(kI(x,y))
w为加权系数，作为RGB通道值的平均值保持图像强度分布；
亮度增强应该覆盖从0到1的所有像素灰度，以确保图像为全局增强，为此，对输出图像的亮度加权进行拉伸处理：
Figure BDA0003541372010000091
Iw(x,y)max和Iw(x,y)min分别为图像强度值的最大值和最小值；Is(x,y)表示对图像进行全局增强后各点像素值。
图像熵越大，说明图像承载的信息越多，图像越清晰；图像熵定义为：
Figure BDA0003541372010000092
p(i)为第i个图像强度的比例；应用上式计算不同k时Is(x,y)的熵值，当熵值最大时，对应的比例因子k为最佳值，反之亦然；当完成图像亮度增强后使用基本的双边滤波算法进行图像去噪处理。
步骤5：将步骤4完成的逐帧图像增强输出作为YOLOV5检测网络的输入，利用Darknet-53训练好用于分类的骨干网络作为特征提取器，输入图像后得到三种尺度的特征，后续再进行多尺度的目标检测。因为是全卷积层因此可以兼容任意尺度的输入图像，该骨干网络可以更加高效利用GPU。网络输出为3种尺度的featuremap，每个gridcell 有3个Anchor，每个Anchor有5(框坐标)+80(80个类别概率)个参数，3*85＝255。13*13尺度对应原图32*32的感受野，也就是1个gridcell相当于原图的32*32的区域，不同尺度的感受野负责预测不同尺度的物体。通过多尺度融合既发挥深层网络语义刻画抽象特征，也充分利用浅层网络细粒度的像素级别的底层特征，因此可以通过该结构实现多尺度融合和不同尺度物体的预测。随后通过非极大值抑制的方法将boundingbox进行筛选和过滤，过滤掉低置信度和重复的框，得到最终的目标检测结果。改进YOLOV5 的主干网络，使其由Shufflechannel和Shuffleblock组成，同时在特征提取的上层结构中采用了4次slice操作组成了Focus层,将原模型中的普通卷积替换为深度可分离卷积，激活函数使用Swin激活函数,进而减少了网络参数和计算量，提高了目标检测速度。
步骤6.1：基于UE4引擎进行虚拟终端开发。实例化pawn类的对象，Pawn类的对象可以由用户进行控制，当用户在场景中进行漫游时实际控制的就是Pawn类的对象；然后需要给Pawn类对象添加摄像机组件和弹簧臂组件从而能够进行场景的显示和缩放。最后绑定物理设备，比如键盘按键，那么就可以通过键盘按键实现对pawn类对象的控制，完成角色在场景中的漫游功能。
步骤6.2：将摄像头图标声明为Actor类，Actor类是可以放到虚拟场景中的对象的基本类型，Actor类的实例可以实现与用户的交互；让pawn类对象与物理设备绑定如鼠标右键，当点击鼠标右键时将会沿当前方向发射射线，比如点击摄像头图标那么就会向摄像头图标发射射线；判断该射线是否有撞击到Actor类的对象，如果有撞击到则执行相应的逻辑如开启实时监控画面，用户即可在虚拟场景查看实时监控画面。
步骤6.3：在Actor类蓝图中编写http数据请求代码，调用VaRest插件提供的CallURL通信节点获取服务器地址并通过Get方法获取检测数据信息。对获取的检测数据信息进行判断，如果有获取到检测数据则进行蓝图间通信，在通信类蓝图中调用监控位点图标蓝图，利用setmaterial节点将监控位点图标高亮处理。
以上所述，仅为本发明的较佳实施例，并非对本发明任何形式上和实质上的限制。应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还将可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。凡熟悉本专业的技术人员，在不脱离本发明的精神和范围的情况下，当可利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时，凡依据本发明的实质技术对上述实施例所作的任何等同变化的更动、修饰与演变，均仍属于本发明的技术方案的范围内。

Claims (6)

1.一种基于深度学***台，其特征在于包括如下步骤：
步骤1：基于Nginx搭建后台音视频服务器，利用RTMP协议获取远程实时视频数据，向虚拟终端进行实时视频数据响应；基于Flask框架搭建Web后台服务器，向音视频服务器路由地址拉取视频流数据；
步骤2：构建不同天气状态图像数据集；采集多幅完好的天气状态图像并进行天气类别标注作为驱动深度神经网络训练的标签；天气状态种类分为雾天、雨天和晴天；
步骤3：基于轻量级网络模型ShuffleNet训练天气状态分类模型，对步骤1获取的实时视频数据进行分帧处理，将每一帧的图像作为网络的输入，网络将输出三种天气状态分类结果；搭建轻量化神经网络模型ShuffleNet，并利用步骤2中构建的天气状态图像数据集进行训练；所述轻量化神经网络模型使用分组卷积提取特征，并对卷积后的通道进行重排，在降低计算量的同时保证模型效率；设计了一个ShuffleNet单元，利用1*1分组逐点卷积提取特征，然后进行通道重排；应用3*3深度卷积和分组逐点卷积匹配与之相连的跳跃连接的通道数；
步骤4：设计并联三通道连接器，分为通道A、通道B和通道C对图像进行增强操作；将步骤3所得到的三种分类结果分别作为连接器的输入，通道A为除雨通道，该通道将集成除雨模型，输出除雨图像；通道B为除雾通道，该通道将集成除雾模型，输出除雾图像；通道C为空通道，将输出原始图像；三通道均集成暗光增强算法对暗光图像进行预处理；
步骤5：将步骤4完成的图像增强输出作为YOLO v5检测网络的输入；所述YOLO v5的主干网络，由Shuffle channel和Shuffle block组成，同时在特征提取的上层结构中采用了4次slice操作组成了Focus层,将原模型中的普通卷积替换为深度可分离卷积，激活函数使用Swin激活函数；
步骤6：基于UE4引擎开发虚拟终端；根据校园实景搭建虚拟校园场景，虚拟终端通过http协议分别获取实时视频数据和检测结果数据；开发虚拟场景漫游功能，安防人员登录虚拟终端后可以分别切换至第一人称视角和全局漫游视角对虚拟校园进行浏览；根据校园监控实际位点设置虚拟校园监控位点图标，根据http响应数据对图表进行不同状态渲染，利用射线检测原理实现用户对虚拟图标控制，弹出实时监控画面。
2.根据权利要求1所述的虚拟现实安防监控平台，其特征在于上述步骤2的具体过程为：构建不同天气状态图像数据集；通过搜索引擎进行图像获取，数据集包括雾天、雨天、晴天3类天气，共9000幅图片，每类天气各3000幅图片，数据集面向多场景；
运用镜像、翻转、裁剪、添加高斯噪声丰富数据集，将3类天气图片分别扩充至10000幅，将每一类天气数据选取20％作为测试集不做数据增强处理，其余80％数据进行数据增强，作为训练、验证集提升样本平衡与多样性。
3.根据权利要求2所述的虚拟现实安防监控平台，其特征在于上述步骤3的具体过程为：基于轻量级网络模型ShuffleNet训练天气状态分类模型，对步骤1获取的实时视频数据进行分帧处理，将每一帧的图像作为网络的输入；同时采用通道混合帮助各组之间信息流通从而构建出轻量化ShuffleNet网络架构；此分类模型采用16个ShuffleNet单元和LeakyReLU激活函数搭建天气状态分类模型。
利用ImageNet数据集对该网络进行预训练，首先将训练集数据作为网络的输入，分别进行卷积运算提取图片特征，形成特征图，再通过Softmax特有的逐点分组卷积运算和通道混合操作向后传播，经过若干卷积层和池化层后，使得softmax逼近网络从而预测出结果；网络的预测值和实际值作为损失函数的输入进行损失计算，利用梯度下降算法更新网络参数，通过不断迭代训练出最佳的天气分类模型。
4.根据权利要求3所述的虚拟现实安防监控平台，其特征在于上述步骤4的具体过程为：
步骤4.1：当天气状态分类模型判断图像为雨天状态时，图像将作为A通道的输入，通道A为除雨通道，该通道将集成除雨模型，输出除雨图像；
对原始雨水图像I利用双边滤波算法将原始图像分解为低频部分ILf，利用I-ILf得到图像的高频部分IHf；双边滤波器原理为：
Figure FDA0003541352000000021
Figure FDA0003541352000000022
Figure FDA0003541352000000023
Figure FDA0003541352000000024
其中(i,j)为中心点坐标，f(i,j)为中心点坐标像素值；点(k,l)为中心点(i,j)邻域S中的任意一点，σd和σr为平滑参数；f(k,l)为((k,l)点的像素值，点(k,l)到点(i,j)的空间距离为d(i,j,k,l)，灰度差域值矩阵为r(i,j,k,l)，ω(i,j,k,l)为双边滤波的权重矩阵，各像素点经过双边滤波输出的像素值为g(i,j)；
高频部分IHF中包含了背景信息以及噪音，提取图像HOG特征并且通过稀疏矩阵编码以及字典学***面区域包含了更多的物体形状信息；
对IHF进行取块并进行字典学习得到字典D，使用KMeans最近邻算法将字典分为两类分别为雨字典和几何字典；
根据雨的先验信息对雨字典再次进行分类，将误分类部分移除得到最终的雨字典DR1；根据雨字典DR1恢复出高频图像的雨成分IHFR，利用IHF-IHFR得到IHFG，并对IHFG再次进行双边滤波并使用BM3D算法进行去噪处理，得到新的几何分量IHFG，将IHFG与ILF相加得到最终的去雨结果；
步骤4.2：通道B为除雾通道，该通道将集成除雾模型，输出除雾图像；
采用的除雾模型是基于改进的DCP算法，在任何三通道输入图像的局部区域，至少会有一个通道中的一个像素值趋近于零，进而得到暗通道表达式：
Figure FDA0003541352000000031
Ω(x)为以像素位置x为中心的局部区域块,IC表示输入图像I的某一个颜色通道，y表示Ω(x)区域内的像素值；则DCP表示为:
Idark(x)→0
在恶劣的天气条件下，捕捉到的图像会雾化，这个过程可以表示为:
Figure FDA0003541352000000032
x为像素位置，I(x)为捕获图像的颜色强度，J(x)为待恢复的原始场景亮度，A为大气光，t(x)为透射率；无雾图像J(x)的恢复问题会转化为预测未知参数大气光强度A和透射率t(x)；
如果大气光强度A的估计值较低会导致结果模糊，而估计值过高会产生过多的噪声；
A＝aAbrightest+(1-a)A0.1％
其中Abrightest表示原始图像在暗通道中的最高值，A0.1％为暗通道中前0.1％最亮像素的平均值，a为权重默认值，设置为0.6，提高大气光强度A估计值的鲁棒性；
定义t0为透射率的下界，缺省值为0.4，防止重建图像天空区域的颜色畸变；
正常情况下，目标区域的透射率不会低于0.6，而天空区域的透射率接近0，因此，目标区域的去雾过程不会受到这个下界的影响，由于DCP去雾应用于整个图像，由于透射率的变化，未正确估计天空区域的像素值导致天空区域的颜色强度偏高，在雾霾较重的情况下，透射率可能低于0.4，导致相应区域存在残留雾霾；
在应用透射率下界之前，引入了一组形态运算来重建传输映射，先进行开运算
Figure FDA0003541352000000043
再进行闭运算γ；闭运算用来填补图像的空洞，增强对象的结构，而开运算则在保留较大对象的同时去除图像中的小对象，εB为扩张因子，δB为收缩因子；
Figure FDA0003541352000000041
and
tCO＝γ(tC)＝δB[εB(tC)]
最后将天空和物体分离，通过以下方法重新估计透射率t,treconstructed是最终用于恢复无雾图像的透射率；
Figure FDA0003541352000000042
步骤4.3：通道C为空通道，将输出原始图像；
步骤4.4：通道A、通道B、通道C均集成暗光增强算法；双曲正切曲线(HTC)是(-1，+1)范围内的单调递增函数，当图像强度值归一化为[0,1]时，利用双曲正切曲线进行亮度映射；对于RGB图像，设像素值为I(x,y)＝{R(x,y)，G(x,y)，B(x,y)}；红色、绿色和蓝色的分量分别表示为R、G和B，并归一化为[0,1]，像素位置坐标为(x,y)，得双曲正切函数：
Figure FDA0003541352000000051
其中
Figure FDA0003541352000000052
k为比例因子，它的值根据图像的亮度来确定；
为了抑制高亮区域的增强，将输出图像的亮度加权为:
Iw(x,y)＝wI(x,y)+(1-w)tanh(kI(x,y))
w为加权系数，作为RGB通道值的平均值保持图像强度分布；
亮度增强应该覆盖从0到1的所有像素灰度，以确保图像为全局增强，为此，对输出图像的亮度加权进行拉伸处理：
Figure FDA0003541352000000053
Iw(x,y)max和Iw(x,y)min分别为图像强度值的最大值和最小值；Is(x,y)表示对图像进行全局增强后各点像素值。
图像熵越大，说明图像承载的信息越多，图像越清晰；图像熵定义为：
Figure FDA0003541352000000054
p(i)为第i个图像强度的比例；应用上式计算不同k时Is(x,y)的熵值，当熵值最大时，对应的比例因子k为最佳值，反之亦然；当完成图像亮度增强后使用基本的双边滤波算法进行图像去噪处理。
5.根据权利要求4所述的虚拟现实安防监控平台，其特征在于上述步骤5的具体过程为：
将步骤4完成的逐帧图像增强输出作为YOLO V5检测网络的输入，利用Darknet-53训练好用于分类的骨干网络作为特征提取器，输入图像后得到三种尺度的特征，后续再进行多尺度的目标检测；网络输出为3种尺度的feature map，每个grid cell有3个Anchor，每个Anchor有5+80个参数，3*85＝255；其中5对应框坐标，80对应类别概率；13*13尺度对应原图32*32的感受野，也就是1个grid cell相当于原图的32*32的区域，不同尺度的感受野负责预测不同尺度的物体；随后通过非极大值抑制的方法将bounding box进行筛选和过滤，过滤掉低置信度和重复的框，得到最终的目标检测结果。
6.根据权利要求4所述的虚拟现实安防监控平台，其特征在于上述步骤6的具体过程为：
步骤6.1：基于UE4引擎进行虚拟终端开发，当用户在场景中进行漫游时实际控制的是Pawn类的对象；需要给Pawn类对象添加摄像机组件和弹簧臂组件从而能够进行场景的显示和缩放；绑定物理设备，实现对pawn类对象的控制，完成角色在场景中的漫游功能；
步骤6.2：将摄像头图标声明为Actor类，让pawn类对象与物理设备绑定，执行相应的逻辑；
步骤6.3：在Actor类蓝图中编写http数据请求代码，调用Va Rest插件提供的Call URL通信节点获取服务器地址并通过Get方法获取检测数据信息；对获取的检测数据信息进行判断，如果有获取到检测数据则进行蓝图间通信，在通信类蓝图中调用监控位点图标蓝图，利用set material节点将监控位点图标高亮处理。
CN202210240851.8A 2022-03-10 2022-03-10 一种基于深度学***台 Pending CN114627269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210240851.8A CN114627269A (zh) 2022-03-10 2022-03-10 一种基于深度学***台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210240851.8A CN114627269A (zh) 2022-03-10 2022-03-10 一种基于深度学***台

Publications (1)

Publication Number Publication Date
CN114627269A true CN114627269A (zh) 2022-06-14

Family

ID=81901548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210240851.8A Pending CN114627269A (zh) 2022-03-10 2022-03-10 一种基于深度学***台

Country Status (1)

Country Link
CN (1) CN114627269A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272412A (zh) * 2022-08-02 2022-11-01 电子科技大学重庆微电子产业技术研究院 一种基于边缘计算的低小慢目标检测方法及跟踪***
CN116311023A (zh) * 2022-12-27 2023-06-23 广东长盈科技股份有限公司 一种基于5g通讯和虚拟现实的设备巡检方法及***
CN117237366A (zh) * 2023-11-16 2023-12-15 福建凯达集团有限公司 一种薄膜防雾性能检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272412A (zh) * 2022-08-02 2022-11-01 电子科技大学重庆微电子产业技术研究院 一种基于边缘计算的低小慢目标检测方法及跟踪***
CN115272412B (zh) * 2022-08-02 2023-09-26 电子科技大学重庆微电子产业技术研究院 一种基于边缘计算的低小慢目标检测方法及跟踪***
CN116311023A (zh) * 2022-12-27 2023-06-23 广东长盈科技股份有限公司 一种基于5g通讯和虚拟现实的设备巡检方法及***
CN117237366A (zh) * 2023-11-16 2023-12-15 福建凯达集团有限公司 一种薄膜防雾性能检测方法
CN117237366B (zh) * 2023-11-16 2024-02-06 福建凯达集团有限公司 一种薄膜防雾性能检测方法

Similar Documents

Publication Publication Date Title
Ren et al. Low-light image enhancement via a deep hybrid network
CN109829443B (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
Fan et al. Integrating semantic segmentation and retinex model for low-light image enhancement
CN110956094B (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
Chen et al. Haze removal using radial basis function networks for visibility restoration applications
Yang et al. Single image haze removal via region detection network
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
Pang et al. Visual haze removal by a unified generative adversarial network
Kuanar et al. Night time haze and glow removal using deep dilated convolutional network
CN114627269A (zh) 一种基于深度学***台
CN109993804A (zh) 一种基于条件生成对抗网络的道路场景去雾方法
Zhou et al. FSAD-Net: feedback spatial attention dehazing network
CN109472193A (zh) 人脸检测方法及装置
CN111915525A (zh) 基于改进深度可分离生成对抗网络的低照度图像增强方法
Peng et al. LVE-S2D: Low-light video enhancement from static to dynamic
CN110807384A (zh) 低能见度下的小目标检测方法和***
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN111079864A (zh) 一种基于优化视频关键帧提取的短视频分类方法及***
CN114387195A (zh) 一种基于非全局预增强的红外图像与可见光图像融合方法
Sultana et al. Dynamic background subtraction using least square adversarial learning
CN115019340A (zh) 一种基于深度学习的夜间行人检测算法
CN114155165A (zh) 一种基于半监督的图像去雾方法
Soumya et al. Self-organized night video enhancement for surveillance systems
CN116912727A (zh) 一种基于时空特征增强网络的视频人体行为识别方法
CN116342877A (zh) 一种复杂场景下基于改进aspp和融合模块的语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination