CN113256541A - 利用机器学***台监控画面进行去水雾的方法 - Google Patents

利用机器学***台监控画面进行去水雾的方法 Download PDF

Info

Publication number
CN113256541A
CN113256541A CN202110803908.6A CN202110803908A CN113256541A CN 113256541 A CN113256541 A CN 113256541A CN 202110803908 A CN202110803908 A CN 202110803908A CN 113256541 A CN113256541 A CN 113256541A
Authority
CN
China
Prior art keywords
model
neural network
training
video
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110803908.6A
Other languages
English (en)
Other versions
CN113256541B (zh
Inventor
刘云川
郑光胜
郑侃
蒋俊之
黄进凯
杨正川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baolong Hongrui Technology Co.,Ltd.
Chongqing Hongbao Technology Co.,Ltd.
Sichuan hongbaorunye Engineering Technology Co.,Ltd.
Original Assignee
Beijing Baolong Hongrui Technology Co ltd
Chongqing Qingyun Petroleum Engineering Technology Co ltd
Sichuan Hongbaorunye Engineering Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baolong Hongrui Technology Co ltd, Chongqing Qingyun Petroleum Engineering Technology Co ltd, Sichuan Hongbaorunye Engineering Technology Co ltd filed Critical Beijing Baolong Hongrui Technology Co ltd
Priority to CN202110803908.6A priority Critical patent/CN113256541B/zh
Publication of CN113256541A publication Critical patent/CN113256541A/zh
Application granted granted Critical
Publication of CN113256541B publication Critical patent/CN113256541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于特定行业的图像处理和机器学***台监控画面进行去水雾的方法。所述方法中，通过摄像头按照预定帧率采集钻井平台监控画面视频样本，对视频样本进行抽帧，从包含雾气的视频序列中取连续的8张图像，组合成视频帧序列，将准备好的训练集分为A,B两部分，其中A部分占训练集的30%,剩余的部分为B，训练更新模型并通过所述模型对钻井平台监控画面进行去水雾。

Description

利用机器学***台监控画面进行去水雾的方法
技术领域
本发明属于特定行业的图像处理和机器学***台监控画面进行去水雾的方法。
背景技术
油气勘探过程中，在钻井平台上部署视频监控设备时，因平台底部水蒸气蒸腾产生的雾气对摄像头采集的图像有较大的干扰，甚至无法识别的情况等问题，严重影响了监测。
在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
发明内容
针对现有技术中存在的问题，本发明提出一种利用机器学***台监控画面进行去水雾的方法，解决了现有缺陷，通过视频中的连续帧去除图像中的平台雾气影响，复原高质量清晰图像的计算机视觉算法。
本方法无需对大气参数进行建模，以端到端的方式，通过分析视频内的上下文信息直接输出复原后的图像，更符合实际运用的钻井平台场景，鲁棒性更高。
本发明的目的是通过以下技术方案予以实现：
一种利用机器学***台监控画面进行去水雾的方法，包括以下步骤：
S100：通过摄像头按照预定帧率采集钻井平台的视频样本，对视频样本进行抽帧，所述视频样本包括含雾气的视频以及无雾气视频；
S200：从含雾气的视频中取连续的8帧图片，组合成视频帧序列X，X={xi,xi+1,…,xi+7}，从无雾气视频中选取与视频帧序列X中的任一图像相似的一帧实际图片x’作为目标图片，并将x’与视频帧序列X组成训练集Xtrain={X,x’}；
S300：将准备好的训练集Xtrain分为A、B两部分，其中A部分占训练集的30%,剩余的部分为B部分，以此训练模型model={Gmodel,Dmodel}，其中Gmodel为生成式模型，Dmodel 为判别式模型；其中，训练分为2个阶段，训练集的A、B两部分分别用作2个阶段中Gmodel的输入；
S400：模型model训练完毕后，利用模型model中的生成式模型Gmodel对钻井平台的基于视频连续帧的图像去水雾。
优选的，预定帧率为25帧的帧率。
优选的，步骤S300包括：
训练的第1阶段：
1）将训练集的A部分输入到Gmodel，获取Gmodel输出的复原图片y’；
2）计算y’与x’的均方误差loss：
Figure 623817DEST_PATH_IMAGE001
其中，xj’、yj’分别为x’、y’的像素值，n为像素个数，j从0取值到n；
3）若loss不小于设定的第一阈值，则对loss求导计算梯度，并反向传播梯度到Gmodel,以更新模型中的参数，直至loss小于所述设定的第一阈值；
若loss小于第一阈值，则进入训练的第2阶段；
训练的第2阶段：
1）将训练集的B部分输入到Gmodel，获取Gmodel输出的复原图片y’；
2）将y’与x’分别输入到判别模型Dmodel 获取两个判别概率df和dr,同时通过下式求取最大化值：
max(log(df)+log(1-dr))，
并以所述最大化值更新Dmodel的参数,当两个判别概率df、dr的值趋近于0.5时停止更新；
3）获取Dmodel计算判别概率时的中间特征，以计算感知误差Ploss：
Figure 427694DEST_PATH_IMAGE002
其中，vf、vr分别为y’与x’的中间特征，m为中间特征的个数，k从0取值到m；
若Ploss不小于设定的第二阈值，反向传播Ploss以更新Gmodel的参数，直至Ploss小于所述设定的第二阈值；
Ploss小于设定的第二阈值时，训练结束。
优选的，当Gmodel为深度神经网络时，对其训练时，还包括如下步骤：
S301：对于每一张用于训练深度神经网络的图像进行手工标注，标注关键点的位置，得到标注后的每张图像；
S302：以标注后的每张图像作为训练的相应阶段的输入，构造一种辅助神经网络，辅助深度神经网络对图像的学习和训练。
优选的，步骤S302包括如下步骤：
S3021：将标注后的每张图像作为输入，并从所述深度神经网络选择适当的中间层，获取该中间层的输出；
S3022：建立一个由卷积函数构成的辅助神经网络；
S3023：将所述中间层的输出及对应的标注前的每张图像的姿态估计矩阵，均输入到辅助神经网络；
S3024：将辅助神经网络与所述深度神经网络的输出进行合并，共同输入到所述深度神经网络的损失函数以优化所述深度神经网络的学习。
优选的，步骤S3023中的姿态估计矩阵通过如下步骤获得：
S30231：对摄像头的相机进行标定，求解出相机的内参数，所述内参数包括：图像光轴主点、X和Y方向焦距、切向畸变系数、径向畸变系数；
S30232：进一步按如下方式求解姿态估计矩阵：
根据式x = M*[R|t]*X，求解姿态估计矩阵[R|t]，
其中，M为相机的内参数，X为世界坐标系，x为已知被拍摄物体的图像像素坐标；R、t分别为姿态估计矩阵的旋转向量及平移向量。
优选的，步骤S3021包括：
通过张正友标定法和已知尺寸的棋盘格，求解出相机的内参数。
优选的，棋盘格取10cm*10cm。
优选的，所述深度神经网络选择ResNet50。
优选的，所述辅助神经网络选择ResNet18。
此外，本发明还揭示了一种利用机器学***台监控画面进行去水雾的方法，包括：
第一步骤中，通过摄像头按照预定帧率采集视频样本，对视频样本进行抽帧:
Figure 717861DEST_PATH_IMAGE003
其中X为包含雾气的视频帧序列，X’为无雾气影响或可忽略雾气影响的视频帧序列， xn、xm’分别是从X和X’中对应视频抽帧后提取的图像；
第二步骤中，从包含雾气的视频序列X中取连续的8张图像，组合成视频帧序列，
Figure 457147DEST_PATH_IMAGE004
，从无雾气视频中选取与
Figure 320847DEST_PATH_IMAGE005
中的图像相似的一张视频帧x’作为目标图片，组成训练集合
Figure 413568DEST_PATH_IMAGE006
；
第三步骤中，将准备好的训练集
Figure 807509DEST_PATH_IMAGE007
分为A,B两部分，其中A部分占训练集的30%,剩余的部分为B，以此训练模型；
第四步骤中，利用训练后的模型对钻井平台的基于视频连续帧的图像去水雾。
本发明相比于传统标记方法的优点在于通过视频中的连续帧去除图像中的平台雾气影响，复原高质量清晰图像的计算机视觉算法。不同于其他通过估算大气退化模型，或者直方图均衡化等基于单张图片的图像增强的传统方法，本方法无需对大气参数进行建模，以端到端的方式，通过分析视频内的上下文信息直接输出复原后的图像，更符合实际运用的钻井平台场景，鲁棒性更高。
上述说明仅是本发明技术方案的概述，为了能够使得本发明的技术手段更加清楚明白，达到本领域技术人员可依照说明书的内容予以实施的程度，并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂，下面以本发明的具体实施方式进行举例说明。
附图说明
通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示相同的部件。
在附图中：
图 1 为本发明的一个实施例中模型训练流程示意图；
图 2 为本发明的一个实施例中模型训练流程示意图；
图 3 为本发明的一个实施例中模型训练流程示意图；
图4为本发明的一个实施例中的流程示意图。
以下结合附图和实施例对本发明作进一步的解释。
具体实施方式
下面将参照附图1至图4更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。
一种利用机器学***台监控画面进行去水雾的方法，所述方法包括以下步骤：
第一步骤中，通过摄像头按照预定帧率采集视频样本，对视频样本进行抽帧:
Figure 858642DEST_PATH_IMAGE003
其中X为包含雾气的视频帧序列，X’为无雾气影响或可忽略雾气影响的视频帧序列， xn、xm’分别是从X和X’中对应视频抽帧后提取的图像；
第二步骤中，从包含雾气的视频序列X中取连续的8张图像，组合成视频帧序列，
Figure 315031DEST_PATH_IMAGE004
，从无雾气视频中选取与
Figure 962175DEST_PATH_IMAGE005
中的图像相似的一张视频帧x’作为目标图片，组成训练集
Figure 961355DEST_PATH_IMAGE006
；
第三步骤中，将准备好的训练集分为A,B两部分，其中A部分占训练集的30%,剩余的部分为B，以此训练模型；
第四步骤中，利用训练后的模型对钻井平台的基于视频连续帧的图像去水雾。
其中，第三步骤中，如果训练无法满足要求，则再次返回第二步骤，重新挑选另外的连续8张图像重新挑选与
Figure 167078DEST_PATH_IMAGE005
中的图像相似的一张新的视频帧x’作为目标图片，重新执行第二步骤和第三步骤。
所述的方法的优选实施方式中，预定帧为25帧的帧率。
为了进一步理解本发明，在一个实施例中，本方法通过基于深度学习计算机视觉模型，运用实际场景采集的视频，训练出可以从受雾气干扰的原始图像中重建清晰图像的模型。模型分为两部分：model={Gmodel,Dmodel}；
其中Gmodel为生成式模型，Dmodel为判别式模型。在训练过程中，本方法将受水雾干扰的视频序列输入Gmodel与以期望其得到去雾后图片，同时通过Dmodel对Gmodel生产的复原图片进行判别并监督Gmodel的训练过程，其中Gmodel为深度神经网络。更优的，在一个实施例中，Dmodel为深度神经网络。更优的，在一个实施例中，实际的算法部署中，只需要部署生成式模型Gmodel以获得复原图片。
对于本发明，其训练样本的准备过程如下:
1）通过摄像头按照25帧的帧率采集视频样本，对视频样本进行抽帧:
Figure 376342DEST_PATH_IMAGE008
其中X，X’分别为包含雾气的视频帧序列，及无雾气影响或受雾气影响较小的视频帧序列，xn、xm’分别是从X和X’中对应视频抽帧后提取的图像。在其他的图像复原或重建图像的深度学***台进行监控，对于重建图像有较好的约束。因此，只需要两者所拍摄内容的背景，前景相似，光照条件无显著性区别。
2）对采集的图像进行预处理：
一般来说，图像存在前景及背景部分，其中前景部分经常发生变换，而背景部分变换较小。而在本发明所针对的图像去水雾、复原这一领域中，深度学习模型通常需要两张近乎一模一样的无雾气影响和受雾气影响的图片进行成对训练。
发明人注意到：若对前景及背景部分不加区别的输入到网络，当前景部分发生较为明显的变化时，算法模型会因输入的图片中包含不对应部分而训练失败。为解决这个问题，参见图3，其中图3的左图椭圆内代表经常发生变化的前景部分，通过掩码的方式，实际运用于训练的图片中的前景部分，将如右图所示，被屏蔽掉。如此，我们将前景部分通过掩码的方式屏蔽掉，使深度学习模型只专注于感知因水雾影响的图像部分。因此，对于上述本发明的含雾气的视频帧序列，及无雾气影响或受雾气影响较小的视频帧序列，只需要两者所拍摄内容的背景，前景相似，光照条件无显著性区别。预处理时，将前景部分1通过掩码的方式屏蔽掉即可。
3）从包含雾气的视频序列中取连续的8张图像，按前述预处理后，将其组合成视频帧序列
Figure 76445DEST_PATH_IMAGE009
，
Figure 943513DEST_PATH_IMAGE010
4）从无雾气视频序列中选取与前文提取的视频序列中的图像相似的一张视频帧x’作为目标图片，组成训练集合
Figure 805290DEST_PATH_IMAGE011
。
本方法中公开的模型训练方法如图1、图2所示，本方法需要训练两个模型，使得生成式模型Gmodel能够根据输入的雾气图片生成更接近实际图片x’的复原图片y’（注：接近程度由下文的第一阈值决定，即图1中的阈值）。之后将x’与y’输入判别式模型Dmodel，使其能够分辨出哪个是实际图片，哪个是真实图片，并将此信息反馈给生成模型Gmodel，以使其产生更为逼真的复原图片（注：逼真程度由下文的第二阈值决定，即图2中的阈值，第一阈值和第二阈值可以根据经验值确定）。
在另一个实施例中，本发明揭示了一种分阶段式训练方法：将训练分为两个阶段：
首先，运用小部分数据训练Gmodel使其达到一个较为稳定的状态以避免同时训练Gmodel与Dmodel时容易出现的模型崩溃现象；
之后，再利用好剩余的大部分数据同时训练Gmodel与Dmodel。
示例性的：将准备好的训练集分为A,B两部分，其中A部分占训练集的30%（即所述小部分数据）,剩余的部分为B。
训练的第1阶段：
1）将训练集的A部分输入到Gmodel，获取Gmodel输出的复原图片y’；
2）计算y’与x’的均方误差loss：
Figure 892064DEST_PATH_IMAGE001
其中，xj’、yj’分别为x’、y’的像素值，n为像素个数，j从0取值到n；
3）若loss不小于设定的第一阈值，则对loss求导计算梯度，并反向传播梯度到Gmodel,以更新模型中的参数，直至loss小于所述设定的第一阈值；
若loss小于第一阈值，则进入训练的第2阶段；
训练的第2阶段：
1）将训练集的B部分输入到Gmodel，获取Gmodel输出的复原图片y’；
2）将y’与x’分别输入到判别模型Dmodel 获取两个判别概率df和dr,同时通过下式求取最大化值:
max(log(df)+log(1-dr))，
并以所述最大化值更新Dmodel的参数,当两个判别概率df、dr的值趋近于0.5时停止更新；
3）获取Dmodel计算判别概率时的中间特征，以计算感知误差Ploss：
Figure 130278DEST_PATH_IMAGE002
其中，vf、vr分别为y’与x’的中间特征，m为中间特征的个数，k从0取值到m；
若Ploss不小于设定的第二阈值，反向传播Ploss以更新Gmodel的参数，直至Ploss小于所述设定的第二阈值；Ploss小于设定的第二阈值时，训练结束；
考虑到现如今的涉及图像的神经网络往往将最后一层的特征送入到最后的分类器Softmax，这意味着特征是通过层层筛选以便将最后“有用”的特征作为图像的表达，问题是这导致某些特征的丢失和信息的遗漏，因此，本实施例是将部分或所有中间特征层的中间特征也利用上，以计算感知误差Ploss。
参见图1、图2，能够发现，与loss类似，感知误差Ploss同样控制是否继续更新Gmodel的参数。
7) 若Ploss不小于设定的第二阈值，反向传播Ploss以更新Gmodel的参数，直至Ploss小于所述设定的第二阈值；结合图2所示，Ploss小于设定的第二阈值时，训练结束。
由此，通过两个训练阶段，最终目的实现了对Gmodel的训练。对于本发明而言，在对Gmodel的训练完成之后，可以直接将Gmodel部署到现场服务器。输入的图片经过Gmodel的处理复原后即去除了水雾，去除水雾的图片可以再发送到其他的应用中以供后续使用。
能够理解，反向传播Ploss可以是类似于loss那样，对Ploss求导计算梯度，并反向传播梯度到Gmodel。
在另一个实施例中，
当Gmodel为深度神经网络时，对其训练时，还包括如下步骤：
S301：对于每一张用于训练深度神经网络的图像进行手工标注，标注关键点的位置，得到标注后的每张图像；
S302：以标注后的每张图像作为训练的相应阶段的输入，构造一种辅助神经网络，辅助深度神经网络对图像的学习和训练。
关于该实施例，考虑到图像识别的最终结果是输出各个关键点在图像上的坐标。然而，如果按照现有技术的做法：深度神经网络对图像进行学习，直接输出二维坐标来进行优化学习，则是一个极其非线性的过程，而且在优化学习时，用以优化的损失函数对神经网络内的权重的约束也会比较弱。因此，在本实施例中，我们根据训练的图像及手工标注的关键点的位置，通过构造一种辅助神经网络，最终构造了一种中间状态，用以辅助深度神经网络的训练及学习。能够理解，当Dmodel也为深度神经网络时，同样可以采用上述辅助神经网络的方式，辅助相应的神经网络对图像进行学习和训练。
在另一个实施例中，步骤S302，包括：
S3021：将标注后的每张图像作为输入，并从所述深度神经网络选择适当的中间层，获取该中间层的输出；
S3022：建立一个由卷积函数构成的辅助神经网络；
S3023：将所述中间层的输出及对应的标注前的每张图像的姿态估计矩阵，均输入到辅助神经网络；
S3024：将辅助神经网络与所述深度神经网络的输出进行合并，共同输入到所述深度神经网络的损失函数以优化所述深度神经网络的学习。
在另一个实施例中，
步骤S3023中的姿态估计矩阵通过如下步骤获得：
S30231：对所述相机进行标定，求解出相机的内参数，所述内参数包括：图像光轴主点、X和Y方向焦距、切向畸变系数、径向畸变系数；
S30232：进一步按如下方式求解姿态估计矩阵：
根据式x = M*[R|t]*X，求解姿态估计矩阵[R|t]，
其中，M为相机的内参数，X为世界坐标系，x为已知被拍摄物体的图像像素坐标；R、t分别为姿态估计矩阵的旋转向量及平移向量。
在另一个实施例中，
步骤S3021包括：
通过张正友标定法和已知尺寸的棋盘格，求解出相机的内参数。
例如，通过拍摄在不同方向、不同位置、尺寸已知的棋盘格在图像坐标系中的像素坐标，以及张正友标定法，求解出相机的内参数。
在另一个实施例中，
棋盘格取10cm*10cm。
在另一个实施例中，
所述深度神经网络选择ResNet50。典型的，通过Python来实现本方法。
在另一个实施例中，
所述辅助神经网络选择ResNet18。
在另一个实施例中，
所述卷积函数为Conv(input,w)，其中，input表示输入，w表示权重。
在另一个实施例中，损失函数选择均方误差函数。
参见图4，在另一个实施例中，前文所述的中间层输出选择中间层C5:7*7*2048的输出。
对于前文所述的有关实施例，本公开有效降低了相关模型训练时拟合的难度，同时提高了模型的鲁棒性。在同样的测试集中，采用上述图像作为训练集及采用上述训练、优化方法后，模型的[email protected]精度高于未采用的模型2.76%。进一步需要指出的是，通过基于Ranssac算法的PNP求解姿态估计矩阵时，即使在实际场景验证中，发现PNP求解的平均误差在5%左右，但由于本公开有效降低了相关模型训练时拟合的难度，同时提高了模型的鲁棒性，这使得姿态估计矩阵的误差并不影响后续的实际场景验证。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (10)

1.利用机器学***台监控画面进行去水雾的方法，其特征在于，所述方法包括以下步骤：
S100：通过摄像头按照预定帧率采集钻井平台的视频样本，对视频样本进行抽帧，所述视频样本包括含雾气的视频以及无雾气视频；
S200：从含雾气的视频中取连续的8帧图片，组合成视频帧序列X，X={xi,xi+1,…,xi+7}，从无雾气视频中选取与视频帧序列X中的任一图像相似的一帧实际图片x’作为目标图片，并将x’与视频帧序列X组成训练集Xtrain={X,x’}；
S300：将准备好的训练集Xtrain分为A、B两部分，其中A部分占训练集的30%,剩余的部分为B部分，以此训练模型model={Gmodel,Dmodel}，其中Gmodel为生成式模型，Dmodel为判别式模型；其中，训练分为2个阶段，训练集的A、B两部分分别用作2个阶段中Gmodel的输入；
S400：模型model训练完毕后，利用模型model中的生成式模型Gmodel对钻井平台的基于视频连续帧的图像去水雾。
2.根据权利要求1所述的方法，其特征在于，预定帧为25帧的帧率。
3.根据权利要求1所述的方法，其特征在于，步骤S300包括：
训练的第1阶段：
1）将训练集的A部分输入到Gmodel，获取Gmodel输出的复原图片y’；
2）计算y’与x’的均方误差loss：
Figure 231960DEST_PATH_IMAGE001
其中，xj’、yj’分别为x’、y’的像素值，n为像素个数，j从0取值到n；
3）若loss不小于设定的第一阈值，则对loss求导计算梯度，并反向传播梯度到Gmodel，以更新模型中的参数，直至loss小于所述设定的第一阈值；
若loss小于第一阈值，则进入训练的第2阶段；
训练的第2阶段：
1）将训练集的B部分输入到Gmodel，获取Gmodel输出的复原图片y’；
2）将y’与x’分别输入到判别模型Dmodel 获取两个判别概率df和dr,同时通过下式求取最大化值：
max(log(df)+log(1-dr))，
并以所述最大化值更新Dmodel的参数,当两个判别概率df、dr的值趋近于0.5时停止更新；
3）获取Dmodel计算判别概率时的中间特征，以计算感知误差Ploss：
Figure 290046DEST_PATH_IMAGE002
其中，vf、vr分别为y’与x’的中间特征，m为中间特征的个数，k从0取值到m；
若Ploss不小于设定的第二阈值，反向传播Ploss以更新Gmodel的参数，直至Ploss小于所述设定的第二阈值；
Ploss小于设定的第二阈值时，训练结束。
4.根据权利要求1所述的方法，其特征在于，当Gmodel为深度神经网络时，对其训练时，还包括如下步骤：
S301：对于每一张用于训练深度神经网络的图像进行手工标注，标注关键点的位置，得到标注后的每张图像；
S302：以标注后的每张图像作为训练的相应阶段的输入，构造一种辅助神经网络，辅助深度神经网络对图像的学习和训练。
5.根据权利要求4所述的方法，其特征在于，步骤S302包括如下步骤：
S3021：将标注后的每张图像作为输入，并从所述深度神经网络选择适当的中间层，获取该中间层的输出；
S3022：建立一个由卷积函数构成的辅助神经网络；
S3023：将所述中间层的输出及对应的标注前的每张图像的姿态估计矩阵，均输入到辅助神经网络；
S3024：将辅助神经网络与所述深度神经网络的输出进行合并，共同输入到所述深度神经网络的损失函数以优化所述深度神经网络的学习。
6.根据权利要求5所述的方法，其特征在于，步骤S3023中的姿态估计矩阵通过如下步骤获得：
S30231：对摄像头的相机进行标定，求解出相机的内参数，所述内参数包括：图像光轴主点、X和Y方向焦距、切向畸变系数、径向畸变系数；
S30232：进一步按如下方式求解姿态估计矩阵：
根据式x = M*[R|t]*X，求解姿态估计矩阵[R|t]，
其中，M为相机的内参数，X为世界坐标系，x为已知被拍摄物体的图像像素坐标；R、t分别为姿态估计矩阵的旋转向量及平移向量。
7.根据权利要求5所述的方法，其特征在于，步骤S3021包括：
通过张正友标定法和已知尺寸的棋盘格，求解出相机的内参数。
8.根据权利要求7所述的方法，其特征在于，棋盘格取10cm*10cm。
9.根据权利要求5所述的方法，其特征在于，所述深度神经网络选择ResNet50。
10.根据权利要求5所述的方法，其特征在于，所述辅助神经网络选择ResNet18。
CN202110803908.6A 2021-07-16 2021-07-16 利用机器学***台监控画面进行去水雾的方法 Active CN113256541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110803908.6A CN113256541B (zh) 2021-07-16 2021-07-16 利用机器学***台监控画面进行去水雾的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110803908.6A CN113256541B (zh) 2021-07-16 2021-07-16 利用机器学***台监控画面进行去水雾的方法

Publications (2)

Publication Number Publication Date
CN113256541A true CN113256541A (zh) 2021-08-13
CN113256541B CN113256541B (zh) 2021-09-17

Family

ID=77180506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110803908.6A Active CN113256541B (zh) 2021-07-16 2021-07-16 利用机器学***台监控画面进行去水雾的方法

Country Status (1)

Country Link
CN (1) CN113256541B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218329A (zh) * 2023-11-09 2023-12-12 四川泓宝润业工程技术有限公司 一种井口阀门检测方法、装置、存储介质及电子设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127702A (zh) * 2016-06-17 2016-11-16 兰州理工大学 一种基于深度学习的图像去雾算法
CN107798669A (zh) * 2017-12-08 2018-03-13 北京小米移动软件有限公司 图像去雾方法、装置及计算机可读存储介质
CN108230264A (zh) * 2017-12-11 2018-06-29 华南农业大学 一种基于ResNet神经网络的单幅图像去雾方法
CN109360155A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于多尺度特征融合的单帧图像去雨方法
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
CN109493303A (zh) * 2018-05-30 2019-03-19 湘潭大学 一种基于生成对抗网络的图像去雾方法
CN110136175A (zh) * 2019-05-21 2019-08-16 杭州电子科技大学 一种基于神经网络的室内典型场景匹配定位方法
US20200193927A1 (en) * 2017-01-26 2020-06-18 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device including the semiconductor device
WO2020190561A1 (en) * 2019-03-15 2020-09-24 Nvidia Corporation Techniques to train a neural network using transformations
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN111738940A (zh) * 2020-06-02 2020-10-02 大连理工大学 一种基于自注意力机制模范生成对抗网络的人脸图像眼部补全方法
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法
US20200387750A1 (en) * 2019-06-06 2020-12-10 Samsung Electronics Co., Ltd. Method and apparatus for training neural network model for enhancing image detail
CN112541864A (zh) * 2020-09-25 2021-03-23 中国石油大学(华东) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN112614070A (zh) * 2020-12-28 2021-04-06 南京信息工程大学 一种基于DefogNet的单幅图像去雾方法
CN112669242A (zh) * 2021-03-16 2021-04-16 四川大学 基于改进图像增强算法与生成对抗网络的夜景复原方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127702A (zh) * 2016-06-17 2016-11-16 兰州理工大学 一种基于深度学习的图像去雾算法
US20200193927A1 (en) * 2017-01-26 2020-06-18 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device including the semiconductor device
CN107798669A (zh) * 2017-12-08 2018-03-13 北京小米移动软件有限公司 图像去雾方法、装置及计算机可读存储介质
CN108230264A (zh) * 2017-12-11 2018-06-29 华南农业大学 一种基于ResNet神经网络的单幅图像去雾方法
CN109493303A (zh) * 2018-05-30 2019-03-19 湘潭大学 一种基于生成对抗网络的图像去雾方法
CN109360155A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于多尺度特征融合的单帧图像去雨方法
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
WO2020190561A1 (en) * 2019-03-15 2020-09-24 Nvidia Corporation Techniques to train a neural network using transformations
CN110136175A (zh) * 2019-05-21 2019-08-16 杭州电子科技大学 一种基于神经网络的室内典型场景匹配定位方法
US20200387750A1 (en) * 2019-06-06 2020-12-10 Samsung Electronics Co., Ltd. Method and apparatus for training neural network model for enhancing image detail
CN111738940A (zh) * 2020-06-02 2020-10-02 大连理工大学 一种基于自注意力机制模范生成对抗网络的人脸图像眼部补全方法
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN112541864A (zh) * 2020-09-25 2021-03-23 中国石油大学(华东) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN112614070A (zh) * 2020-12-28 2021-04-06 南京信息工程大学 一种基于DefogNet的单幅图像去雾方法
CN112669242A (zh) * 2021-03-16 2021-04-16 四川大学 基于改进图像增强算法与生成对抗网络的夜景复原方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
REN W Q等: "Single image dehazing via multi-scale convolutional neural networks", 《PROCEEDINGS OF THE 2016 EUROPEAN CONFERENCE ON COMPUTER VISION》 *
孙潇等: "基于级联生成对抗网络的遥感图像去雾方法", 《计算机应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218329A (zh) * 2023-11-09 2023-12-12 四川泓宝润业工程技术有限公司 一种井口阀门检测方法、装置、存储介质及电子设备
CN117218329B (zh) * 2023-11-09 2024-01-26 四川泓宝润业工程技术有限公司 一种井口阀门检测方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN113256541B (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN110008817B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN108932693B (zh) 基于人脸几何信息的人脸编辑补全方法及装置
CN107103613B (zh) 一种三维手势姿态估计方法
CN111047522B (zh) 一种基于边缘生成的图像修复方法
CN111696196B (zh) 一种三维人脸模型重建方法及装置
CN110009573B (zh) 模型训练、图像处理方法、装置、电子设备及存储介质
CN112508814B (zh) 一种基于无人机低空视角下的图像色调修复型去雾增强方法
CN112528782B (zh) 水下鱼类目标检测方法及装置
WO2023066173A1 (zh) 图像处理方法、装置及存储介质、电子设备
CN113256541B (zh) 利用机器学***台监控画面进行去水雾的方法
CN113516604B (zh) 图像修复方法
CN114821580A (zh) 一种分阶段融入去噪模块的含噪图像分割方法
US20220156889A1 (en) Saliency map generation method and image processing system using the same
Wei et al. Facial image inpainting with deep generative model and patch search using region weight
Du et al. Perceptually optimized generative adversarial network for single image dehazing
CN117036189A (zh) 基于流明一致性与互补色矫正联合学习的水下图像复原模型
CN112232221A (zh) 用于人物图像处理的方法、***和程序载体
WO2020044630A1 (ja) 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム
CN116051407A (zh) 一种图像修复方法
CN113378980B (zh) 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法
CN111461959B (zh) 人脸情绪合成方法及装置
CN113792629A (zh) 一种基于深度神经网络的安全帽佩戴检测方法及***
CN113012071A (zh) 一种基于深度感知网络的图像失焦去模糊方法
CN118279190A (zh) 基于大气散射模型的带雾图像目标检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 610056 No.05, 11th floor, building 1, 99 mengzhuiwan Hengjie, Chenghua District, Chengdu City, Sichuan Province

Patentee after: Sichuan hongbaorunye Engineering Technology Co.,Ltd.

Patentee after: Chongqing Hongbao Technology Co.,Ltd.

Patentee after: Beijing Baolong Hongrui Technology Co.,Ltd.

Address before: 610056 No.05, 11th floor, building 1, 99 mengzhuiwan Hengjie, Chenghua District, Chengdu City, Sichuan Province

Patentee before: Sichuan hongbaorunye Engineering Technology Co.,Ltd.

Patentee before: Chongqing Qingyun Petroleum Engineering Technology Co.,Ltd.

Patentee before: Beijing Baolong Hongrui Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder