CN111724331B - 一种基于生成网络的多孔介质图像重建方法 - Google Patents

一种基于生成网络的多孔介质图像重建方法 Download PDF

Info

Publication number
CN111724331B
CN111724331B CN201910221978.3A CN201910221978A CN111724331B CN 111724331 B CN111724331 B CN 111724331B CN 201910221978 A CN201910221978 A CN 201910221978A CN 111724331 B CN111724331 B CN 111724331B
Authority
CN
China
Prior art keywords
reconstruction
image
porosity
mode
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910221978.3A
Other languages
English (en)
Other versions
CN111724331A (zh
Inventor
滕奇志
冯俊羲
何小海
卿粼波
吴小强
吴晓红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910221978.3A priority Critical patent/CN111724331B/zh
Publication of CN111724331A publication Critical patent/CN111724331A/zh
Application granted granted Critical
Publication of CN111724331B publication Critical patent/CN111724331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成网络的多孔介质图像重建方法。本发明针对二维图像缺失或不完整的问题,提出了基于生成网络的重建方法。本发明的主要创新包括:提出用深度生成网络来学习局部图像到完整图像之间的映射关系;设计了基于模式的损失函数和基于孔隙度的损失函数;联合GAN损失和L1损失,通过设定不同的权重来共同约束重建过程;引入高斯噪声以实现重建结果的多样性。对于不同的多孔介质,制作了相应的数据集,采用视觉效果和统计函数的方式来验证了本发明的有效性。该方法快速、准确、可拓展性强,可以重建多相介质、处理各向异性图像重建、结合用户自定义的数据、加速其他重建算法等,具有较好的应用价值。

Description

一种基于生成网络的多孔介质图像重建方法
技术领域
本发明涉及一种基于生成网络的多孔介质图像的重建方法,尤其涉及一种利用极其有限信息来重建多孔介质完整图像的方法,属于图像处理技术领域。
背景技术
多孔介质如岩石、土壤、复合材料等大量存在于自然界和人们的生活中,并在实际工程应用中有着广泛的应用。多孔介质的微观结构直接决定着外部的宏观性质,因此,对它们内部结构的理解就显得尤为重要。
以岩石为例,获取其内部微观结构图像有两种主要的方式。一是利用三维成像技术,如计算机断层扫描computed tomography(CT),扫描电镜(scanning electronmicroscope,SEM)等技术进行成像,直接获取岩心的三维图像;二是利用光学显微镜等成像设备获取二维图像(截面),并通过三维建模算法进行重构,来间接地获取三维图像。近年来,这两类方法相辅相成,都得到了飞速的发展。然而,相比之下二维图像的获取有着成本低、操作较为简单等优势,因此越来越得到研究学者的关注。
利用单张二维图像进行三维重建的方法主要有:模拟退火算法(SA)、多点地质统计算法(MPS)等。这些算法大多有个假设,即要求二维训练图像(TI)是平稳的。对于非平稳的图像,它们往往难以重建出比较真实的结果。另外在实际中,二维图像通常并不允许用户去选择,它们有可能是部分缺失和不完整的。训练图像的不完整无疑是给基于其进行后续三维重建和分析带来了困难。因此,研究如何利用现有信息进行二维图像的重建是一个关键的问题。此外,重建速度和准确度也是亟待解决的问题,如需要针对多孔介质二维图像的特性,针对性地提出相应的约束函数(也称为loss函数),以确保重建的图像与真实图像的一致。
发明内容
本发明的目的就在于为了解决上述问题而提供一种准确而快速的基于生成网络的多孔介质二维图像重建方法。
本发明通过以下技术方案来实现上述目的:
一种准确而快速的基于深度学习的多孔介质二维重建方法,包括以下步骤:
(1)制作二维图像数据集,用于网络的训练和测试;
(2)设计基于模式分布的约束函数,目的是对重建结果的统计特性进行约束;
(3)设计基于孔隙度的约束函数,目的是对重建结果的孔隙度进行约束;
(4)提出的两个约束函数联合GAN loss和L1loss,共同约束整个重建过程;
(5)重建中,引入高斯噪声以确保生成样本的多样性;
(6)训练和测试神经网络,调整参数,直到重建结果符合真实预期。
上述方法的基本原理如下:
利用有限的局部信息恢复出完整图像本身是一个逆问题。要解决这个逆问题的一大关键要素就是充分利用先验信息。对于多孔介质的重建而言,我们期望重建结果一方面保留初始的硬数据,另一方面能够恢复出与目标值接近的统计特性。保留初始的硬数据可以直接利用L1loss进行约束,而保持重建结构的准确性则需要更多的约束。首先,和其他重建算法如MPS,SA等类似,重建结果的孔隙度是最重要的评价指标。因此,需要设计基于孔隙度的约束函数来约束重建过程。其次,从本质上讲,孔隙度只反映了单点统计特性,图像中的两点或多点统计特性并未被约束。因此,为保证重建结果的统计一致性,需要设计约束统计特性的代价函数。同时,重建结果的多样性也是一个需要面对的挑战,由于逆问题的本质通常允许接受多个解,针对这个重建问题而言,需要引入变量来保证结果的多样性。此外,重建时间依然是一个值得考虑的问题。
具体地,所述步骤(1)中,由于没有现成的数据集,根据不同的任务,共制作了600-800个图像对,每一个样本对由一幅孔隙局部图像和一幅对应的完整图像组成。其中随机选择70%的数据作为训练,剩下的30%作为测试。采用条件GAN(conditional generativeadversarialnetworks,CGAN)网络作为基本的网络结构
所述步骤(2)中,为了对重建结果的统计特性进行约束,需要设计相应的约束函数。设计的基于模式分布的约束函数计算过程如下:①用一个N×N的固定模板逐点扫描图像,得到所有的模式;②为方便后续计算,将每一个模式拉平为二进制数,并转为对应的十进制数;③计算每一个模式出现的次数并归一化到0~1,得到图像的模式分布。这个模式分布就是作为重建时候的约束。在整个训练的过程当中,神经网络的输出可能有除了0和255灰度值之外的值,中间需要做二值化处理。通过设定一个阈值进行分割,再进行模式的获取。
所述步骤(3)中,为了约束重建结果的孔隙度,设计基于孔隙度的约束函数。孔隙度是衡量重建结果的最直接的指标,也是重建中最需要复原的参数。通过设定的阈值进行分割,分割后的图再计算其孔隙度与目标值的差异。
所述步骤(4)中,除了上述两个loss函数之外,还用了另外两个loss函数。一是L1loss,它的作用是保证输出图像与输入图像有相同的硬数据;二是GAN loss,它的作用是衡量用鉴别器D来判定G生成的图像的好坏。这个值越小,代表G生成的图像越真实。由上得知,在重建中,总计有4个loss函数,它们将共同来约束重建过程。
所述步骤(5)中,为保证重建结果的多样性,引入了高斯噪声来确保生成样本的变化性。网络G的输入除了待重建的图像外,还有高斯噪声,并且高斯噪声在G网络的各个中间层均有加入,以确保G的预测值具有足够的变化性。
所述步骤(6)中,训练和测试神经网络,调整参数,直到重建结果符合真实预期。主要调整的参数包括学习率(learning rate)、每个约束函数的权重(weight),噪声的维度等。
本发明的有益效果在于:
本发明利用了深度学习的方法,利用仅有的少量的信息恢复出其完整图像。传统方法如DS和CCSIM的变形,也可以用到类似的问题上。然而,这类方法的特点是非常依赖给定图像中已知数据的多少。给定的数据越多,重建结果可能会越精确。然而,在本发明所解决的问题上,效果比较一般,存在着较大的误差;同时重建时间也比较长。本发明的方法能够快速而准确的进行重建,并有着其他的优点:1)处理多相重建;2)处理各向异性重建;3)可以结合用户自定义的硬数据;4)可耦合其他重建算法如MPS,DS和CCSIM,进行算法加速。
附图说明
图1多孔介质重建示意图
图2两点概率,线性路径,两点簇函数示意图
图3数据集示意
图4基于模式的约束函数的计算方式示意图
图5橡胶/二氧化硅材料图像重建结果视觉对比
图6橡胶/二氧化硅材料图像重建结果统计参数对比
图7电池材料图像重建结果视觉对比
图8电池材料图像重建结果统计参数对比
图9砂岩图像重建结果视觉对比
图10砂岩图像重建结果统计参数对比
具体实施方式
下面结合具体实施例和附图对本发明作进一步说明:
实施例:
为了使本发明所述重建方法更加便于理解和接近于真实应用,下面从基于深度学习的重建方法的各个步骤进行详细的整体说明,其具体操作步骤如下:
(1)针对不同的重建图像,制作用于深度神经网络训练的数据集。图1表示的是多孔介质重建的示意图。图3给出了橡胶/二氧化硅材料的数据集中的几个样本(其中白色为二氧化硅,黑色为橡胶)。该数据集共有800个图像对,每个图像对由两个128×128的待重建图像和目标图像组成。
(2)基于模式的约束函数的计算如图4所示。实验中,为了兼顾重建的准确性和速度,采用的是3×3的模板大小。也就是说,模式的种类最多有23×3=512种模式。统计这些模式出现的频率并计算与目标值之间的差异,作为其中一项loss Lpattern。需要先阈值分割,再遍历图像计算模式分布的差异。实验中采用的阈值是T=10,即像素点P(x,y)的取值为:
Figure GDA0002042825680000041
(3)基于孔隙度的约束函数的计算很直接:先阈值分割,再计算孔隙度的差异,作为其中一项loss Lporosity
(4)除了上述两个loss函数之外,还用了另外两个loss函数。一是L1loss,它的作用是保证输出图像与输入图像有相同的硬数据;二是GAN loss,它的作用是表示用鉴别器D来判定G生成的图像的好坏。在重建中,这4个loss函数,它们将共同约束重建过程。总的loss函数Ltotal loss为:
Figure GDA0002042825680000042
其中,
Figure GDA0002042825680000043
与λporosity分别设置为:10,1.0×105和1.0×105。扫描模板大小N设置为3。
(5)通过引入高斯噪声来保证重建结果的多样性。G网络采用的是经典的带skipconnection的U-Net,高斯噪声在U-Net的各个层都与当前层的输入拼接在一起,再作为总的网络输入。高斯噪声的基本维度为8*1*1,根据情况扩充为8*H*W(H,W是当前层特征图谱的高和宽)
(6)其中几个重要的网络参数为:采用Adam优化器;学习率设置为2×10-4;训练的epoch次数为400,后200次的学习率线性衰减。
(7)训练完成后,通过测试图像重建的质量来评价网络的性能。为了从统计上来衡量重建结果的好坏,我们对每一张二维图像都重建了20次,在CPU上的单次运行时间只有~0.08秒。我们定量地分析和对比了3组图像,并对每一组的20张重建图像的孔隙度和统计参数(定义如图2所示)的分布情况。实验结果如下:
①橡胶/二氧化硅材料的图像重建。图5给出了其中3次的重建结果,它们均表现出既保持了输入的硬数据(矩形框标出的部分),又具有很好的多样性,达到了我们重建的目的。图6表示的是重建结果的统计参数的比较,中间虚线是20次结果的平均值,非常接近于目标值。此外,20组重建图的孔隙度分布为φCGAN=0.099±0.003,目标孔隙度为φtarget=0.0962,可以看出二者的差距非常小。综上可以得出,不管是视觉效果还是定量的参数比较,重建的结果与目标值都很接近。
②电池材料的重建。图7和图8给出了输入图像(一种电池材料)包含4个子区域的重建情况和定量分析。同样地,重建结果非常接近于真实值。
③岩心图像的重建。这个重建中,我们还对比了经典算法DS的性能。从图9和图10可以看出,本发明中的算法在视觉效果、定量的指标上明显优于DS算法。另外在时间上,本发明只需要0.08秒,然而DS算法需要1.6秒,本发明实现了约20倍的提速。
上述实施例只是本发明的优选实施案例,并不是对本发明所述技术方案的限制,只要是不经过创造性劳动即可在上述实施案例的基础上实现的技术方案,均应视为落入本发明内容的保护范围内。

Claims (2)

1.一种基于生成网络的多孔介质图像重建方法,其特征在于:包括以下步骤:
(1)制作二维图像数据集,用于网络的训练和测试;
(2)设计基于模式分布的约束函数,目的是对重建结果的模式分布进行约束;设计的基于模式分布的约束函数计算过程如下:①用一个固定模板逐点扫描图像,得到所有的模式;②为方便后续计算,将每一个模式拉平为二进制数,并转为对应的十进制数;③计算每一个模式出现的次数并归一化到0~1,得到图像的模式分布;这个模式分布就是作为重建时候的约束;需要注意的是,在整个训练的过程当中,神经网络的输出可能有除了0和255灰度值之外的值,中间需要做二值化处理;通过设定一个阈值进行分割,得到的二值图再进行模式的获取和模式分布的计算;
(3)设计基于孔隙度的约束函数,目的是对重建结果的孔隙度进行约束;
(4)提出的两个约束函数联合GANloss和L1loss,共同约束整个重建过程;
(5)重建中,引入高斯噪声以确保生成样本的多样性;
(6)训练和测试神经网络,调整参数,直到重建结果符合真实预期。
2.根据权利要求1所述的基于生成网络的多孔介质图像重建方法,其特征在于:
所述步骤(1)中,由于没有现成的数据集,根据不同的任务,共制作了600-800个样本,每一个样本对由一幅孔隙局部图像和一幅对应的完整图像组成;其中随机选择70%的数据作为训练,剩下的30%作为测试;
所述步骤(3)中,设计了基于孔隙度的约束函数对重建结果的孔隙度进行约束;通过设定的阈值对图像进行分割,再计算其孔隙度与目标值的差异;
所述步骤(4)中,总的代价函数由GAN损失、L1损失、基于模式的损失和基于孔隙度的损失构成,它们的权重设定通过多次实验得出;
所述步骤(5)中,引入高斯噪声确保生成样本的多样性;通过设定不同的噪声数值,可以产生不同的样本,保证了重建结果的多样性。
CN201910221978.3A 2019-03-22 2019-03-22 一种基于生成网络的多孔介质图像重建方法 Active CN111724331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910221978.3A CN111724331B (zh) 2019-03-22 2019-03-22 一种基于生成网络的多孔介质图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910221978.3A CN111724331B (zh) 2019-03-22 2019-03-22 一种基于生成网络的多孔介质图像重建方法

Publications (2)

Publication Number Publication Date
CN111724331A CN111724331A (zh) 2020-09-29
CN111724331B true CN111724331B (zh) 2023-05-09

Family

ID=72563526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910221978.3A Active CN111724331B (zh) 2019-03-22 2019-03-22 一种基于生成网络的多孔介质图像重建方法

Country Status (1)

Country Link
CN (1) CN111724331B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114519781B (zh) * 2020-11-18 2023-05-02 四川大学 一种基于循环神经网络的岩心图像三维重建方法
CN112381845B (zh) * 2020-12-02 2023-04-18 中国石油大学(华东) 岩心图像生成方法、模型训练方法及装置
WO2023176062A1 (ja) * 2022-03-15 2023-09-21 日本碍子株式会社 多孔質体の設計方法及び多孔質体の製造方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706956A (zh) * 2009-11-06 2010-05-12 上海第二工业大学 一种利用多点地质统计法重构图像统计信息的方法
CN107146279A (zh) * 2017-04-25 2017-09-08 四川大学 一种基于共生相关函数的多孔介质三维建模方法
CN107507234A (zh) * 2017-08-29 2017-12-22 北京大学 锥束计算机断层扫描图像与x光图像配准方法
CN108665546A (zh) * 2018-05-17 2018-10-16 四川大学 一种结合深度学习的多点地质统计三维建模方法
CN108876901A (zh) * 2018-05-14 2018-11-23 中国石油大学(华东) 一种基于二维图像和多点统计学的数字岩心重建方法
CN108898560A (zh) * 2018-06-21 2018-11-27 四川大学 基于三维卷积神经网络的岩心ct图像超分辨率重建方法
CN108961198A (zh) * 2018-07-09 2018-12-07 中国海洋大学 一种多风格生成对抗网络的水下图像合成方法及其应用

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9251606B2 (en) * 2012-02-01 2016-02-02 The Research Foundation For The State University Of New York Computerized image reconstruction method and apparatus
WO2016001752A2 (en) * 2014-06-30 2016-01-07 Cgg Services Sa Ensemble-based multi-scale history-matching device and method for reservoir characterization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706956A (zh) * 2009-11-06 2010-05-12 上海第二工业大学 一种利用多点地质统计法重构图像统计信息的方法
CN107146279A (zh) * 2017-04-25 2017-09-08 四川大学 一种基于共生相关函数的多孔介质三维建模方法
CN107507234A (zh) * 2017-08-29 2017-12-22 北京大学 锥束计算机断层扫描图像与x光图像配准方法
CN108876901A (zh) * 2018-05-14 2018-11-23 中国石油大学(华东) 一种基于二维图像和多点统计学的数字岩心重建方法
CN108665546A (zh) * 2018-05-17 2018-10-16 四川大学 一种结合深度学习的多点地质统计三维建模方法
CN108898560A (zh) * 2018-06-21 2018-11-27 四川大学 基于三维卷积神经网络的岩心ct图像超分辨率重建方法
CN108961198A (zh) * 2018-07-09 2018-12-07 中国海洋大学 一种多风格生成对抗网络的水下图像合成方法及其应用

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Feng J, He X, Teng Q.Accurate and fast reconstruction of porous media from extremely limited information using conditional generative adversarial network.《arXiv preprint》.2019,1-10. *
Junxi Feng 等.Accelerating multi-point statistics reconstruction method for porous media via deep learning.《Acta Materialia》.2018,第159卷296-308. *
左琛 ; 滕奇志 ; 何小海 ; 高明亮 ; .快速多点地质统计三维重建算法.四川大学学报(自然科学版).2016,(第02期),338-346. *
滕奇志 ; 唐棠 ; 李征骥 ; 何小海.基于粒子群优化的岩石薄片三维图像重建.《电子与信息学报》.2011,(第(2011)08期),1871-1876. *

Also Published As

Publication number Publication date
CN111724331A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
Li et al. DRPL: Deep regression pair learning for multi-focus image fusion
CN111724331B (zh) 一种基于生成网络的多孔介质图像重建方法
CN110189255B (zh) 基于两级检测的人脸检测方法
Li Deep learning for image denoising
CN111127387B (zh) 无参考图像的质量的评价方法
CN110111266B (zh) 一种基于深度学习去噪的近似信息传递算法改进方法
CN114067168A (zh) 基于改进的变分自编码器网络的布匹缺陷图像生成***及方法
CN116051382A (zh) 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法
Roziere et al. Tarsier: Evolving noise injection in super-resolution gans
CN116504314B (zh) 基于细胞动态分化的基因调控网络构建方法
CN114003900A (zh) 变电站二次***网络入侵检测方法、装置及***
CN108648180A (zh) 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法
Krishnan et al. A novel underwater image enhancement technique using ResNet
Ekmekci et al. Quantifying generative model uncertainty in posterior sampling methods for computational imaging
CN112070110B (zh) 一种致密储层微观孔喉结构分级模式的预测方法
Harjoko et al. Image blocks model for improving accuracy in identification systems of wood type
CN113205491A (zh) 一种基于深度学习的织物起毛起球评级方法
CN113470058A (zh) 一种砾石的粒度分布测量方法及装置
CN116977473B (zh) 一种基于投影域和图像域的稀疏角ct重建方法及装置
CN112581367B (zh) 基于随机样本分类增扩的gpr图像超分辨率重建方法
Mahmood Performance Evaluation of Natural Scenes Features to create Opinion Unaware-Distortion Unaware IQA Metric
Annalakshmi et al. Side Scan Sonar Images Based Ocean Bottom Sediment Classification
CN112966749B (zh) 基于半监督滑窗全卷积网络的极化sar图像分类方法
Esfahani et al. Cover selection for more secure steganography
Tang et al. A no-reference adaptive blockiness measure for JPEG compressed images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant