CN112132959A - 数字岩心图像处理方法、装置、计算机设备及存储介质 - Google Patents

数字岩心图像处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112132959A
CN112132959A CN202011027637.1A CN202011027637A CN112132959A CN 112132959 A CN112132959 A CN 112132959A CN 202011027637 A CN202011027637 A CN 202011027637A CN 112132959 A CN112132959 A CN 112132959A
Authority
CN
China
Prior art keywords
image
loss
dimensional
digital core
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011027637.1A
Other languages
English (en)
Other versions
CN112132959B (zh
Inventor
刘彦昌
单立群
孙明港
戚先锋
祁妍嫣
汤敏
孔维芳
白雪原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Petroleum University
Original Assignee
Northeast Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Petroleum University filed Critical Northeast Petroleum University
Priority to CN202011027637.1A priority Critical patent/CN112132959B/zh
Publication of CN112132959A publication Critical patent/CN112132959A/zh
Application granted granted Critical
Publication of CN112132959B publication Critical patent/CN112132959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种数字岩心图像处理方法、装置、计算机设备及存储介质，包括：获取数字岩心训练图像；其中，所述数字岩心训练图像包括不同分辨率的数字岩心三维CT图像；根据所述数字岩心训练图像分别训练生成对抗网络的生成器模型和判别器模型，得到三维数字岩心图像生成对抗网络模型；根据所述三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像。本发明实施例能够提高三维数字岩心重建图像的图像质量。

Description

数字岩心图像处理方法、装置、计算机设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种数字岩心图像处理方法、装置、计算机设备及存储介质。
背景技术
计算机断层扫描(Computed Tomography，CT)技术可以生成详细描述多孔岩石样本内部微观结构的3D图像，可以帮助确定岩石的岩石物性和流动特性。CT可以跨越几毫米的视场(Field of Vision，FOV)上分辨低至几微米的特征，足以表征常规岩石的微观结构，能够帮助地质研究人员分析岩石的物理性质，并在地质和石油勘探领域中发挥重要作用。实际上，完整的3D数字岩心CT图像是由二维(2D)切片图像组成的，由于CT设备固有的局限性，设置高分辨率不仅需要很高的成本，而且会导致FOV减小，从而导致储层岩石远距离特性的损失。在许多情况下，只能获得低分辨的CT图像。因此，使用超分辨率重建算法是提高数字岩心CT图像分辨率的有效方法，可以为后续的地质研究提供更清晰的样本数据。
图像超分辨率重建是计算机视觉中的经典任务之一，其目标是通过低分辨率输入图像重建高分辨率图像。主要包括三类实现方法：基于插值的算法、基于重建的算法和基于学习的算法。其中，利用邻域的像素点进行权重组合得到目标像素值的插值算法由于其形式简单、处理速度快的特点得到了广泛应用。然而，这类算法会损失图像高频信息，丢失图像细节，造成图像模糊。在此基础上出现了基于边缘的插值算法，其一定程度上保留了图像的高频信息，然而基于边缘的插值算法难以处理图像的纹理区域，适用范围有着很大的限制。基于重建的方法是通过建模图像的退化模型来约束高低分辨率图像变量之间的一致性，进而估计出高分辨率图像。这类方法通过正则项约束来获得稳定的解，但是加入强制性先验信息会破坏图像的原始结构特征，导致重建图像失真。而且计算复杂度高，无法达到重建中实时处理的要求。
基于学习的方法利用有监督的机器学习建立低分辨率图像和高分辨率图像的非线性映射关系进行图像的重建。这类方法能从样本集中提取图像的先验信息，从而可取得更高的重建精度。然而，传统的基于学习的重建方法只能提取图像较为简单的特征不足以充分地表征图像信息，使图像的重建质量受到了限制。近年来，深度学习方法被应用到图像超分辨率重建中，提出了基于卷积神经网络的超分辨率重建方法(Learning a DeepConvolutional Network for Image Super-Resolution，SRCNN)，以端对端的方法直接学习低分辨率图像到高分辨率图像的端到端的映射函数，可以产生非常清晰的生成图。然而，由于卷积神经网络中梯度弥散现象的影响，SRCNN在卷积深度较大的情况下会出现网络退化的现象，即图像的重建质量下降，限制了算法的重建性能。随后，出现了将生成式对抗网络用于图像超分辨重构，提出了一种超分辨率生成对抗网络(Super-ResolutionGenerative Adversarial Networks，SRGAN)，该方法能够恢复出更多的高频细节。目前，在SRGAN的基础上，提出了ESRGAN网络对对抗损失以及感知损失进一步的改善，引入残差密集块来组建网络，提高了图像的重建精度。
尽管上述基于深度神经网络的超分辨率方法在图像重建质量上取得了很大的突破，但仍有许多不足之处。不采用对抗训练的深度神经网络(如：SRCNN)会使得重建出的图像过于平滑，不符合人类对自然图片的感知。采用对抗神经网络的方法，如SRGAN和ESRGAN(Enhanced Super-Resolution Generative Adversarial Networks，增强型超分辨率生成对抗网络)，能够解决重建图像过于平滑的问题，更符合人类对自然图片的感知，但由于对抗生成网络(Generative Adversarial Network，GAN)训练非常不稳定的原因，使得重建出的图片出现噪声，影响了图片质量，降低了网络的泛化性能。此外，目前上述算法主要应用于二维图像重构，并没有应用到三维岩心CT图像重构。
发明内容
本发明实施例提供一种数字岩心图像处理方法、装置、计算机设备及存储介质，以提高三维数字岩心重建图像的图像质量。
第一方面，本发明实施例提供了一种数字岩心图像处理方法，包括：
获取数字岩心训练图像；其中，所述数字岩心训练图像包括不同分辨率的数字岩心三维CT图像；
根据所述数字岩心训练图像分别训练生成对抗网络的生成器模型和判别器模型，得到三维数字岩心图像生成对抗网络模型；
根据所述三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像。
第二方面，本发明实施例还提供了一种数字岩心图像处理装置，包括：
训练图像获取模块，用于获取数字岩心训练图像；其中，所述数字岩心训练图像包括不同分辨率的数字岩心三维CT图像；
网络模型获取模块，用于根据所述数字岩心训练图像分别训练生成对抗网络的生成器模型和判别器模型，得到三维数字岩心图像生成对抗网络模型；
图像重构模块，用于根据所述三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的数字岩心图像处理方法。
第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的数字岩心图像处理方法。
本发明实施例通过利用包括不同分辨率的数字岩心三维CT图像作为数字岩心训练图像，以根据数字岩心训练图像分别训练生成对抗网络的生成器模型和判别器模型，得到三维数字岩心图像生成对抗网络模型，并根据三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像，解决现有三维数字岩心图像重建图像存在的图像质量较低的问题，从而提高三维数字岩心重建图像的图像质量。
附图说明
图1是本发明实施例一提供的一种数字岩心图像处理方法的流程图；
图2是本发明实施例二提供的一种数字岩心图像处理方法的流程图；
图3是本发明实施例二提供的一种模型训练及数字岩心图像处理的流程示意图；
图4是本发明实施例二提供的一种生成器模型的结构示意图；
图5本发明实施例二提供的一种判别器模型的结构示意图；
图6是本发明实施例二提供的一种利用三维数字岩心图像生成对抗网络模型的生成器模型生成目标三维数字岩心图像的效果示意图；
图7是本发明实施例二提供的一种评价指标对比效果示意图；
图8是本发明实施例三提供的一种数字岩心图像处理装置的示意图；
图9为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本发明实施例一提供的一种数字岩心图像处理方法的流程图，本实施例可适用于对待优化的三维数字岩心图像进行重构以提高图像质量的情况，该方法可以由数字岩心图像处理装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在计算机设备中。相应的，如图1所示，该方法包括如下操作：
S110、获取数字岩心训练图像；其中，所述数字岩心训练图像包括不同分辨率的数字岩心三维CT图像。
其中，数字岩心训练图像可以是根据已有的数字岩心图像构建的训练图像，用于对三维数字岩心图像生成对抗网络模型进行训练。数字岩心三维CT图像也即岩心的三维CT图像。
在本发明实施例中，数字岩心训练图像可以包括不同分辨率的数字岩心三维CT图像。可选的，数字岩心训练图像可以包括低分辨率和高分辨率等两种不同分辨率的数字岩心三维CT图像。其中，低分辨率的数字岩心三维CT图像对应的分辨率低于第一设定分辨率阈值，高分辨率的数字岩心三维CT图像对应的分辨率高于第二设定分辨率阈值。第一设定分辨率阈值和第二设定分辨率阈值可以根据实际需求设定，本发明实施例并不对第一设定分辨率阈值和第二设定分辨率阈值的具体数值进行限定。
S120、根据所述数字岩心训练图像分别训练生成对抗网络的生成器模型和判别器模型，得到三维数字岩心图像生成对抗网络模型。
生成对抗网络由是两个神经网络组成，即生成器模型和判别器模型。生成器模型主要用于根据获取的内容(如图像等)生成新数据，而判别器模型主要用于判别生成器模型生成的数据是否合法。三维数字岩心图像生成对抗网络模型即为利用数字岩心训练图像对生成器模型和判别器模型训练成功后得到的生成对抗网络模型。
在本发明实施例中，通过利用不同分辨率的数字岩心三维CT图像作为数字岩心训练图像，对生成对抗网络进行训练，可以使得训练得到的三维数字岩心图像生成对抗网络模型能够有效对三维数字岩心图像进行重构。
S130、根据所述三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像。
其中，待优化数字岩心图像可以是低分辨率的三维数字岩心图像。目标三维数字岩心图像可以是具有特定分辨率的三维数字岩心图像。
相应的，当三维数字岩心图像生成对抗网络模型训练成功后，即可将待优化数字岩心图像输入至三维数字岩心图像生成对抗网络模型的生成器模型中，以利用三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像。目标三维数字岩心图像的分辨率要高于待优化数字岩心图像的分辨率，使得重构得到的目标三维数字岩心图像能够恢复待优化数字岩心图像中的细节信息，其清晰度更高，从而提高三维数字岩心重建图像的图像质量。
本发明实施例通过利用包括不同分辨率的数字岩心三维CT图像作为数字岩心训练图像，以根据数字岩心训练图像分别训练生成对抗网络的生成器模型和判别器模型，得到三维数字岩心图像生成对抗网络模型，并根据三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像，解决现有三维数字岩心图像重建图像存在的图像质量较低的问题，从而提高三维数字岩心重建图像的图像质量。
实施例二
图2是本发明实施例二提供的一种数字岩心图像处理方法的流程图，图3是本发明实施例二提供的一种模型训练及数字岩心图像处理的流程示意图，本实施例以上述实施例为基础进行具体化，在本实施例中，给出了获取数字岩心训练图像、训练三维数字岩心图像生成对抗网络模型的具体可选的实施方式。相应的，如图2和图3所示，本实施例的方法可以包括：
S210、获取至少一种已知岩石的二维CT图像。
其中，已知岩石例如可以是砂岩、碳酸盐岩或煤地质岩(也即煤岩)等岩石类型，本发明实施例并不对已知岩石的具体岩石类型仅限定。
在本发明实施例中，获取数字岩心训练图像时，可以首先获取至少一种已知岩石的二维CT图像。例如，可以搜集来自多个砂岩、碳酸盐岩和煤地质岩心的二维CT图像。
S220、对所述二维CT图像进行图像预处理和图像增强处理，得到二维CT处理图像。
其中，图像预处理也即对图像进行预处理操作，图像增强处理也即对图像进行数据增强。二维CT处理图像可以是二维CT图像经过图像预处理和图像增强处理后得到的二维CT图像。
相应的，在获取至少一种已知岩石的二维CT图像之后，可以对二维CT图像进行去燥等图像预处理操作，然后对图像预处理得到的二维CT图像进行旋转、翻转和模糊操作等图像增强处理，从而扩充数字岩心训练图像中的样本数量。
S230、根据所述二维CT处理图像构建三维CT图像。
进一步的，得到二维CT处理图像后，可以根据二维CT处理图像构建三维CT图像。
示例性的，可以对搜集的二维CT图像进行处理，并对得到的图像进行堆栈，进而形成三维CT图像。
S240、根据所述三维CT图像构建所述数字岩心训练图像。
相应的，根据二维CT处理图像构建三维CT图像后，即可利用三维CT图像构建数字岩心训练图像。
在本发明的一个可选实施例中，所述根据所述三维CT图像构建所述数字岩心训练图像，可以包括：对所述三维CT图像进行分割，得到第一分辨率的三维CT分割图像；对所述三维CT分割图像按照设定缩放数值进行缩放处理，得到第二分辨率的三维CT缩放图像；根据所述三维CT分割图像和所述三维CT缩放图像构建所述数字岩心训练图像。
其中，三维CT分割图像可以是对三维CT图像进行分割得到的小模块的三维CT图像，第一分辨率也即根据二维CT处理图像构建的三维CT图像的原始图像分辨率。设定缩放数值可以根据实际需求设定，如1/2、1/4或1/8等，本发明实施例并不对设定缩放数值的具体数值大小进行限定。第二分辨率也即三维CT分割图像进行缩放处理后得到的缩放图像对应的分辨率。可以理解的是，第二分辨率比第一分辨率的分辨率数值低。
具体的，根据三维CT图像构建数字岩心训练图像时，可以对获取的三维CT图像进行分割，得到第一分辨率的三维CT分割图像，例如，对获取的三维CT图像分割成固定大小的正方体，从而节省训练时间和计算开销。然后，可以对三维CT分割图像按照设定缩放数值进行缩放处理，如采用双三次插值法对三维CT分割图像缩小固定倍数。如此，产生的三维CT缩放图像为低分辨率图像，三维CT分割图像为原尺度的高分辨率图像。相应的，三维CT分割图像和三维CT缩放图像即构建数字岩心训练图像。
在一个具体的例子中，假设采用某公开的数字岩心数据集构建数字岩心训练图像。该数据集包含各种数字岩石(砂岩，碳酸盐岩和煤岩等)的一万二千张500×500高分辨率的原始图像，图像分辨率范围为2.7至25μm。获取到已知岩石的二维CT图像后，首先进行图片去噪预处理，然后采用旋转、翻转和模糊操作进行数据增强，从而扩充训练图像数据集的样本数量。然后，可以将数据集中500×500的二维CT图像进行二维切片堆栈，形成500×500×500三维CT图像。进一步的，对三维CT图像分割成80×80×80的正方体，得到高分辨率的三维CT分割图像，并使用双三次插值法对三维CT分割图像进行缩小至原尺寸1/2(40×40×40像素大小)和1/4(20×20×20像素大小)，产生低分辨率的三维CT缩放图像。相应的，分割得到的原尺度的三维CT分割图像作为高分辨图像，三维CT缩放图像作为低分辨率图像，二者形成数字岩心训练图像。
S250、将所述数字岩心训练图像中第二分辨率的三维CT缩放图像输入至所述生成器模型中，并将所述生成器模型输出的图像作为第三分辨率图像。
其中，第三分辨率图像为生成器模型根据低分辨率的三维CT缩放图像输出的图像，第三分辨率图像的分辨率要高于三维CT缩放图像的第二分辨率。
在本发明实施例中，在利用数字岩心训练图像训练生成对抗网络的生成器模型和判别器模型时，可以将第二分辨率的三维CT缩放图像输入至生成器模型中，生成器模型输出的图像作为第三分辨率图像。第三分辨率图像也可以称为超分辨率图像。
S260、将所述第三分辨率图像和所述数字岩心训练图像中第一分辨率的三维CT分割图像同时输入至所述判别器模型中，并根据所述判别器模型输出值确定所述第三分辨率图像与所述第一分辨率的三维CT分割图像是否相匹配，以对所述判别器模型进行训练。
相应的，得到第三分辨率图像后，可以将第三分辨率图像和三维CT分割图像同时输入至判别器模型中，并根据判别器模型输出值确定第三分辨率图像与三维CT分割图像是否相匹配，以对判别器模型进行训练。其中，判别器模型输出值可以是第三分辨率图像与三维CT分割图像相匹配的概率，或第三分辨率图像与三维CT分割图像相同或不同的值，本发明实施例对此并不进行限制。
对生成对抗网络进行训练时，可以首先训练判别器模型，并在判别器模型训练成功后，再利用训练成功的判别器模型训练生成器模型。判别器模型训练的具体过程可以是：如果根据判别器模型输出值确定第三分辨率图像与三维CT分割图像不相匹配，如第三分辨率图像与三维CT分割图像相匹配的概率低于设定概率阈值(如90％等，可以根据实际需求设定)，或者直接输出第三分辨率图像与三维CT分割图像不同，则继续优化生成器模型，直至生成器模型生成的第三分辨率图像可以“骗过”判别器，也即根据判别器模型输出值确定第三分辨率图像与三维CT分割图像相匹配时，可以确定判别器模型训练成功。
S270、在确定所述判别器模型训练成功后，固定所述判别器模型，并返回执行将所述字岩心训练图像中第二分辨率的三维CT缩放图像输入至所述生成器模型中的操作以继续训练所述生成器模型，直至确定所述生成器模型训练成功。
相应的，在判别器模型训练成功后，可以固定判别器模型，并返回执行将三维CT缩放图像输入至生成器模型中的操作以继续训练生成器模型，直至确定生成器模型训练成功。也即，生成器模型和判别器模型的训练过程属于两者交替优化训练的过程。
在本发明的一个可选实施例中，所述生成器模型为融合注意力机制残差U-net网络，所述融合注意力机制残差U-net网络包括设定数量的网络结构，且所述融合注意力机制残差U-net网络的编码器和解码器通过注意力门结构进行多尺度图像融合；其中，所述注意力门结构可以基于如下公式实现：
Figure BDA0002702578530000121
Figure BDA0002702578530000122
Figure BDA0002702578530000123
其中，
Figure BDA0002702578530000124
表示传递函数，ψT、
Figure BDA0002702578530000125
和
Figure BDA0002702578530000126
表示1×1×1卷积操作，bg和bψ表示偏置系数，σ1表示ReLU函数，
Figure BDA0002702578530000127
表示所述注意力门结构的输入，gi表示高层次上下文信息提供的门信号，
Figure BDA0002702578530000128
表示注意力系数，σ2表示sigmoid激活函数，Θatt表示参数集，该参数集可以是ψT、
Figure BDA0002702578530000129
bg和bψ，
Figure BDA00027025785300001210
表示所述注意力门结构的输出。
其中，设定数量例如可以是5，本发明实施例并不对设定数量的具体数值进行限定。
可选的，在本发明实施例中，可以构建一个融合注意力机制残差U-net网络用作生成器模型，采用残差深度结构保证网络的数据拟合能力，更容易训练网络减轻梯度消失的问题，同时引入注意力机制抑制图像中无关背景区域中的特征响应，采用U-net网络结构采用跳转连接保证不同层级的图像特征的传输，实现不同尺度图片特征的融合。
图4是本发明实施例二提供的一种生成器模型的结构示意图，在一个具体的例子中，如图4所示，整个生成器模型可以是个五层网络深度的U-net结构。在编码器侧：第一层(E1)包含64个1×1×1卷积、批规范化、PReLU激活和最大池化；第二层(E2)包含128个1×1×1卷积、PReLU激活、一个残差模块和最大池化，残模块内将两个128个3×3×3的卷积层、批规范化和PReLU激活的结构进行串联，并利用全局跳跃连接将整个特征学习层的底层输入和顶层输出相连，进行全局残差学习；第三层(E3)，第四层(E4)和第五层(E5)与第二层结构相同，但是卷积核数分别为256、512和1024个。E5后接一个上采样层后变为解码器的第五层(D5)。解码器采用于编码器类似的结构，去掉编码器中最大池化，通过上采样逐层自底向上(D4，D3，D2，D1)放大恢复图像的尺度，同时编码器和解码器通过注意力门结构进行多尺度图像融合。
判别器模型包含两个输入，一个是原始高分辨率图像(HR，也即三维CT分割图像)，另一个是生成器生成的超分辨图像(SR)。图5本发明实施例二提供的一种判别器模型的结构示意图，在一个具体的例子中，如图5所示，对判别器模型输入待判别的SR图像，先经过5层的卷积层抽取特征，为了增加局部感受野，采用4×4×4尺寸的卷积核，卷积核数从第一层的64个开始，每层的数量以2倍递增，直到第五层的1024个。然后，第六层采用1×1×1卷积核的卷积层进行降维，接着采用两层的3×3×3卷积核的卷积操作，并将第五层的输出与第八层的输出馈送到下一层。在判别器模型的最后，对特征映射进行平滑处理，将图像数据的维度进行压平，然后依次送入全连接层、LReLU激活层、全连接层再经过Sigmoid得到判别结果Logits。如图5所示，判别器模型也可以包括残差模块。
在本发明的一个可选实施例中，所述确定所述判别器模型训练成功，可以包括：计算所述第三分辨率图像在所述判别器模型上的判别器损失；在确定所述判别器损失满足判别器稳定条件的情况下，确定所述判别器模型训练成功；所述确定所述生成器模型训练成功，可以包括：计算所述第三分辨率图像与所述第一分辨率的三维CT分割图像之间的像素损失和特征损失，以及所述第三分辨率图像在所述判别器模型上的对抗损失；在确定所述像素损失、所述特征损失和所述对抗损失满足生成器稳定条件的情况下，确定所述生成器模型训练成功。
其中，判别器损失即为判别器对第三分辨率图像进行判别时所产生的损失。判别器稳定条件可以是判断判别器模型的损失函数趋于稳定的条件，生成器稳定条件可以是判断生成器模型的损失函数趋于稳定的条件。所谓趋于稳定可以是损失函数的输出值趋于一个稳定值，或损失函数的输出值小于设定的阈值等，本发明实施例对此并不进行限制。像素损失也即第三分辨率图像与三维CT分割图像之间的像素差异，特征损失也即第三分辨率图像与三维CT分割图像之间的特征差异。对抗损失也即第三分辨率图像经过判别器判别后产生的损失。
在本发明的一个可选实施例中，所述计算第三分辨率图像在所述判别器模型上的判别器损失，可以包括：基于如下网络损失函数计算所述判别器损失：
Figure BDA0002702578530000141
其中，Dloss表示所述判别器损失，N表示自然数，p表示判别器函数；i表示训练次数，SRi表示第三分辨率图像，HRi表示所述第一分辨率的三维CT分割图像。
所述确定所述判别器损失满足判别器稳定条件，可以包括：当所述判别器损失到达第一设定目标值时，确定所述判别器损失满足判别器稳定条件。
所述计算所述第三分辨率图像与所述第一分辨率的三维CT分割图像之间的像素损失，可以包括：基于如下像素损失函数计算所述像素损失：
Figure BDA0002702578530000151
其中，L1表示像素损失。
所述计算所述第三分辨率图像与所述第一分辨率的三维CT分割图像之间的特征损失，可以包括：基于如下特征损失函数计算所述特征损失：
Figure BDA0002702578530000152
其中，VGGloss表示所述特征损失，
Figure BDA0002702578530000153
表示深度学习网络函数，如VGG-19网络函数，VGG-19损失对应于VGG-19网络中第五个最大池化层之前的第四次卷积输出。也即，可以对第三分辨率图像与第一分辨率的三维CT分割图像分别进行VGG(Visual Geometry Group，一种卷积神经网络)特征提取后，利用特征损失函数计算第三分辨率图像与第一分辨率的三维CT分割图像之间的特征损失。
可选的，可以使用19层的VGG网络补偿图像像素级L1损失的感知信息，计算第三分辨率图像与三维CT分割图像在VGG-19上的内容损失，用于比较超分辨率图像与高分辨率图像的语义信息。
所述计算所述第三分辨率图像在所述判别器模型上的对抗损失，可以包括：基于如下对抗损失函数计算所述对抗损失：
Figure BDA0002702578530000161
其中，Advloss表示所述对抗损失。
所述确定所述像素损失、所述特征损失和所述对抗损失满足生成器稳定条件，可以包括：基于如下公式根据所述像素损失、所述特征损失和所述对抗损失构建生成器总损失：
Gloss＝L1+α·VGGloss+β·Advloss
其中，Gloss表示所述生成器总损失，α和β表示权重系数。
当所述生成器总损失到达第二设定目标值时，确定述像素损失、所述特征损失和所述对抗损失满足生成器稳定条件。
其中，第一设定目标值和第二设定目标值可以根据实际需求设定，如最小值，本发明实施例对此并不进行限制。
具体的，可以结合多种损失类型来对判别器模型和生成器模型进行训练每当Dloss和Gloss的值达到最小化时，可以确定判别器模型和生成器模型训练成功。在训练的过程中，如果Dloss和Gloss的值没有达到最小化，则可以采用反向传播算法更新调整生成对抗网络的网络参数。可选的，可以采用Adam优化器对生成对抗网络进行对抗训练，直到其收敛。
S280、根据所述三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像。
其中，目标三维数字岩心图像的图像分辨率与数字岩心训练图像的分辨率相关。例如，三维CT缩放图像为40×40×40像素大小和20×20×20像素大小时，其对应的目标三维数字岩心图像可以为80×80×80像素大小。也即，目标三维数字岩心图像的图像分辨率可以实现2倍或4倍的图像重构。
图6是本发明实施例二提供的一种利用三维数字岩心图像生成对抗网络模型的生成器模型生成目标三维数字岩心图像的效果示意图，如图6所示，将低分辨率图像(即待优化数字岩心图像)输入至三维数字岩心图像生成对抗网络模型的生成器模型，其针对低分辨率图像重构生成的超分辨率图像(即目标三维数字岩心图像)具有较高的清晰度，消除了现有图像重构方法过于平滑的缺点，具有清晰的纹理结构。
本发明实施例使用残差U-net网络可以加深网络深度，从而提升生成对抗网络的图像重构效果。同时采用注意力机制抑制冗余信息，而且采用混合损失函数增强重构图像的视觉感知效果，进而使得目标三维数字岩心图像能去除模糊，更加真实。
可选的，可以使用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)评价通过本发明实施例提供的数字岩心图像处理方法获取的目标三维数字岩心图像的效果。图7是本发明实施例二提供的一种评价指标对比效果示意图，如图7所示，无论是对待优化数字岩心图像的尺度提高2倍，也即分辨率提高2倍，还是对待优化数字岩心图像的尺度提高4倍，也即分辨率提高4倍。相对于双三次立方插值(Bicubic)、A+重建(3D-A+)、基于卷积神经网络的超分辨率重建(3D-SRCNN)和超分辨率生成对抗网络(3D-SRGAN)，本发明所提供的数字岩心图像处理方法获取的目标三维数字岩心图像的图像质量最优。
上述技术方案，通过将生成器模型的网络结构设计为残差U-net结构，大大增加了神经网络的深度，可以融合多尺度的图像信息，并且多个局部跳跃连接可以帮助重要特征信息跨过不同的模块和层进行传输。在整个特征学习层中引入全局跳跃连接，学习高低分辨率图像之间的残差，有效改善梯度消失和网络退化问题。在编码器和解码器间引入注意力门结构，使生成网络更加关注具有更多高频信息的区域，放大含有丰富高频信息的特征权重，缩小含有冗余低频信息的权重，加速网络收敛，提升网络性能。同时，利用混合损失进行重构图像与原始高分辨率图像分布间的度量，构造了特征匹配损失来增强重构图像的视觉感知效果，对于三维数字岩心重构图像的细节和清晰度都有极大的提升，从而提升图像质量。
需要说明的是，以上各实施例中各技术特征之间的任意排列组合也属于本发明的保护范围。
实施例三
图8是本发明实施例三提供的一种数字岩心图像处理装置的示意图，如图8所示，所述装置包括：训练图像获取模块310、网络模型获取模块320以及图像重构模块330，其中：
训练图像获取模块310，用于获取数字岩心训练图像；其中，所述数字岩心训练图像包括不同分辨率的数字岩心三维CT图像；
网络模型获取模块320，用于根据所述数字岩心训练图像分别训练生成对抗网络的生成器模型和判别器模型，得到三维数字岩心图像生成对抗网络模型；
图像重构模块330，用于根据所述三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像。
本发明实施例通过利用包括不同分辨率的数字岩心三维CT图像作为数字岩心训练图像，以根据数字岩心训练图像分别训练生成对抗网络的生成器模型和判别器模型，得到三维数字岩心图像生成对抗网络模型，并根据三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像，解决现有三维数字岩心图像重建图像存在的图像质量较低的问题，从而提高三维数字岩心重建图像的图像质量。
可选的，训练图像获取模块310，用于：获取至少一种已知岩石的二维CT图像；对所述二维CT图像进行图像预处理和图像增强处理，得到二维CT处理图像；根据所述二维CT处理图像构建三维CT图像；根据所述三维CT图像构建所述数字岩心训练图像。
可选的，训练图像获取模块310，用于：对所述三维CT图像进行分割，得到第一分辨率的三维CT分割图像；对所述三维CT分割图像按照设定缩放数值进行缩放处理，得到第二分辨率的三维CT缩放图像；根据所述三维CT分割图像和所述三维CT缩放图像构建所述数字岩心训练图像。
可选的，网络模型获取模块320，用于将所述数字岩心训练图像中第二分辨率的三维CT缩放图像输入至所述生成器模型中，并将所述生成器模型输出的图像作为第三分辨率图像；将所述第三分辨率图像和所述数字岩心训练图像中第一分辨率的三维CT分割图像同时输入至所述判别器模型中，并根据所述判别器模型输出值确定所述第三分辨率图像与所述第一分辨率的三维CT分割图像是否相匹配，以对所述判别器模型进行训练；在确定所述判别器模型训练成功后，固定所述判别器模型，并返回执行将所述数字岩心训练图像中第二分辨率的三维CT缩放图像输入至所述生成器模型中的操作以继续训练所述生成器模型，直至确定所述生成器模型训练成功。
可选的，所述生成器模型为融合注意力机制残差U-net网络，所述融合注意力机制残差U-net网络包括设定数量的网络结构，且所述融合注意力机制残差U-net网络的编码器和解码器通过注意力门结构进行多尺度图像融合；其中，所述注意力门结构基于如下公式实现：
Figure BDA0002702578530000191
Figure BDA0002702578530000192
Figure BDA0002702578530000193
其中，
Figure BDA0002702578530000194
表示传递函数，ψT、
Figure BDA0002702578530000195
和
Figure BDA0002702578530000196
表示1×1×1卷积操作，bg和bψ表示偏置系数，σ1表示ReLU函数，
Figure BDA0002702578530000197
表示所述注意力门结构的输入，gi表示高层次上下文信息提供的门信号，
Figure BDA0002702578530000198
表示注意力系数，σ2表示sigmoid激活函数，Θatt表示参数集，
Figure BDA0002702578530000199
表示所述注意力门结构的输出。
可选的，网络模型获取模块320，用于计算所述第三分辨率图像在所述判别器模型上的判别器损失；在确定所述判别器损失满足判别器稳定条件的情况下，确定所述判别器模型训练成功；计算所述第三分辨率图像与所述第一分辨率的三维CT分割图像之间的像素损失和特征损失，以及所述第三分辨率图像在所述判别器模型上的对抗损失；在确定所述像素损失、所述特征损失和所述对抗损失满足生成器稳定条件的情况下，确定所述生成器模型训练成功。
可选的，网络模型获取模块320，用于基于如下网络损失函数计算所述判别器损失：
Figure BDA00027025785300001910
其中，Dloss表示所述判别器损失，N表示自然数，p表示判别器函数；i表示训练次数，SRi表示第三分辨率图像，HRi表示所述第一分辨率的三维CT分割图像；
当所述判别器损失到达第一设定目标值时，确定所述判别器损失满足判别器稳定条件；
基于如下像素损失函数计算所述像素损失：
Figure BDA0002702578530000201
其中，L1表示像素损失；
基于如下特征损失函数计算所述特征损失：
Figure BDA0002702578530000202
其中，VGGloss表示所述特征损失，
Figure BDA0002702578530000203
表示深度学习网络函数；
基于如下对抗损失函数计算所述对抗损失：
Figure BDA0002702578530000204
其中，Advloss表示所述对抗损失；
基于如下公式根据所述像素损失、所述特征损失和所述对抗损失构建生成器总损失：
Gloss＝L1+α·VGGloss+β·Advloss
其中，Gloss表示所述生成器总损失，α和β表示权重系数；
当所述生成器总损失到达第二设定目标值时，确定述像素损失、所述特征损失和所述对抗损失满足生成器稳定条件。
上述数字岩心图像处理装置可执行本发明任意实施例所提供的数字岩心图像处理方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的数字岩心图像处理方法。
由于上述所介绍的数字岩心图像处理装置为可以执行本发明实施例中的数字岩心图像处理方法的装置，故而基于本发明实施例中所介绍的数字岩心图像处理方法，本领域所属技术人员能够了解本实施例的数字岩心图像处理装置的具体实施方式以及其各种变化形式，所以在此对于该数字岩心图像处理装置如何实现本发明实施例中的数字岩心图像处理方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中数字岩心图像处理方法所采用的装置，都属于本申请所欲保护的范围。
实施例四
图9为本发明实施例四提供的一种计算机设备的结构示意图。图9示出了适于用来实现本发明实施方式的计算机设备412的框图。图9显示的计算机设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，计算机设备412以通用计算设备的形式表现。计算机设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同***组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及***组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备412典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。计算机设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***434可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块426的程序436，可以存储在例如存储装置428中，这样的程序模块426包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块426通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备412也可以与一个或多个外部设备414(例如键盘、指向设备、摄像头、显示器424等)通信，还可与一个或者多个使得用户能与该计算机设备412交互的设备通信，和/或与使得该计算机设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口422进行。并且，计算机设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与计算机设备412的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arraysof Independent Disks，RAID)***、磁带驱动器以及数据备份存储***等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的数字岩心图像处理方法。
也即，所述处理单元执行所述程序时实现：获取数字岩心训练图像；其中，所述数字岩心训练图像包括不同分辨率的数字岩心三维CT图像；根据所述数字岩心训练图像分别训练生成对抗网络的生成器模型和判别器模型，得到三维数字岩心图像生成对抗网络模型；根据所述三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像。
实施例五
本发明实施例五还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的数字岩心图像处理方法：获取数字岩心训练图像；其中，所述数字岩心训练图像包括不同分辨率的数字岩心三维CT图像；根据所述数字岩心训练图像分别训练生成对抗网络的生成器模型和判别器模型，得到三维数字岩心图像生成对抗网络模型；根据所述三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnly Memory，ROM)、可擦式可编程只读存储器((Erasable Programmable Read OnlyMemory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数字岩心图像处理方法，其特征在于，包括：
获取数字岩心训练图像；其中，所述数字岩心训练图像包括不同分辨率的数字岩心三维CT图像；
根据所述数字岩心训练图像分别训练生成对抗网络的生成器模型和判别器模型，得到三维数字岩心图像生成对抗网络模型；
根据所述三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像。
2.根据权利要求1所述的方法，其特征在于，所述获取数字岩心训练图像，包括：
获取至少一种已知岩石的二维CT图像；
对所述二维CT图像进行图像预处理和图像增强处理，得到二维CT处理图像；
根据所述二维CT处理图像构建三维CT图像；
根据所述三维CT图像构建所述数字岩心训练图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述三维CT图像构建所述数字岩心训练图像，包括：
对所述三维CT图像进行分割，得到第一分辨率的三维CT分割图像；
对所述三维CT分割图像按照设定缩放数值进行缩放处理，得到第二分辨率的三维CT缩放图像；
根据所述三维CT分割图像和所述三维CT缩放图像构建所述数字岩心训练图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述数字岩心训练图像分别训练生成对抗网络的生成器模型和判别器模型，包括：
将所述数字岩心训练图像中第二分辨率的三维CT缩放图像输入至所述生成器模型中，并将所述生成器模型输出的图像作为第三分辨率图像；
将所述第三分辨率图像和所述数字岩心训练图像中第一分辨率的三维CT分割图像同时输入至所述判别器模型中，并根据所述判别器模型输出值确定所述第三分辨率图像与所述第一分辨率的三维CT分割图像是否相匹配，以对所述判别器模型进行训练；
在确定所述判别器模型训练成功后，固定所述判别器模型，并返回执行将所述数字岩心训练图像中第二分辨率的三维CT缩放图像输入至所述生成器模型中的操作以继续训练所述生成器模型，直至确定所述生成器模型训练成功。
5.根据权利要求4所述的方法，其特征在于，所述生成器模型为融合注意力机制残差U-net网络，所述融合注意力机制残差U-net网络包括设定数量的网络结构，且所述融合注意力机制残差U-net网络的编码器和解码器通过注意力门结构进行多尺度图像融合；
其中，所述注意力门结构基于如下公式实现：
Figure FDA0002702578520000021
Figure FDA0002702578520000022
Figure FDA0002702578520000023
其中，
Figure FDA0002702578520000024
表示传递函数，ψT、
Figure FDA0002702578520000025
和
Figure FDA0002702578520000026
表示1×1×1卷积操作，bg和bψ表示偏置系数，σ1表示ReLU函数，
Figure FDA0002702578520000027
表示所述注意力门结构的输入，gi表示高层次上下文信息提供的门信号，
Figure FDA0002702578520000028
表示注意力系数，σ2表示sigmoid激活函数，Θatt表示参数集，
Figure FDA0002702578520000029
表示所述注意力门结构的输出。
6.根据权利要求4所述的方法，其特征在于，所述确定所述判别器模型训练成功，包括：
计算所述第三分辨率图像在所述判别器模型上的判别器损失；
在确定所述判别器损失满足判别器稳定条件的情况下，确定所述判别器模型训练成功；
所述确定所述生成器模型训练成功，包括：
计算所述第三分辨率图像与所述第一分辨率的三维CT分割图像之间的像素损失和特征损失，以及所述第三分辨率图像在所述判别器模型上的对抗损失；
在确定所述像素损失、所述特征损失和所述对抗损失满足生成器稳定条件的情况下，确定所述生成器模型训练成功。
7.根据权利要求6所述的方法，其特征在于，所述计算第三分辨率图像在所述判别器模型上的判别器损失，包括：
基于如下网络损失函数计算所述判别器损失：
Figure FDA0002702578520000031
其中，Dloss表示所述判别器损失，N表示自然数，p表示判别器函数；i表示训练次数，SRi表示第三分辨率图像，HRi表示所述第一分辨率的三维CT分割图像；
所述确定所述判别器损失满足判别器稳定条件，包括：
当所述判别器损失到达第一设定目标值并稳定时，确定所述判别器损失满足判别器稳定条件；
所述计算所述第三分辨率图像与所述第一分辨率的三维CT分割图像之间的像素损失，包括：
基于如下像素损失函数计算所述像素损失：
Figure FDA0002702578520000041
其中，L1表示像素损失；
所述计算所述第三分辨率图像与所述第一分辨率的三维CT分割图像之间的特征损失，包括：
基于如下特征损失函数计算所述特征损失：
Figure FDA0002702578520000042
其中，VGGloss表示所述特征损失，
Figure FDA0002702578520000043
表示深度学习网络函数；
所述计算所述第三分辨率图像在所述判别器模型上的对抗损失，包括：
基于如下对抗损失函数计算所述对抗损失：
Figure FDA0002702578520000044
其中，Advloss表示所述对抗损失；
所述确定所述像素损失、所述特征损失和所述对抗损失满足生成器稳定条件，包括：
基于如下公式根据所述像素损失、所述特征损失和所述对抗损失构建生成器总损失：
Gloss＝L1+α·VGGloss+β·Advloss
其中，Gloss表示所述生成器总损失，α和β表示权重系数；
当所述生成器总损失到达第二设定目标值并稳定时，确定所述像素损失、所述特征损失和所述对抗损失满足生成器稳定条件。
8.一种数字岩心图像处理装置，其特征在于，包括：
训练图像获取模块，用于获取数字岩心训练图像；其中，所述数字岩心训练图像包括不同分辨率的数字岩心三维CT图像；
网络模型获取模块，用于根据所述数字岩心训练图像分别训练生成对抗网络的生成器模型和判别器模型，得到三维数字岩心图像生成对抗网络模型；
图像重构模块，用于根据所述三维数字岩心图像生成对抗网络模型的生成器模型对输入的待优化数字岩心图像进行重构处理，得到目标三维数字岩心图像。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数字岩心图像处理方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数字岩心图像处理方法。
CN202011027637.1A 2020-09-25 2020-09-25 数字岩心图像处理方法、装置、计算机设备及存储介质 Active CN112132959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011027637.1A CN112132959B (zh) 2020-09-25 2020-09-25 数字岩心图像处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011027637.1A CN112132959B (zh) 2020-09-25 2020-09-25 数字岩心图像处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112132959A true CN112132959A (zh) 2020-12-25
CN112132959B CN112132959B (zh) 2023-03-24

Family

ID=73840593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011027637.1A Active CN112132959B (zh) 2020-09-25 2020-09-25 数字岩心图像处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112132959B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801912A (zh) * 2021-02-09 2021-05-14 华南理工大学 一种人脸图像复原方法、***、装置及存储介质
CN113570505A (zh) * 2021-09-24 2021-10-29 中国石油大学(华东) 一种页岩三维超分辨率数字岩心分级重构方法及***
CN114169457A (zh) * 2021-12-13 2022-03-11 成都理工大学 基于岩心重建的风暴岩测井识别方法
CN115049781A (zh) * 2022-05-11 2022-09-13 西南石油大学 一种基于深度学习的页岩数字岩心三维重建方法
CN115115783A (zh) * 2022-07-08 2022-09-27 西南石油大学 一种模拟页岩基质纳微米孔隙的数字岩心构建方法及***
CN115272156A (zh) * 2022-09-01 2022-11-01 中国海洋大学 基于循环生成对抗网络的油气藏高分辨率井筒成像表征法
US20230184087A1 (en) * 2021-12-13 2023-06-15 Saudi Arabian Oil Company Multi-modal and Multi-dimensional Geological Core Property Prediction using Unified Machine Learning Modeling
CN117152373A (zh) * 2023-11-01 2023-12-01 中国石油大学(华东) 一种考虑裂缝的岩心级孔隙网络模型构建方法
CN117745725A (zh) * 2024-02-20 2024-03-22 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质
CN117975174A (zh) * 2024-04-02 2024-05-03 西南石油大学 一种基于改进vqgan的三维数字岩心重构方法
WO2024092962A1 (zh) * 2022-10-31 2024-05-10 中国科学院深圳先进技术研究院 一种三维重建方法、设备及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
US20190302290A1 (en) * 2018-03-27 2019-10-03 Westerngeco Llc Generative adversarial network seismic data processor
CN111402266A (zh) * 2020-03-13 2020-07-10 中国石油大学(华东) 一种构建数字岩心的方法及***
CN111461303A (zh) * 2020-03-31 2020-07-28 中国石油大学(北京) 基于生成对抗神经网络的数字岩心重构方法及***
CN111583148A (zh) * 2020-05-07 2020-08-25 苏州闪掣智能科技有限公司 基于生成对抗网络的岩心图像重构方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190302290A1 (en) * 2018-03-27 2019-10-03 Westerngeco Llc Generative adversarial network seismic data processor
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN111402266A (zh) * 2020-03-13 2020-07-10 中国石油大学(华东) 一种构建数字岩心的方法及***
CN111461303A (zh) * 2020-03-31 2020-07-28 中国石油大学(北京) 基于生成对抗神经网络的数字岩心重构方法及***
CN111583148A (zh) * 2020-05-07 2020-08-25 苏州闪掣智能科技有限公司 基于生成对抗网络的岩心图像重构方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGGANG CHEN 等: "Super-resolution of real-world rock microcomputed tomography images using cycle-consistent generative adversarial networks", 《PHYSICAL REVIEW E》 *
袁飘逸 等: "双判别器生成对抗网络图像的超分辨率重建方法", 《激光与光电子学进展》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801912B (zh) * 2021-02-09 2023-10-31 华南理工大学 一种人脸图像复原方法、***、装置及存储介质
CN112801912A (zh) * 2021-02-09 2021-05-14 华南理工大学 一种人脸图像复原方法、***、装置及存储介质
CN113570505A (zh) * 2021-09-24 2021-10-29 中国石油大学(华东) 一种页岩三维超分辨率数字岩心分级重构方法及***
CN114169457A (zh) * 2021-12-13 2022-03-11 成都理工大学 基于岩心重建的风暴岩测井识别方法
CN114169457B (zh) * 2021-12-13 2023-05-23 成都理工大学 基于岩心重建的风暴岩测井识别方法
US20230184087A1 (en) * 2021-12-13 2023-06-15 Saudi Arabian Oil Company Multi-modal and Multi-dimensional Geological Core Property Prediction using Unified Machine Learning Modeling
CN115049781A (zh) * 2022-05-11 2022-09-13 西南石油大学 一种基于深度学习的页岩数字岩心三维重建方法
CN115115783B (zh) * 2022-07-08 2023-08-15 西南石油大学 一种模拟页岩基质纳微米孔隙的数字岩心构建方法及***
CN115115783A (zh) * 2022-07-08 2022-09-27 西南石油大学 一种模拟页岩基质纳微米孔隙的数字岩心构建方法及***
CN115272156B (zh) * 2022-09-01 2023-06-30 中国海洋大学 基于循环生成对抗网络的油气藏高分辨率井筒成像表征法
CN115272156A (zh) * 2022-09-01 2022-11-01 中国海洋大学 基于循环生成对抗网络的油气藏高分辨率井筒成像表征法
WO2024092962A1 (zh) * 2022-10-31 2024-05-10 中国科学院深圳先进技术研究院 一种三维重建方法、设备及计算机存储介质
CN117152373A (zh) * 2023-11-01 2023-12-01 中国石油大学(华东) 一种考虑裂缝的岩心级孔隙网络模型构建方法
CN117152373B (zh) * 2023-11-01 2024-02-02 中国石油大学(华东) 一种考虑裂缝的岩心级孔隙网络模型构建方法
CN117745725A (zh) * 2024-02-20 2024-03-22 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质
CN117745725B (zh) * 2024-02-20 2024-05-14 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质
CN117975174A (zh) * 2024-04-02 2024-05-03 西南石油大学 一种基于改进vqgan的三维数字岩心重构方法
CN117975174B (zh) * 2024-04-02 2024-06-04 西南石油大学 一种基于改进vqgan的三维数字岩心重构方法

Also Published As

Publication number Publication date
CN112132959B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
CN110009013B (zh) 编码器训练及表征信息提取方法和装置
Li et al. Survey of single image super‐resolution reconstruction
CN110189255B (zh) 基于两级检测的人脸检测方法
CN115661144B (zh) 基于可变形U-Net的自适应医学图像分割方法
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN113298718A (zh) 一种单幅图像超分辨率重建方法及***
CN115511767B (zh) 一种自监督学习的多模态图像融合方法及其应用
CN115565056A (zh) 基于条件生成对抗网络的水下图像增强方法及***
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
CN115761358A (zh) 一种基于残差胶囊网络对心肌纤维化进行分类的方法
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
CN114494022A (zh) 模型训练方法、超分辨率重建方法、装置、设备及介质
CN111507950B (zh) 图像分割的方法和装置、电子设备及计算机可读存储介质
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
CN117934824A (zh) 一种超声影像的目标区域分割方法、***及电子设备
CN116310851B (zh) 遥感图像变化检测方法
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN115830317A (zh) 基于极坐标转换的U-Net增强注意模块的皮肤癌图像分割方法及装置
Chen et al. Image denoising via generative adversarial networks with detail loss
CN116543246A (zh) 图像去噪模型的训练方法、图像去噪方法、装置及设备
CN111738919A (zh) 基于线性多步残差稠密网的低清小脸真实感幻构方法
Chao et al. Instance-aware image dehazing
CN116912345B (zh) 一种人像动漫化处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant