CN113837947B - 一种获得光学相干层析大焦深图像的处理方法 - Google Patents
一种获得光学相干层析大焦深图像的处理方法 Download PDFInfo
- Publication number
- CN113837947B CN113837947B CN202111428250.1A CN202111428250A CN113837947B CN 113837947 B CN113837947 B CN 113837947B CN 202111428250 A CN202111428250 A CN 202111428250A CN 113837947 B CN113837947 B CN 113837947B
- Authority
- CN
- China
- Prior art keywords
- oct
- image
- face
- resolution
- resolution image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012014 optical coherence tomography Methods 0.000 title claims abstract description 216
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000010276 construction Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 7
- 238000011161 development Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 241000252212 Danio rerio Species 0.000 description 5
- 230000003042 antagnostic effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000011426 transformation method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000033772 system development Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 102000000591 Tight Junction Proteins Human genes 0.000 description 1
- 108010002321 Tight Junction Proteins Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 210000001578 tight junction Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种获得光学相干层析大焦深图像的处理方法，主要包括构建OCT en face图像数据集、构建OCT en face图像超分辨模型以及基于构建的OCT en face图像超分辨模型实现OCT图像数字重聚焦三个步骤。在图像超分辨模型构建中，通过深度学习方法学习OCT en face高分辨图像和低分辨图像间的映射关系，获得OCT三维图像的数字重聚焦，实现OCT图像焦深的拓展。本发明是一种适合OCT成像模式的数字重聚焦方式，可以快速提高OCT三维图像中不同深度处的横向分辨率，拓展焦深，可有效降低OCT图像重聚焦的硬件开发难度。
Description
技术领域
本发明属于图像处理和成像技术领域，尤其是涉及一种获得光学相干层析大焦深图像的处理方法。
背景技术
光学相干层析术(Optical coherence tomography, OCT)是一种非接触、非侵入的成像技术。OCT的横向分辨率由样品聚焦光束的衍射限制光斑大小决定。作为一种三维成像技术，OCT的横向分辨率越高，焦深就会越小。为了获得大深度成像，在OCT***开发中通常会在横向分辨率和焦深方面进行折中选择。
如何在高分辨率的情况下，提高OCT图像的焦深一直是一个难点。典型的硬件方法是使用二元相位空间滤波器或轴向透镜来实现贝塞尔光束以拓展焦深。此外，2017年E. Bo等人利用多重孔径合成来拓展焦深(Bo E, Luo Y, Chen S, Liu X, Wang N, Ge X, WangX, Chen S, Chen S, Li J, Liu L. Depth-of-focus extension in optical coherencetomography via multiple aperture synthesis. Optica. 2017, 4(7), 701-706.)。然而，硬件方法通常需要开发复杂的成像***，稳定性差。
与基于硬件的方法相比，数字信号处理方法提供了替代的和相对便宜的解决方案。例如，干涉合成孔径显微术(Interferometric synthetic aperture microscopy,ISAM) (Ralston T S, Marks D L, Carney P S, Boppart S A. Interferometricsynthetic aperture microscopy. Nature physics. 2007; 3(2), 129-134.) 可以在大深度范围内进行高分辨成像，但在采集过程中需要保证绝对的相位稳定。
发明内容
本发明的主要目的是解决如何在提高横向分辨率的情况下获得大焦深图像的问题，提供一种获得光学相干层析大焦深图像的处理方法。
本发明方法首先建立不同离焦量下配准的OCT en face低分辨图像和高分辨图像对所构成的数据集，然后构建OCT en face图像超分辨模型，通过深度学习方法，学习OCTen face高分辨率图像和低分辨率图像间的映射关系，获得OCT三维图像的数字重聚焦，以便得到OCT图像焦深拓展后的高分辨图像即大焦深图像。
为实现以上目的，本发明采用如下技术方案：
一种获得光学相干层析大焦深图像的处理方法，包括三个步骤：构建光学相干层析（Optical Coherence Tomography, OCT）en face图像数据集、构建OCT en face图像超分辨模型以及基于构建的OCT en face图像超分辨模型实现OCT图像数字重聚焦三个步骤；
步骤1：构建OCT en face图像数据集；
所述OCT en face图像数据集是指不同离焦量下配准的OCT en face低分辨图像和高分辨图像对所构成的数据集；具体构建方法：
步骤1.1：把入射光束聚焦在样品内部，对所述样品内部的选定区域以等间隔方式采集OCT en face图像序列；具体方法如下：
沿指定方向移动样品台，采集入射光束聚焦于M+1个位置时所述样品内部的选定区域的OCT en face图像序列，每个图像序列采集的图像数目均为P个；其中，在入射光束的原有焦深范围内采集的一组OCT en face图像序列作为基准图像序列，所述基准图像序列属于OCT en face高分辨图像；其余不在入射光束的原有焦深范围内的M个位置采集的M组图像序列为不同离焦量下的OCT en face低分辨图像序列，所述不同离焦量下的OCT enface低分辨图像序列对应不同的分辨率；
所述样品内部的选定区域的长度等于入射光束原有焦深的0.8-1倍；
所述M为2-8之间的自然数；
所述每个图像序列采集的图像数目P为4-100之间的自然数；
步骤1.2：对于不同分辨率的OCT en face低分辨图像序列，在所述基准图像序列中利用OCT en face图像配准方法寻找并配准对应位置的OCT en face高分辨图像，建立M个不同离焦量下的数据集，每个数据集中包含P个配准的OCT en face低分辨图像和高分辨图像对；
其中，所述OCT en face图像配准方法包括两步：OCT en face低分辨图像和高分辨图像对的选择、OCT en face低分辨图像和高分辨图像的精细配准；
（1）所述OCT en face低分辨图像和高分辨图像对的选择方法是，对于从某一个离焦位置采集的所述OCT en face低分辨图像序列中提取的每一个离焦的OCT en face低分辨图像，从所述基准图像序列中选择一个OCT en face高分辨图像进行配对；
获得一个图像对的具体方法：将某个离焦的OCT en face低分辨图像与所述基准图像序列中的每一个OCT en face高分辨图像初步配准；然后，计算初步配准后的离焦的OCT en face低分辨图像与所述每一个OCT en face高分辨图像之间的相关系数r，从中选择相关系数最高的OCT en face高分辨图像与离焦的OCT en face低分辨图像作为配对图像；
两幅图像间的相关系数r由以下公式计算：
其中f(x,y)和g(x,y)分别代表高分辨图像和低分辨图像的灰度值，x表示图像的横坐标,y表示图像的纵坐标，
代表高分辨图像的平均灰度值，
代表低分辨图像的平均灰度值。
所述OCT en face低分辨图像和高分辨图像初步配准的方法包括仿射变换法、刚体变换法、投影变换法、非线性变换法或矩和主轴法；
（2）OCT en face低分辨图像和高分辨图像的精细配准方法包括金字塔配准法、小波变换配准法、最大互信息配准法和图谱配准法；
步骤2：构建OCT en face图像超分辨模型；
通过深度学习方法分别学习OCT en face高分辨图像和M组不同分辨率的OCT enface低分辨图像间的映射关系，构建M个OCT en face图像超分辨模型；
步骤3：基于所述OCT en face图像超分辨模型实现OCT图像数字重聚焦；
步骤3.1：对于待处理的OCT三维图像数据，首先确定入射光束的聚焦位置，依据聚焦位置、原有焦深和所述离焦量划分待处理的OCT三维图像，获得在原有焦深范围内的OCTen face高分辨图像序列和分别沿深度方向的焦深范围前和焦深范围后各M组共计2M组OCTen face低分辨图像序列；其中，OCT en face高分辨图像不需要进行超分辨处理；
步骤3.2：采用步骤2构建的M个所述OCT en face图像超分辨模型分别对不同离焦量下划分的所述焦深范围前和焦深范围后各M组OCT en face低分辨图像序列进行图像超分辨处理，获得焦深范围前和焦深范围后各M组OCT en face超分辨图像序列，实现图像重聚焦，提高了待处理的OCT三维图像中原有焦深之外的OCT en face图像的横向分辨率，最后把没有进行超分辨处理的焦深范围内的一组OCT en face高分辨图像序列和处理得到的2M组OCT en face超分辨图像序列分别沿深度方向的焦深范围前和焦深范围后重新堆叠起来形成重聚焦的OCT三维图像，实现焦深拓展。
本发明的有益效果：
1、本发明无需任何机械硬件装置的辅助，通过数字方法来实现OCT图像的焦深拓展，可以降低***开发的硬件成本；
2、本发明结合图像配准算法，利用深度学习方法来实现OCT图像的数字重聚焦，处理速度快；
3、本发明的实施对OCT硬件***要求低，不需要相位匹配，并且泛化能力强。
附图说明
图1是本发明提供的获得光学相干层析大焦深图像的处理方法流程图；
图2是本发明提供的样品内部选定区域OCT en face图像序列采集示意图；其中（a）是基准图像序列采集示意图，（b）-（e）分别是4个不同离焦量下的OCT en face低分辨图像序列采集示意图；
图3是本发明提供的OCT en face图像对配准方法流程图；
图4是本发明的生成器结构示意图；
图5是本发明的生成器中的残差密连接块结构示意图；
图6是本发明的判别器结构示意图；
图7是本发明采集的斑马鱼OCT en face低分辨图像；
图8是本发明采集的斑马鱼OCT en face高分辨图像；
图9是本发明实现的斑马鱼OCT en face数字重聚焦图像。
具体实施方式
下面结合附图对本发明目的的实现、功能特点及优点做进一步说明。
一种获得光学相干层析大焦深图像的处理方法，其流程图如附图1所示，包括：
步骤1：构建OCT en face图像数据集；
所述OCT en face图像数据集是指不同离焦量下配准的OCT en face低分辨图像和高分辨图像对所构成的数据集；具体构建方法：
把入射光束聚焦在样品内部，对所述样品内部的选定区域以等间隔方式采集OCTen face图像序列；具体方法如下：
沿指定方向移动样品台，采集入射光束聚焦于M+1个位置时样品内部的选定区域的OCT en face图像序列，每个图像序列采集的图像数目均为P个；其中，在入射光束的原有焦深范围内采集的一组OCT en face图像序列作为基准图像序列，所述基准图像序列属于OCT en face高分辨图像；其余不在入射光束的原有焦深范围内的M个位置采集的M组图像序列为不同离焦量下的OCT en face低分辨图像序列，所述不同离焦量下的OCT en face低分辨图像序列对应不同的分辨率；利用OCT en face图像配准方法寻找并配准对应位置的OCT en face高分辨图像，建立M个不同离焦量下的数据集，每个数据集中包含P个配准的OCT en face低分辨图像和高分辨图像对；
具体实施方法如下：
首先把入射光束聚焦在样品内部，以等间隔方式采集所述样品内部的选定区域的OCT en face图像序列（图像序列的图像数量P在自然数4-100之间选择，本实施例选为20），样品内部的选定区域OCT en face图像序列采集示意图如附图2所示，201表示扫描物镜，202表示待测样品，203表示样品台，204表示样品内部的选定区域。样品内部的选定区域的长度等于入射光束原有焦深的0.8-1倍，本实施例中入射光束原有焦深为60微米，样品内部的选定区域的长度取入射光束原有焦深的1倍，取为60微米。如附图2(a)所示，把入射光束聚焦在样品内部，在入射光束的原有焦深范围内采集一组OCT en face图像序列作为基准图像序列，所述基准图像序列属于OCT en face高分辨图像；然后沿指定方向移动样品台203，使待测样品202的位置逐步远离或靠近扫描物镜201，改变光束在样品内部的聚焦位置，使得样品内部的选定区域204具有不同的离焦量。依据不同离焦量设置，采集M个不同离焦量下的OCT en face低分辨图像序列，所述不同离焦量下的OCT en face低分辨图像序列对应不同的分辨率。在本实施例中，我们使得样品202逐步远离扫描物镜201，设置M=4，离焦量分别设置为60μm，120μm，180μm和240μm，分别如附图2(b)-2(e)所示。
对于不同分辨率的OCT en face低分辨图像序列，在所述基准图像序列中利用OCTen face图像配准方法寻找并配准对应位置的OCT en face高分辨图像，建立4个不同离焦量下的数据集，每个数据集中包含20个配准的OCT en face低分辨图像和高分辨图像对。
实施例中的OCT en face图像配准方法设计如附图3所示，包括；
首先选择OCT en face低分辨图像和高分辨图像对，具体步骤如下：
对于从某一个离焦位置采集的OCT en face低分辨图像序列中提取的每一个离焦的OCT en face低分辨图像，从基准图像序列中选择一个OCT en face高分辨图像进行配对；
获得一个图像对的具体方法：将某个离焦的OCT en face低分辨图像与基准图像序列中的每一个OCT en face高分辨图像利用仿射变换初步配准；然后，计算初步配准后的离焦的OCT en face低分辨图像与每一个OCT en face高分辨图像之间的相关系数r，从中选择相关系数最高的OCT en face高分辨图像与离焦的OCT en face低分辨图像作为配对图像；
两幅图像间的相关系数r由以下公式计算：
其中f(x,y)和g(x,y)分别代表高分辨图像和低分辨图像的灰度值，x表示图像的横坐标,y表示图像的纵坐标，
代表高分辨图像的平均灰度值，
代表低分辨图像的平均灰度值。
然后，采用金字塔配准算法在初步配准的OCT en face低分辨图像和高分辨图像对上完成精细的多尺度图像配准，具体实施方法如下：
图像首先被分成N×N个图像块（实施例中取N=5），计算对应图像块的二维归一化互相关图。
高分辨图像f和低分辨图像g间的互相关图(cross-correlation map, CCM)定义如下：
其中u和v分别表示CCM的横坐标和纵坐标。
高分辨图像f和低分辨图像g间的归一化互相关图(normalized cross-correlation map, nCCM)计算如下所示:
其中PPMCC是皮尔逊积矩相关系数(Pearson product-moment correlationcoefficient, PPMCC), cov()代表协方差函数，
是f的标准差，
是g的标准差，max表示求最大值，min表示求最小值，
是PPMCC的最大值，
是PPMCC的最小值。
然后将归一化互相关图拟合为二维高斯函数，如下定义:
其中x0和y0分别代表输入图像对在两个方向上的亚像素位移值，A表示灰度值，
和
分别表示x和y方向上的标准差。二维高斯函数的峰值坐标就对应每个图像块的位移；5×5个图像块得到5×5个位移，把这些位移分别沿x和y方向插值到图像的像素个数，获得与原图像大小一致的位移图，利用该图像进行OCT en face低分辨图像和高分辨图像配准。如果位移图中的最大灰度值（或者容差）大于设定值，则重复附图3中的步骤 2.2.2-2.2.4。如果容差小于设定值，判断图像块大小是否小于设定的最小图像块大小，如果不小于设定值，则增加N值（赋值N=N+2）并执行附图3中的步骤2.2.1-2.2.5。如果小于设定的最小图像块大小，则完成图像配准，此时输入的低分辨图像和高分辨图像就达到了亚像素级配准。本实施例中容差的设定值为0.2；最小图像块大小为40×40（像素×像素）。
在图像配准之后，建立了4个不同离焦量下配准的OCT en face低分辨图像和高分辨图像对数据集，每个数据集包含20个图像对。其中，图像大小为1000×1000（像素×像素），对应于3mm×3mm的视野范围。把大图像划分为大小为80 × 80（像素×像素）的图像块，在划分时去除特征信息较少的图像块，然后经过翻转、旋转等数据扩充，生成3000对80× 80（像素×像素）OCT en face低分辨图像和高分辨图像对数据集。最后，按照3:1:1的比例分配训练集、验证集和测试集。
步骤2：构建OCT en face 图像超分辨模型；
具体实施方法如下：
在OCT en face 图像超分辨模型构建中，通过深度学习方法学习OCT en face高分辨图像和不同分辨率的OCT en face低分辨图像间的映射关系，获得OCT三维图像的数字重聚焦，实现OCT图像焦深的拓展。
本实施例采用生成对抗神经网络作为深度学习的超分辨模型（图像超分辨模型还可以选择卷积神经网络、胶囊网络或图神经网络）。生成对抗神经网络由一个生成器和一个判别器组成，输入低分辨图像到生成对抗网络的生成器中得到生成图像，该生成图像和高分辨图像被输入到判别器中，判别器用于预测真实高分辨图像比生成图像更真实的概率，并返回损失结果更新生成器和判别器权重参数，如此往复训练直至生成对抗神经网络收敛。
判别器的预测概率如下式所示：
其中
为生成图像, 
为高分辨图像，
表示判断高分辨图像真实的概率，
表示判断超分辨图像更真实的概率，C(x)为判别器的输出,
和
分别代表对所有生成数据和高分辨取平均值的操作。对抗损失结果由判别器生成，用于更新判别器的对抗损失函数
由公式(6)计算，更新生成器的对抗损失函数
由公式(7)计算；
像素损失函数计算方法如公式(8)所示：
其中w和h分别代表图像的宽度和高度方向上的像素总数，x和y表示图像的横坐标和纵坐标。实施例中w和h均等于80。
特征损失函数通过预先训练的图像分类网络来衡量图像之间的语义差异，采用K.Simonyan等人(Simonyan K, Zisserman A. Very deep convolutional networks forlarge-scale image recognition. in Proceedings of International Conference onLearning Representations. 2015, 1–14.)描述的预先训练的VGG19网络提取感知域特征。VGG19是一个卷积神经网络，由16个卷积层和3个全连接层组成。特征损失函数采用公式(9)定义：
其中,
表示在VGG19网络中第i层池化层后第j层卷积层输出的特征图， 
和
是特征图的高和宽。在这里使用特征图
定义的
作为特征损失函数。
实施例中采用对抗损失函数为判别器的损失函数；生成器的损失函数包含对抗损失函数、像素损失函数和特征损失函数，其计算方法如公式(10):
其中采用加权参数m、θ和η来控制三种损失函数之间的权衡。本实施例中m=0.01，θ=1，η=0.005。
实施例生成对抗网络中生成器网络结构如附图4所示，包括卷积模块、特征提取模块和特征重建模块；
卷积模块包括一个卷积层Conv；
特征提取模块包括64个残差密连接块RRDB Block。每个残差密连接块结构如附图5所示，每个残差密连接块由23个密集连接块组成，同时每个密集连接块之间都加入了跳跃连接；密集连接块由五个卷积层Conv和四个LReLU层组成，在每个块中，每层的特征图都与相同尺度的所有先前特征连接在一起。
特征重建模块由两个卷积层Conv和一个LReLU层组成，用于将学习到的特征重建为超分辨图像。
实施例生成器网络中各卷积层对应的卷积核大小(k)、个数(n)、步长(s)在图4和图5中已标注。
实施例判别器结构如附图6所示，包含8个具有3 × 3滤波器核的卷积层Conv。除了第一层之外，每个卷积层后面都有一个批处理归一化层BN和一个LReLU层。卷积层之后是两个线性层和一个LReLU层。各卷积层对应的卷积核大小(k)、个数(n)、步长(s)在图6中已标注。
利用4个不同离焦量下配准的OCT en face低分辨图像和高分辨图像数据集，分别训练生成对抗神经网络，得到4个不同离焦量下的OCT en face图像超分辨模型，所述OCTen face图像超分辨模型均采用Adam算法进行优化，超参数分别为α =0， β1= 0.9， β2=0.99。设置训练迭代次数为150000次。所述生成对抗神经网络的训练和测试使用深度学习框架Pytorch完成。
步骤3：基于构建的OCT en face图像超分辨模型实现OCT图像数字重聚焦；具体实施方法如下：
对于待处理的OCT三维图像数据，首先确定入射光束的聚焦位置，依据聚焦位置、原有焦深和所述离焦量划分待处理的OCT三维图像，获得在原有焦深范围内的OCT en face高分辨图像序列和分别沿深度方向的焦深范围前和焦深范围后各4组（共计8组）OCT enface低分辨图像序列；其中，OCT en face高分辨图像不需要进行超分辨处理；沿深度方向的焦深范围前和焦深范围后各4组OCT en face低分辨图像序列对应的离焦量分别为30μm-90μm，90μm-150μm，150μm-210μm，210μm以上。分别采用构建的4个对应离焦量（60μm，120μm，180μm和240μm）下的OCT en face图像超分辨模型对不同离焦量下划分的焦深范围前和焦深范围后各4组OCT en face低分辨图像序列进行超分辨处理，获得焦深范围前和焦深范围后各4组OCT en face超分辨图像序列，实现图像重聚焦，提高了待处理的OCT三维图像中原有焦深之外的OCT en face图像的横向分辨率，最后把没有进行超分辨处理的焦深范围内的一组OCT en face高分辨图像序列和处理得到的8组OCT en face超分辨图像序列分别沿深度方向的焦深范围前和焦深范围后重新堆叠起来形成重聚焦的OCT三维图像，实现焦深拓展。
如附图7、附图8和附图9所示，给出了本发明的OCT en face图像数字重聚焦结果。图7为离焦量240 μm的斑马鱼OCT en face低分辨图像，图8为相同样品在焦深范围内获得的一个OCT en face高分辨图像，图9为本发明输出的图7的数字重聚焦图像或者超分辨图像，从数字重聚焦图像中可以看到清晰的斑马鱼结构。这表明通过本发明的方法，离焦的OCT en face图像的横向分辨率得到提高，实现了OCT图像的焦深拓展。
本发明实施时，首先依据离焦量设置，利用图像配准算法构建OCT en face高分辨图像和低分辨图像对数据集，然后构建OCT en face图像超分辨模型，通过深度学习方法学习OCT en face高分辨图像和不同分辨率的OCT en face低分辨图像间的映射关系，基于不同离焦量下的OCT en face图像超分辨模型获得OCT三维图像的数字重聚焦，实现OCT图像焦深的拓展。本发明可以在不增加OCT***硬件复杂度的情况下实现光学相干层析图像的焦深拓展，速度快、可移植性强。
上述实施例为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人员能够了解本发明内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明实质所做的等效变化或修饰，都应涵盖在本发明的保护范围内。
Claims (5)
1.一种获得光学相干层析大焦深图像的处理方法，其特征在于，包括三个步骤：
步骤1：构建OCT en face图像数据集；
所述OCT en face图像数据集是指不同离焦量下配准的OCT en face低分辨图像和高分辨图像对所构成的数据集；具体构建方法：
步骤1.1：把入射光束聚焦在样品内部，对所述样品内部的选定区域以等间隔方式采集OCT en face图像序列；具体方法如下：
沿指定方向移动样品台，采集入射光束聚焦于M+1个位置时所述样品内部的选定区域的OCT en face图像序列，每个图像序列采集的图像数目均为P个；其中，在入射光束的原有焦深范围内采集的一组OCT en face图像序列作为基准图像序列，所述基准图像序列属于OCT en face高分辨图像；其余不在入射光束原有焦深范围内的M个位置采集的M组图像序列为不同离焦量下的OCT en face低分辨图像序列，所述不同离焦量下的OCT en face低分辨图像序列对应不同的分辨率；
所述样品内部的选定区域的长度等于入射光束原有焦深的0.8-1倍；
所述M为2-8之间的自然数；
所述每个图像序列采集的图像数目P为4-100之间的自然数；
步骤1.2：对于不同分辨率的OCT en face低分辨图像序列，在所述基准图像序列中利用OCT en face图像配准方法寻找并配准对应位置的OCT en face高分辨图像，建立M个不同离焦量下的数据集，每个数据集中包含P个配准的OCT en face低分辨图像和高分辨图像对；
步骤2：构建OCT en face图像超分辨模型；
通过深度学习方法学习OCT en face高分辨图像和M组不同分辨率的OCT en face低分辨图像间的映射关系，构建M个OCT en face图像超分辨模型；
步骤3：基于所述OCT en face图像超分辨模型实现OCT图像数字重聚焦；
步骤3.1：对于待处理的OCT三维图像数据，首先确定入射光束的聚焦位置，依据聚焦位置、原有焦深和所述离焦量划分待处理的OCT三维图像，获得在原有焦深范围内的OCT enface高分辨图像序列和分别沿深度方向的焦深范围前和焦深范围后各M组共计2M组OCT enface低分辨图像序列；其中，OCT en face高分辨图像不需要进行超分辨处理；
步骤3.2：采用步骤2构建的M个所述OCT en face图像超分辨模型分别对不同离焦量下划分的所述焦深范围前和焦深范围后各M组OCT en face低分辨图像序列进行图像超分辨处理，获得焦深范围前和焦深范围后各M组OCT en face超分辨图像序列，实现图像重聚焦，最后把没有进行超分辨处理的焦深范围内的一组OCT en face高分辨图像序列和处理得到的2M组所述OCT en face超分辨图像序列，分别沿深度方向的焦深范围前和焦深范围后重新堆叠起来，形成重聚焦的OCT三维图像，实现焦深拓展。
2.根据权利要求1所述获得光学相干层析大焦深图像的处理方法，其特征在于，所述OCT en face图像配准方法包括两步：OCT en face低分辨图像和高分辨图像对的选择、OCTen face低分辨图像和高分辨图像的精细配准。
3.根据权利要求2所述获得光学相干层析大焦深图像的处理方法，其特征在于，所述OCT en face低分辨图像和高分辨图像对的选择方法是，对于从某一个离焦位置采集的所述OCT en face低分辨图像序列中提取的每一个离焦的OCT en face低分辨图像，从所述基准图像序列中选择一个OCT en face高分辨图像进行配对；
获得一个图像对的具体方法：将某个离焦的OCT en face低分辨图像与所述基准图像序列中的每一个OCT en face高分辨图像初步配准；然后，计算初步配准后的离焦的OCT enface低分辨图像与所述每一个OCT en face高分辨图像之间的相关系数r，从中选择相关系数最高的OCT en face高分辨图像与离焦的OCT en face低分辨图像作为配对图像；
两幅图像间的相关系数r由以下公式计算：
其中f(x,y)和g(x,y)分别代表高分辨图像和低分辨图像的灰度值，x表示图像的横坐标,y表示图像的纵坐标，
代表高分辨图像的平均灰度值，
代表低分辨图像的平均灰度值。
4.根据权利要求3所述获得光学相干层析大焦深图像的处理方法，其特征在于，所述OCT en face低分辨图像和高分辨图像初步配准的方法包括仿射变换法、刚体变换法、投影变换法、非线性变换法或矩和主轴法。
5.根据权利要求2所述获得光学相干层析大焦深图像的处理方法，其特征在于，所述OCT en face低分辨图像和高分辨图像的精细配准方法包括金字塔配准法、小波变换配准法、最大互信息配准法和图谱配准法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111428250.1A CN113837947B (zh) | 2021-11-29 | 2021-11-29 | 一种获得光学相干层析大焦深图像的处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111428250.1A CN113837947B (zh) | 2021-11-29 | 2021-11-29 | 一种获得光学相干层析大焦深图像的处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113837947A CN113837947A (zh) | 2021-12-24 |
| CN113837947B true CN113837947B (zh) | 2022-05-20 |
Family
ID=78971849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111428250.1A Active CN113837947B (zh) | 2021-11-29 | 2021-11-29 | 一种获得光学相干层析大焦深图像的处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837947B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972033B (zh) * | 2022-06-07 | 2024-06-14 | 南开大学 | 一种提高光学相干层析图像纵向分辨率的自监督方法 |
| CN117372274A (zh) * | 2023-10-31 | 2024-01-09 | 珠海横琴圣澳云智科技有限公司 | 扫描图像重聚焦方法、装置、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107233069A (zh) * | 2017-07-11 | 2017-10-10 | 中国科学院上海光学精密机械研究所 | 增加焦深范围的光学相干层析成像*** |
| CN110070601A (zh) * | 2017-12-18 | 2019-07-30 | Fei 公司 | 显微图像重建和分割的远程深度学习的方法、装置和*** |
| CN113269677A (zh) * | 2021-05-20 | 2021-08-17 | 中国人民解放***箭军工程大学 | 基于无监督学习的hsi超分辨重建方法及相关设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7324214B2 (en) * | 2003-03-06 | 2008-01-29 | Zygo Corporation | Interferometer and method for measuring characteristics of optically unresolved surface features |
| JP5448353B2 (ja) * | 2007-05-02 | 2014-03-19 | キヤノン株式会社 | 光干渉断層計を用いた画像形成方法、及び光干渉断層装置 |
| CN101703389A (zh) * | 2009-11-03 | 2010-05-12 | 南开大学 | 一种提高光学相干层析成像***焦深范围的方法 |
| JP6738423B2 (ja) * | 2015-12-17 | 2020-08-12 | エーエスエムエル ネザーランズ ビー．ブイ． | 測定を向上させるための非対称なサブ分解能フィーチャを用いるリソグラフィプロセスの光学計測 |
| CN106137134B (zh) * | 2016-08-08 | 2023-05-12 | 浙江大学 | 多角度复合的血流成像方法及*** |
| CN207071084U (zh) * | 2017-02-17 | 2018-03-06 | 浙江大学 | 一种基于光程编码的高分辨长焦深oct成像*** |
| CN107945110A (zh) * | 2017-11-17 | 2018-04-20 | 杨俊刚 | 一种针对光场阵列相机的盲深度超分辨率计算成像方法 |
| CN111881925B (zh) * | 2020-08-07 | 2023-04-18 | 吉林大学 | 一种基于相机阵列选择性光场重聚焦的显著性检测方法 |
-
2021
- 2021-11-29 CN CN202111428250.1A patent/CN113837947B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107233069A (zh) * | 2017-07-11 | 2017-10-10 | 中国科学院上海光学精密机械研究所 | 增加焦深范围的光学相干层析成像*** |
| CN110070601A (zh) * | 2017-12-18 | 2019-07-30 | Fei 公司 | 显微图像重建和分割的远程深度学习的方法、装置和*** |
| CN113269677A (zh) * | 2021-05-20 | 2021-08-17 | 中国人民解放***箭军工程大学 | 基于无监督学习的hsi超分辨重建方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113837947A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110570353B (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| Lai et al. | Multi-scale visual attention deep convolutional neural network for multi-focus image fusion | |
| CN106846463B (zh) | 基于深度学习神经网络的显微图像三维重建方法及*** | |
| CN113837947B (zh) | 一种获得光学相干层析大焦深图像的处理方法 | |
| Rajagopalan et al. | Depth estimation and image restoration using defocused stereo pairs | |
| JP2013531268A (ja) | 符号化開口を使用した距離の測定 | |
| CN112734915A (zh) | 一种基于深度学习的多视角立体视觉三维场景重建方法 | |
| CN110322403A (zh) | 一种基于生成对抗网络的多监督图像超分辨重建方法 | |
| CN107209061B (zh) | 用于确定场景相关电磁场的复振幅的方法 | |
| CN110136048B (zh) | 一种图像配准方法及***、存储介质及终端 | |
| CN116664892A (zh) | 基于交叉注意与可形变卷积的多时相遥感图像配准方法 | |
| CN112070675B (zh) | 一种基于图的正则化光场超分辨率方法和光场显微装置 | |
| Wang et al. | Accurate 3D reconstruction of single-frame speckle-encoded textureless surfaces based on densely connected stereo matching network | |
| Li et al. | Multi-frame super-resolution for time-of-flight imaging | |
| Shin et al. | LoGSRN: Deep super resolution network for digital elevation model | |
| CN115601423A (zh) | 一种双目视觉场景下基于边缘增强的圆孔位姿测量方法 | |
| CN115760603A (zh) | 一种基于大数据技术的干涉阵列宽带成像方法 | |
| CN111951159B (zh) | 一种强噪声条件下光场epi图像超分辨率的处理方法 | |
| CN107194334A (zh) | 基于光流模型的视频卫星影像密集匹配方法及*** | |
| Huang et al. | Depth extraction in computational integral imaging based on bilinear interpolation | |
| He et al. | Feature aggregation convolution network for haze removal | |
| Zhang et al. | Computational Super-Resolution Imaging With a Sparse Rotational Camera Array | |
| CN115100269B (zh) | 一种光场图像深度估计方法、***、电子设备及存储介质 | |
| Tian et al. | Research on 3D surface micro topography reconstruction and mosaic from multifocus microscopic image sequences | |
| CN117974729A (zh) | 基于多尺度匹配代价融合的立体匹配网络 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |