CN111986102B - 一种数字病理图像去模糊方法 - Google Patents
一种数字病理图像去模糊方法 Download PDFInfo
- Publication number
- CN111986102B CN111986102B CN202010680203.5A CN202010680203A CN111986102B CN 111986102 B CN111986102 B CN 111986102B CN 202010680203 A CN202010680203 A CN 202010680203A CN 111986102 B CN111986102 B CN 111986102B
- Authority
- CN
- China
- Prior art keywords
- image
- deblurring
- digital
- clear
- fuzzy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 230000007170 pathology Effects 0.000 claims description 50
- 238000005070 sampling Methods 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 18
- 238000004043 dyeing Methods 0.000 claims description 12
- 230000002146 bilateral effect Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 230000008439 repair process Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种数字病理图像去模糊方法，其特征在于，包括以下步骤：构建清晰数字病理图像库和模糊数字病理图像库；训练深度神经网络，得到训练好的去模糊网络预测模型；实时输入数字病理图像，对该数字病理图像进行初步的预处理操作；利用去模糊方法对Patch图像集合进行处理，将低维空间域的模糊信息去除；将Patch图像集合送入去模糊网络预测模型中生成预测结果，即获得清晰的Patch图像集合；将清晰的Patch图像集合中各个Patch图像拼接复原至原图大小，获得去模糊后的清晰数字病理图像。本发明将传统图像去模糊处理与深度神经网络相结合，实现对数字病理图像的去模糊，提高图像的清晰度。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种数字病理图像去模糊方法。
背景技术
任何医学成像方法的一个重要特征是它能够显示人体的解剖细节。这里使用的细节是指与正常解剖结构和各种病理组织相关的小结构、特征和对象。可视化的最小细节在很大程度上取决于成像过程产生的模糊量。所有医学图像都会存在一些模糊，然而使用一些去模糊的方法能明显提高图像的成像质量，显示更多的图像细节。
医学病理图像的成像方式称为全片数字化成像(WSI)或虚拟显微镜。WSI对数字病理学领域的研究极为重要，它使用数字扫描仪创建整个病理组织的切片图像，并且达到了与光学显微镜一致的图像质量。高分辨率的WSI图像通常会有1600万到2000万像素，但组织区域占比通常较低，扫描过程中会产生因对组织区域对焦不准而得到模糊的病理图像，模糊的病理图像会不利于医生的判断。
目前常见的图像去模糊方法，例如中国专利CN106097267B，该专利提出基于傅里叶变换的图像去模糊方法，但主要针对的是自然图像，并且需要一定的先验知识。中国专利CN103761710B，该专利提出边缘自适应的图像盲去模糊方法，针对现有全变差去模糊算法易模糊图像边缘和细节的问题，主要是去除因相机抖动、离焦、散焦以及目标物运动产生的图像模糊。
发明内容
本发明的目的是：解决数字病理图像组织区域对焦不准产生的图像模糊的问题。
为了达到上述目的，本发明的技术方案是提供了一种数字病理图像去模糊方法，其特征在于，包括以下步骤：
步骤1、构建清晰数字病理图像库和模糊数字病理图像库，清晰数字病理图像库中存储有多种清晰的数字病理图像，模糊数字病理图像库中存储有与清晰的数字病理图像一一对应的模糊的数字病理图像；
步骤2、对模糊数字病理图像库中的数据进行图像预处理，以获得适合的可供去模糊网络预测模型训练的Patch图像集合，随后对Patch图像集合进行去模糊处理操作，之后将经过初步去模糊处理操作的Patch图像集合作为输入、清晰数字病理图像库中相对应的清晰的数字病理图像作为输出训练深度神经网络，得到训练好的去模糊网络预测模型，其中，去模糊网络预测模型结构包括上采样部分及下采样部分：下采样部分将输入的数字病理图像经过若干卷积模块后，实现图像维度降低的同时提取高层特征，得到若干个表示高层特征信息的特征图；上采样部分将下采样部分输出的表示高层特征信息的特征图还原成清晰的数字病理图像，在还原过程中逐步增加高层特征信息的特征图的尺寸直至与原始图像尺寸一致，并且在训练过程中经过梯度下降优化后每个像素尽可能接近作为输出的清晰的数字病理图像；
步骤3、实时输入数字病理图像，对该数字病理图像进行初步的预处理操作，以获得适合去模糊操作的模糊Patch图像集合；
步骤4、利用传统去模糊方法对模糊Patch图像集合进行初步去模糊处理，将低维空间域的模糊信息去除；
步骤5、将经过步骤4处理之后的Patch图像集合送入去模糊网络预测模型中生成预测结果，即获得清晰的Patch图像集合；
步骤6、将清晰的Patch图像集合中各个Patch图像拼接复原至步骤3实时输入的数字病理图像的原图大小，获得去模糊后的清晰数字病理图像。
优选地，步骤2中，所述图像预处理包括以下步骤：
步骤201、对原始的模糊数字病理图像进行RGB通道染色标准化；
通过对原始的模糊数字病理图像缩略图的灰度通道进行二值化分割，去除模糊数字病理图像中的非组织区域；
步骤202、按照组织区域坐标，依次在染色标准化后的模糊数字病理图像上进行滑动取样，得到Patch图像集合；
步骤203、采用随机图像增强技术，在保证空间平移不变形的基础上，随机地对Patch图像集合中的图像进行旋转、平移、镜像、扭曲操作，生成最终的用于训练去模糊网络预测模型的Patch图像集合。
优选地，步骤2中，所述传统去模糊处理包括以下步骤：对Patch图像集合中的图像先进行Wiener滤波后，再进行双边滤波。
优选地，步骤2中，所述卷积模块包括卷积Conv、批标准化BatchNorm、Relu激活函数与池化Pooling。
优选地，步骤2中，所述上采样部分在将特征图还原成清晰的数字病理图像的过程中，采用卷积、批标准化、RELU激活函数与反池化UpPooling逐步增加高层特征信息的特征图的尺寸。
优选地，步骤3中，所述初步的预处理操作包括以下步骤：
步骤301、对原始的数字病理图像进行RGB通道染色标准化；
通过对原始的数字病理图像缩略图的灰度通道进行二值化分割，去除数字病理图像中的非组织区域；
步骤302、按照组织区域坐标，依次在染色标准化后的数字病理图像上进行滑动取样，得到模糊的Patch图像集合。
优选地，步骤4中，所述传统去模糊方法包括以下步骤：对模糊Patch图像集合中的图像先进行Wiener滤波后，再进行双边滤波。
优选地，步骤6中，根据步骤3获得的有效组织区域的坐标，将清晰的Patch图像集合中的Patch图像按坐标依次拼接入原始数字病理图像，以覆盖原始数字病理图像的组织区域，原始数字病理图像的非组织区域按全白填充，完成数字病理图像的复原。
本发明将传统图像去模糊处理与深度神经网络相结合，实现对数字病理图像的去模糊，提高图像的清晰度。
附图说明
图1为本发明的一种数字病理图像去模糊方法的流程图；
图2为本发明的图像预处理模块流程图；
图3为本发明的传统去模糊处理模块流程图；
图4为本发明的深度学习去模糊模块流程图；
图5为本发明的深度学习去模糊模型结构示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明提供的一种数字病理图像去模糊方法包括以下步骤：
步骤1、构建用于去模糊网络预测模型训练的清晰数字病理图像库和模糊数字病理图像库。
构建清晰数字病理图像库和模糊数字病理图像库时，分别使用对焦准确方法与对焦错误方法采集相同倍率的成对的数字病理图像。使用对焦准确方法获得的数字病理图像存入清晰数字病理图像库，使用对焦错误方法获得的数字病理图像存入模糊数字病理图像库。所有数据均通过脱敏处理去除患者个人信息。
步骤2、构建并训练去模糊网络预测模型，包括以下步骤：
对模糊数字病理图像库中的数据进行图像预处理，以获得适合的可供去模糊网络预测模型训练的Patch图像集合。随后，为加速去模糊网络预测模型的收敛速度，提高模型泛化能力，对Patch图像集合先进行传统的去模糊处理操作，之后将经过传统的去模糊处理操作的Patch图像集合作为输入、清晰数字病理图像库中相对应的清晰的数字病理图像作为输出训练深度神经网络，得到训练好的去模糊网络预测模型。
步骤2中，对模糊数字病理图像库中的数据进行图像预处理包括以下步骤：
步骤201、对原始的模糊数字病理图像进行RGB通道染色标准化；
通过对原始的模糊数字病理图像缩略图的灰度通道进行二值化分割，去除模糊数字病理图像中的非组织区域；
步骤202、按照组织区域坐标，依次在染色标准化后的模糊数字病理图像上进行滑动取样，得到Patch图像集合；
步骤203、为防止深度学***移不变形的基础上，随机地对Patch图像集合中的图像进行旋转、平移、镜像、扭曲操作，生成最终的用于训练去模糊网络预测模型的Patch图像集合。
步骤2中，传统的去模糊处理操作为先进行Wiener滤波后，再进行双边滤波。
Wiener滤波器是最小均方误差准则最优的线性滤波器，其定义如下式所示：
上式中，Y(u,v)是Wiener滤波算法的修复图像/>与模糊图像y的傅里叶变换；H(u,v)是模糊图画***的点扩展函数h的傅里叶变换，H*(u,v)是H(u,v)的复共轭；τ是正则化参数，它可以取为模糊图像信噪比的倒数。最终回复图像/>可由离散傅里叶逆变换得到，如下式所示：
双边滤波是一种边缘保持平滑滤波器。它的输出图像的每个像素的灰度值都是由其对应的输入图像像素周围的其它像素的灰度值进行加权平均得到的。权重的大小与像素之间的距离和像素之间的灰度差相关。双边滤波的定义如下式所示：
上式中，为双边滤波的输出图像；/>由Wiener滤波得到，b是/>的像素灰度值，h(b)为/>中灰度值为b的像素个数；Gσ是一个标准差为σ的高斯型函数，C(i,j)为归一化常数，公式如下：
去模糊网络预测模型结构包括上采样部分及下采样部分，其中：
下采样过程如图5左半部分所示，下采样将输入的数字病理图像经过若干卷积模块后，实现图像维度降低的同时提取图像的结构、纹理、像素差异等高层特征。下采样部分的每个卷积模块包括卷积Conv、批标准化BatchNorm、Relu激活函数与池化Pooling。
卷积Conv的计算公式如下式所示：
式中，Hn表示第n次卷积后的特征图，则Hn-1(i,j)表示第n-1次卷积后的特征图；Kx、Ky分别表示卷积核K的长和宽；wij表示卷积核K中每个参数对应的权重；bn表示第n次卷积的偏置。
池化Pooling选择平均池化，池化后特征图在x轴与y轴的尺寸缩小为1/Mx与1/My，计算公式如下式所示：
式中，H′表示为池化之后的特征图，则H(i,j)表示为池化之前的特征图；Mx、My分别表示每次池化的长度与宽度。
下采样后可以生成n个表示高层特征信息的特征图。
上采样过程如图5右半部分所示，上采样将高层特征信息的特征图还原成清晰图像。在还原过程中，经过卷积、批标准化、RELU激活函数与反池化UpPooling，逐步增加高层特征信息的特征图的尺寸直至与原始图像尺寸一致，并且经过梯度下降优化后每个像素尽可能接近对焦正确的清晰图像。
反池化UpPooling使用的是双线性插值的方式扩大尺寸，如果需要扩大一倍的尺寸，则在水平和垂直两个方向增加一倍的像素，即每行任意两个像素之间需要***一个新的值，每行之间需要有新的***值构成新的一行，因为要在长宽两个方向同时增加尺寸，所以插值的操作也需要在每列之间同时进行。
在上采样的过程中使用跳跃连接的方式，分步将下采样部分输出的特征图连接到上采样部分，跳跃连接如图5中左半部分与右半部分的连接所示，为了实现特征重用和减少梯度消失与网络退化。
步骤3、实时输入数字病理图像，对该数字病理图像进行初步的预处理操作，以获得适合的去模糊操作的模糊的Patch图像集合。
对实时输入的数字病理图像进行初步的预处理操作采用与上述步骤201及步骤202相类似的操作，包括以下步骤：
步骤301、对原始的数字病理图像进行RGB通道染色标准化；
通过对原始的数字病理图像缩略图的灰度通道进行二值化分割，去除数字病理图像中的非组织区域；
步骤302、按照组织区域坐标，依次在染色标准化后的数字病理图像上进行滑动取样，得到模糊的Patch图像集合。
步骤4、利用传统的去模糊方法对Patch图像集合进行处理，将低维空间域的模糊信息去除。
步骤5、将经过步骤4处理之后的Patch图像集合送入去模糊网络预测模型中生成预测结果，即获得清晰的Patch图像集合。
步骤6、将清晰的Patch图像集合中各个Patch图像拼接复原至步骤3实时输入的数字病理图像的原图大小，获得去模糊后的清晰数字病理图像，包括以下步骤：
根据步骤3获得的有效组织区域的坐标，将清晰的Patch图像集合中的Patch图像按坐标依次拼接入原始数字病理图像，以覆盖原始数字病理图像的组织区域，原始数字病理图像的非组织区域按全白填充，完成数字病理图像的复原。
为了验证对以上图像复原的质量，主要通过峰值信噪比(Peak Signal to NoiseRatio，PSNR)度量，PSNR计算公式如下：
式中，MSE为大小m×n模糊图像与清晰图像的均方误差，计算公式如下：
式中，I(x,y)为步骤3输入的原始的数字病理图像，J(x,y)为步骤6得到的复原后的清晰的数字病理图像。PSNR越高则本发明提供的方法的复原效果越好。
Claims (3)
1.一种数字病理图像去模糊方法，其特征在于，包括以下步骤：
步骤1、构建清晰数字病理图像库和模糊数字病理图像库，清晰数字病理图像库中存储有多种清晰的数字病理图像，模糊数字病理图像库中存储有与清晰的数字病理图像一一对应的模糊的数字病理图像；
步骤2、对模糊数字病理图像库中的数据进行图像预处理，以获得可供去模糊网络预测模型训练的Patch图像集合，随后对Patch图像集合进行去模糊处理操作，之后将经过初步去模糊处理操作的Patch图像集合作为输入、清晰数字病理图像库中相对应的清晰的数字病理图像作为输出训练深度神经网络，得到训练好的去模糊网络预测模型，其中，去模糊网络预测模型结构包括上采样部分及下采样部分：下采样部分将输入的数字病理图像经过若干卷积模块后，实现图像维度降低的同时提取高层特征，得到若干个表示高层特征信息的特征图；上采样部分将下采样部分输出的表示高层特征信息的特征图还原成清晰的数字病理图像，在还原过程中逐步增加高层特征信息的特征图的尺寸直至与原始图像尺寸一致，并且在训练过程中经过梯度下降优化后每个像素作为输出的清晰的数字病理图像，其中：
步骤2中，对模糊数字病理图像库中的数据进行图像预处理包括以下步骤：
步骤201、对原始的模糊数字病理图像进行RGB通道染色标准化；
通过对原始的模糊数字病理图像缩略图的灰度通道进行二值化分割，去除模糊数字病理图像中的非组织区域；
步骤202、按照组织区域坐标，依次在染色标准化后的模糊数字病理图像上进行滑动取样，得到Patch图像集合；
步骤203、采用随机图像增强技术，在保证空间平移不变形的基础上，随机地对Patch图像集合中的图像进行旋转、平移、镜像、扭曲操作，生成最终的用于训练去模糊网络预测模型的Patch图像集合；
步骤2中，去模糊处理操作为先进行Wiener滤波后，再进行双边滤波；
Wiener滤波器是最小均方误差准则最优的线性滤波器，其定义如下式所示：
上式中，Y(u,v)是Wiener滤波算法的修复图像/>与模糊图像y的傅里叶变换；H(u,v)是模糊图画***的点扩展函数h的傅里叶变换，H*(u,v)是H(u,v)的复共轭；τ是正则化参数，它取为模糊图像信噪比的倒数；
最终修复图像可由离散傅里叶逆变换得到，如下式所示：
双边滤波是一种边缘保持平滑滤波器，它的输出图像的每个像素的灰度值都是由其对应的输入图像像素周围的其它像素的灰度值进行加权平均得到的，权重的大小与像素之间的距离和像素之间的灰度差相关，双边滤波的定义如下式所示：
上式中，为双边滤波的输出图像；/>由Wiener滤波得到，b是/>的像素灰度值，h(b)为/>中灰度值为b的像素个数；Gσ是一个标准差为σ的高斯型函数，C(i,j)为归一化常数，公式如下：
去模糊网络预测模型结构包括上采样部分及下采样部分，其中：
下采样将输入的数字病理图像经过若干卷积模块后，实现图像维度降低的同时提取图像的结构、纹理、像素差异高层特征；下采样部分的每个卷积模块包括卷积Conv、批标准化BatchNorm、Relu激活函数与池化Pooling；
卷积Conv的计算公式如下式所示：
式中，Hn表示第n次卷积后的特征图，则Hn-1(i,j)表示第n-1次卷积后的特征图；Kx、Ky分别表示卷积核K的长和宽；wij表示卷积核K中每个参数对应的权重；bn表示第n次卷积的偏置；
池化Pooling选择平均池化，池化后特征图在x轴与y轴的尺寸缩小为1/Mx与1/My，计算公式如下式所示：
式中，H′表示为池化之后的特征图，则H(i,j)表示为池化之前的特征图；Mx、My分别表示每次池化的长度与宽度；
下采样后生成n个表示高层特征信息的特征图：
上采样将高层特征信息的特征图还原成清晰图像，在还原过程中，经过卷积、批标准化、RELU激活函数与反池化UpPooling，逐步增加高层特征信息的特征图的尺寸直至与原始图像尺寸一致，并且经过梯度下降优化后每个像素对焦正确的清晰图像；
反池化UpPooling使用的是双线性插值的方式扩大尺寸，如果需要扩大一倍的尺寸，则在水平和垂直两个方向增加一倍的像素，即每行任意两个像素之间需要***一个新的值，每行之间需要有新的***值构成新的一行，因为要在长宽两个方向同时增加尺寸，所以插值的操作也需要在每列之间同时进行；
在上采样的过程中使用跳跃连接的方式，分步将下采样部分输出的特征图连接到上采样部分；
步骤3、实时输入数字病理图像，对该数字病理图像进行初步的预处理操作，以获得去模糊操作的模糊Patch图像集合，其中：
步骤301、对原始的数字病理图像进行RGB通道染色标准化；
通过对原始的数字病理图像缩略图的灰度通道进行二值化分割，去除数字病理图像中的非组织区域；
步骤302、按照组织区域坐标，依次在染色标准化后的数字病理图像上进行滑动取样，得到模糊的Patch图像集合；
步骤4、利用传统去模糊方法对模糊Patch图像集合进行初步去模糊处理，将低维空间域的模糊信息去除；
步骤5、将经过步骤4处理之后的Patch图像集合送入去模糊网络预测模型中生成预测结果，即获得清晰的Patch图像集合；
步骤6、将清晰的Patch图像集合中各个Patch图像拼接复原至步骤3实时输入的数字病理图像的原图大小，获得去模糊后的清晰数字病理图像。
2.如权利要求1所述的一种数字病理图像去模糊方法，其特征在于，步骤4中，所述传统去模糊方法包括以下步骤：对模糊Patch图像集合中的图像先进行Wiener滤波后，再进行双边滤波。
3.如权利要求1所述的一种数字病理图像去模糊方法，其特征在于，步骤6中，根据步骤3获得的有效组织区域的坐标，将清晰的Patch图像集合中的Patch图像按坐标依次拼接入原始数字病理图像，以覆盖原始数字病理图像的组织区域，原始数字病理图像的非组织区域按全白填充，完成数字病理图像的复原。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010680203.5A CN111986102B (zh) | 2020-07-15 | 2020-07-15 | 一种数字病理图像去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010680203.5A CN111986102B (zh) | 2020-07-15 | 2020-07-15 | 一种数字病理图像去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111986102A CN111986102A (zh) | 2020-11-24 |
| CN111986102B true CN111986102B (zh) | 2024-02-27 |
Family
ID=73438712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010680203.5A Active CN111986102B (zh) | 2020-07-15 | 2020-07-15 | 一种数字病理图像去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111986102B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465730A (zh) * | 2020-12-18 | 2021-03-09 | 辽宁石油化工大学 | 一种运动视频去模糊的方法 |
| CN116934635B (zh) * | 2023-09-18 | 2023-12-12 | 苏州可帮基因科技有限公司 | 基于图像处理技术的病理图像质控方法及设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN107945125A (zh) * | 2017-11-17 | 2018-04-20 | 福州大学 | 一种融合频谱估计法和卷积神经网络的模糊图像处理方法 |
| CN109087256A (zh) * | 2018-07-19 | 2018-12-25 | 北京飞搜科技有限公司 | 一种基于深度学习的图像去模糊方法及*** |
| KR20190040586A (ko) * | 2017-10-11 | 2019-04-19 | 인하대학교 산학협력단 | 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템 |
| CN110717921A (zh) * | 2019-09-26 | 2020-01-21 | 哈尔滨工程大学 | 改进型编码解码结构的全卷积神经网络语义分割方法 |
| CN111028177A (zh) * | 2019-12-12 | 2020-04-17 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
| CN111047559A (zh) * | 2019-11-21 | 2020-04-21 | 万达信息股份有限公司 | 一种数字病理切片异常区域快速检测的方法 |
| CN111091503A (zh) * | 2019-11-09 | 2020-05-01 | 复旦大学 | 基于深度学习的图像去失焦模糊方法 |
| WO2020087607A1 (zh) * | 2018-11-02 | 2020-05-07 | 北京大学深圳研究生院 | 一种基于Bi-Skip-Net的图像去模糊方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11514325B2 (en) * | 2018-03-21 | 2022-11-29 | The Regents Of The University Of California | Method and system for phase recovery and holographic image reconstruction using a neural network |
-
2020
- 2020-07-15 CN CN202010680203.5A patent/CN111986102B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| KR20190040586A (ko) * | 2017-10-11 | 2019-04-19 | 인하대학교 산학협력단 | 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템 |
| CN107945125A (zh) * | 2017-11-17 | 2018-04-20 | 福州大学 | 一种融合频谱估计法和卷积神经网络的模糊图像处理方法 |
| CN109087256A (zh) * | 2018-07-19 | 2018-12-25 | 北京飞搜科技有限公司 | 一种基于深度学习的图像去模糊方法及*** |
| WO2020087607A1 (zh) * | 2018-11-02 | 2020-05-07 | 北京大学深圳研究生院 | 一种基于Bi-Skip-Net的图像去模糊方法 |
| CN110717921A (zh) * | 2019-09-26 | 2020-01-21 | 哈尔滨工程大学 | 改进型编码解码结构的全卷积神经网络语义分割方法 |
| CN111091503A (zh) * | 2019-11-09 | 2020-05-01 | 复旦大学 | 基于深度学习的图像去失焦模糊方法 |
| CN111047559A (zh) * | 2019-11-21 | 2020-04-21 | 万达信息股份有限公司 | 一种数字病理切片异常区域快速检测的方法 |
| CN111028177A (zh) * | 2019-12-12 | 2020-04-17 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| UPDCNN：A New Scheme for Image Upsampling and Deblurring Using a Deep Convolutional Neural Network;Alireza Esmaeilzehi等;2019 IEEE International Conference on Image Processing (ICIP);第2154-2158页 * |
| 基于深度卷积神经网络的运动模糊去除算法;郭业才等;南京理工大学学报;第44卷(第3期);第303-312页 * |
| 基于深度学习的视频去模糊算法研究;武理友;中国优秀硕士学位论文全文数据库 信息科技辑(第3期);第I138-1077页 * |
| 结合传统先验与深度神经网络的图像复原方法研究;李乐仁瀚;中国博士学位论文全文数据库 信息科技辑(第4期);第I138-30页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111986102A (zh) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| CN111598808B (zh) | 图像处理方法、装置、设备及其训练方法 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及*** | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| Liu et al. | Gradnet image denoising | |
| CN111340744B (zh) | 基于注意力双流深度网络的低质量图像降采样方法及其*** | |
| CN112669214B (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
| CN110796622B (zh) | 一种基于串联神经网络多层特征的图像比特增强方法 | |
| CN111986102B (zh) | 一种数字病理图像去模糊方法 | |
| KR101028628B1 (ko) | 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 | |
| CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN114331886A (zh) | 一种基于深度特征的图像去模糊方法 | |
| CN116029902A (zh) | 一种基于知识蒸馏的无监督真实世界图像超分辨方法 | |
| CN112927137A (zh) | 一种用于获取盲超分辨率图像的方法、设备及存储介质 | |
| CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
| CN116309062A (zh) | 一种遥感图像超分辨率重建方法 | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其*** | |
| CN109993701B (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
| Purkait et al. | Morphologic gain-controlled regularization for edge-preserving super-resolution image reconstruction | |
| CN110852947B (zh) | 一种基于边缘锐化的红外图像超分辨方法 | |
| CN116188272A (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN113674154B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法及*** | |
| Peng et al. | MND-GAN: A research on image deblurring algorithm based on generative adversarial network | |
| CN112598581B (zh) | 一种rdn超分辨网络的训练方法及图像生成方法 | |
| Zhang et al. | Deep residual network based medical image reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |