CN109242795A - 一种低亮度人体组织细胞双光子显微图像的亮度增强方法 - Google Patents
一种低亮度人体组织细胞双光子显微图像的亮度增强方法 Download PDFInfo
- Publication number
- CN109242795A CN109242795A CN201811000896.8A CN201811000896A CN109242795A CN 109242795 A CN109242795 A CN 109242795A CN 201811000896 A CN201811000896 A CN 201811000896A CN 109242795 A CN109242795 A CN 109242795A
- Authority
- CN
- China
- Prior art keywords
- image
- brightness
- human tissue
- tissue cell
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 71
- 238000013507 mapping Methods 0.000 claims abstract description 65
- 230000002708 enhancing effect Effects 0.000 claims abstract description 50
- 238000011156 evaluation Methods 0.000 claims abstract description 29
- 230000000007 visual effect Effects 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 17
- 210000001525 retina Anatomy 0.000 claims abstract description 17
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 210000003710 cerebral cortex Anatomy 0.000 claims abstract description 15
- 238000005315 distribution function Methods 0.000 claims abstract description 15
- 230000033228 biological regulation Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000004088 simulation Methods 0.000 claims description 7
- 210000000695 crystalline len Anatomy 0.000 claims description 5
- 210000005252 bulbus oculi Anatomy 0.000 claims description 4
- 210000001508 eye Anatomy 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims 1
- 238000001914 filtration Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 20
- 210000001672 ovary Anatomy 0.000 description 13
- 230000008859 change Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 210000001328 optic nerve Anatomy 0.000 description 3
- 230000010455 autoregulation Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101100072002 Arabidopsis thaliana ICME gene Proteins 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种低亮度人体组织细胞双光子显微图像的亮度增强方法，其过程为：将低亮度图像数据类型转化为双精度类型；取图像中三个颜色通道的最大值作为人体组织细胞图像初始化亮度评估映射；使用相关滤波操作和线性优化函数，得到人体组织细胞图像精准的亮度评估映射；根据视网膜成像和大脑皮层调节原理，得到图像亮度增强的曝光率映射；结合卡方分布函数优化模型和曝光率映射，最终得到良好的亮度增强图像。本发明针对背景复杂、噪声严重的人体组织细胞双光子显微图像，可以增强图像视觉信息的同时，还能够获得较高的视觉信息保真度和较少的亮度扭曲和失真，解决了在低亮度人体组织细胞双光子显微图像中无法获取更多有效信息的问题。
Description
技术领域
本发明涉及图像增强领域，特别是一种低亮度人体组织细胞双光子显微图像的亮度增强方法。
背景技术
图像增强是图像处理领域的一个重要课题，获取更多逼真视觉信息且较少亮度扭曲的图像增强能为最近流行的卷积神经网络中的特征提取、图像分类等处理提供有利条件。目前，提高生物医学图像质量和视觉效果逐渐成为图像增强领域中备受关注的研究热点。虽然图像增强在自然图像上有所突破，但由于人体细胞的多变性和复杂性，国内外很少有学者对人体人体组织细胞图像亮度增强问题展开研究。
现有的图像增强技术分为全局增强和局部增强。全局增强在不考虑空间分布的情况下，对图像所有像素进行相同的操作。通常像素线性放大是全局增强中一种简单而直接的方法，但这种方法会导致亮区域过饱和并且导致细节损失。因此采用非线性单调函数的增强方法和直方图均衡化可以有效的提高图像的对比度和避免过饱和。然而，局部增强是注重像素空间分布并且通过使用局部直方图均衡化方法成为最新技术的主流。由于图像增强在人体细胞上的应用极少，因此本文使用应用于自然图像上的相关图像增强技术并对其进行改进。下面选择自然图像增强效果较好的方法进行简要介绍，文献【X.Dong,G.Wang,Y.Pang,W.Li,J.Wen,W.Meng,and Y.Lu,“Fast efficient algorithm for enhancementof low lighting video,”in ICME,pp.1–6,2011】提出了一种快而有效的低亮度视频的增强算法，通过合理的改变去模糊算法并将其应用于反转视频帧上可以有效的增强低亮度视频。该方法对于含雾图像效果较好，但在人体人体组织细胞图像中纹理边缘会大量噪声，不能取得好的结果。文献【S.Wang,J.Zheng,H.Hu,and B.Li,“Naturalness preservedenhancement algorithm for non-uniform illumination images,”TIP,vol.22,no.9,pp.3538–3578,2013】采用保持图像照明自然性同时非线性图像对比度增强算法。该方法虽然避免了图像过度增强，但运行效率和整体视觉质量不是令人满意的。文献【X.Fu,D.Zeng,Y.Huang,Y.Liao,X.Ding,and J.Paisley,“A fusion-based enhancing method forweakly illuminated images,”Signal Processing,vol.129,pp.82–96,2016】提出了一种通过融合初始化亮度映射的多衍生物来调整图像亮度的增强方法。该方法在整体增强性能较好，但由于无法清晰的识别照明结构，会失去丰富纹理区域的真实性。
上述方法都是针对某些特定自然图像进行亮度增强的，从未在细胞显微图像中使用过，通过实验发现这些方法在背景复杂、噪声严重的人体组织细胞图像中可以实现亮度增强，但容易导致图像视觉信息保真度不足和严重的亮度扭曲。
发明内容
有鉴于此，本发明的目的是提出一种低亮度人体组织细胞双光子显微图像的亮度增强方法，解决了在低亮度人体组织细胞双光子显微图像中无法获取更多有效信息的问题。
本发明采用以下方案实现：一种低亮度人体组织细胞双光子显微图像的亮度增强方法包括以下步骤：
步骤S1：输入无法获取视觉信息的低亮度人体组织细胞双光子显微图像，并将输入图像数据类型转化为双精度数据类型；
步骤S2：取步骤S1中双精度数据类型的输入图像中的三个颜色通道的最大值(Max-RGB)作为人体组织细胞图像初始化亮度评估映射；
步骤S3：将初始化亮度评估映射缩小为步骤S2中初始化亮度评估映射的1/2，并对缩小后的初始化亮度评估映射分别进行行差分运算和列差分运算，对行差分运算和列差分运算的输出结果进行滤波操作，并将滤波结果的倒数作为人体组织细胞图像的权值矩阵Wh(x)，Wv(x)；
步骤S4：对步骤S3中的权值矩阵Wh(x)，Wv(x)进行线性优化函数运算，用以获得人体组织细胞图像精准亮度评估映射M(x)，并根据视网膜成像和大脑皮层调节原理求出人体组织细胞图像曝光率映射K(x)，用以能够在人体组织细胞图像暗的区域分配一个大的曝光率，在人体组织细胞图像亮的区域分配一个小的曝光率；
步骤S5：利用新型的卡方分布函数(CCF)优化模型和亮度增强框架对人体组织细胞图像中低亮度区域的亮度进行增强，得到人体组织细胞图像亮度增强结果；
步骤S6：输出步骤S5中人体组织细胞图像亮度增强结果。
进一步地，步骤S3中，所述人体组织细胞图像的权值矩阵Wh(x)，Wv(x)具体为：
式中分别表示一阶行差分运算和一阶列差分运算，L(x)表示初始化亮度评估映射，ε表示一个避免分母为零的常数，表示大小为1×2的滑动相关核ω作用于数据x上，并移动相关核对数据进行滤波。
进一步地，步骤S4中，所述根据视网膜成像和大脑皮层调节原理求出人体组织细胞图像曝光率映射K(x)包括以下步骤：
步骤S41：将低亮度人体组织细胞双光子显微图像的亮度增强方法的过程模拟成眼球视觉成像过程；
步骤S42：将对曝光率映射K(x)中的数据进行约束的过程模拟成大脑皮层对亮度进行自动调节的过程，M(x)表示精准的亮度评估映射，μ表示避免曝光率映射K(x)的值为无穷大，min表示取两者中的最小值。
进一步地，所述步骤S41具体为：将精准亮度评估映射M(x)等价成人眼获取的视觉信息，视觉信息通过晶状体在视网膜上成倒立的映射，并将倒立的映射作为曝光率映射K(x)，
进一步地，步骤S5中，所述新型的卡方分布函数优化模型采用以下步骤得到：
步骤S51：根据卡方分布的概率密度函数，提出了一种闭合解f(x)，其中a是在x＞0情景下的模型参数，x表示曝光率映射K(x)中的值。，
步骤S52：将f(x)整体乘以参数2x得到f'(x)，
步骤S53：利用x/2替换f'(x)中的x，得到卡方分布函数模型优化函数f”(x)，
进一步地，步骤S5中，所述亮度增强框架具体为：利用卡方分布函数优化模型和曝光率映射K(x)，得到亮度增强图像G'(x)即为亮度增强框架，其中G(x)表示最终图像，G'(x)＝I(G(x),K(x))，
其中a＝3.6。
进一步地，步骤S4中线性优化函数具体为：
式中M(x)表示精准亮度评估映射，k表示M(x)收敛的迭代次数，通过迭代获取M(x)最优解中的最小值，中括号第一个等式表示M(x)与L(x)之间的保真度，第二个等式表示线性优化函数结构的平滑度，β是用来均衡保真度与平滑度两个指标的系数。
与现有技术相比，本发明有以下有益效果：
(1)本发明可以增强图像视觉信息的同时，还能够获得较高的视觉信息保真度和较少的亮度扭曲和失真。
(2)本发明在增强图像亮度时，可以较好的避免图像中噪声的产生，并且显示出较多的生物医学领域中的信息。
附图说明
图1为本发明实施例的的总流程图。
图2为使用本实施例方法处理一幅低亮度人体组织细胞双光子显微图像的过程图。
图3为使用本实施例方法处理4幅低亮度人体组织细胞双光子显微图像的结果图。
图4为使用本发明方法处理低亮度人体组织细胞变化过程图。
图5为使用本发明方法处理一幅人体组织细胞双光子显微图像的结果与使用三种现有方法处理的结果的对比图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示本实施例首先根据输入图像数据求出初始化亮度评估映射，接着对初始化亮度评估映射进行相关滤波运算和线性优化函数处理得到精准的亮度评估映射，再利用视网膜成像和大脑皮层调节原理对精准的亮度评估映射进行运算得到曝光率映射，最后结合CCF优化模型和曝光率映射实现人体组织细胞显微图像的亮度增强。
具体的，本实施例提供一种低亮度人体组织细胞双光子显微图像的亮度增强方法，包括以下步骤：
步骤S1：输入无法获取视觉信息的低亮度人体组织细胞双光子显微图像，并将输入图像数据类型转化为双精度数据类型；
步骤S2：取步骤S1中双精度数据类型的输入图像中的三个颜色通道的最大值(Max-RGB)作为人体组织细胞图像初始化亮度评估映射；
步骤S3：将初始化亮度评估映射缩小为步骤S2中初始化亮度评估映射的1/2，并对缩小后的初始化亮度评估映射分别进行行差分运算和列差分运算，对行差分运算和列差分运算的输出结果进行滤波操作，并将滤波结果的倒数作为人体组织细胞图像的权值矩阵Wh(x)，Wv(x)；
步骤S4：对步骤S3中的权值矩阵Wh(x)，Wv(x)进行线性优化函数运算，用以获得人体组织细胞图像精准亮度评估映射M(x)，并根据视网膜成像和大脑皮层调节原理求出人体组织细胞图像曝光率映射K(x)，用以能够在人体组织细胞图像暗的区域分配一个大的曝光率，在人体组织细胞图像亮的区域分配一个小的曝光率；
步骤S5：利用新型的卡方分布函数(CCF)优化模型和亮度增强框架对人体组织细胞图像中低亮度区域的亮度进行增强，并且不影响良好亮度区域的亮度，进而得到人体组织细胞图像亮度增强结果；
步骤S6：输出步骤S5中人体组织细胞图像亮度增强结果。
在本实施例中，步骤S3中，所述人体组织细胞图像的权值矩阵Wh(x)，Wv(x)具体为：
式中分别表示一阶行差分运算和一阶列差分运算，L(x)表示初始化亮度评估映射，ε表示一个避免分母为零的常数，表示大小为1×2的滑动相关核ω作用于数据x上，并移动相关核对数据进行滤波。
在本实施例中，步骤S4中，所述根据视网膜成像和大脑皮层调节原理求出人体组织细胞图像曝光率映射K(x)包括以下步骤：
步骤S41：将低亮度人体组织细胞双光子显微图像的亮度增强方法的过程模拟成眼球视觉成像过程；
步骤S42：低亮度细胞图像和曝光率映射呈现于视网膜后，沿着视神经传到大脑皮层的视觉中枢，由于人体的大脑皮层对亮度具有自动调节作用，因此将对曝光率映射K(x)中的数据进行约束的过程模拟成大脑皮层对亮度进行自动调节的过程，M(x)表示精准的亮度评估映射，μ表示避免曝光率映射K(x)的值为无穷大，min表示取两者中的最小值。
在本实施例中，所述步骤S41具体为：将精准亮度评估映射M(x)等价成人眼获取的视觉信息，视觉信息通过晶状体在视网膜上成倒立的映射，并将倒立的映射作为曝光率映射K(x)，
在本实施例中，步骤S5中，所述新型的卡方分布函数优化模型采用以下步骤得到：
步骤S51：根据卡方分布的概率密度函数，提出了一种闭合解f(x)，其中a是在x＞0情景下的模型参数，x表示曝光率映射K(x)中的值。，
步骤S52：将f(x)整体乘以参数2x得到f'(x)，能更好的增强图像亮度，
步骤S53：由于得出的图像中少量区域亮度过亮，因此利用x/2替换f'(x)中的x，得到卡方分布函数模型优化函数f”(x)，
在本实施例中，步骤S5中，所述亮度增强框架具体为：利用卡方分布函数优化模型和曝光率映射K(x)，得到亮度增强图像G'(x)即为亮度增强框架，其中，G(x)表示最终图像,G'(x)＝I(G(x),K(x))，
其中a＝3.6。
在本实施例中，步骤S4中线性优化函数具体为：
式中M(x)表示精准亮度评估映射，k表示M(x)收敛的迭代次数，通过迭代获取M(x)最优解中的最小值，中括号第一个等式表示M(x)与L(x)之间的保真度，第二个等式表示线性优化函数结构的平滑度，β是用来均衡保真度与平滑度两个指标的系数。
较佳的本实施例的核心在于根据输入图像求出图像的曝光率映射，以便在图像暗的区域分配一个大的曝光率，在图像亮的区域分配一个小的曝光率，结合CCF优化模型和曝光率映射得出良好的亮度增强图像，具体包括以下内容：
(1)低亮度人体卵巢新鲜组织细胞双光子显微图像的亮度增强
具体处理过程如下：
步骤1.输入无法获取视觉信息的低亮度人体组织双光子显微图像，将图像数据类型转化为双精度类型，如图2所示，Ri表示使用双光子显微镜获得的绿色的人体卵巢新鲜组织细胞输入图像；
步骤2.获取细胞图像初始化亮度评估映射，取双精度数据类型的输入图像中三个颜色通道的最大值(Max-RGB)作为细胞图像初始化亮度评估映射，
通过初始化亮度评估映射，保证亮度增强范围至少是某一区域三个通道的最大值，避免亮度增强过度；
步骤3.求出细胞图像的权值矩阵，虽然得出了初始化亮度评估映射，但是还是无法对图像中亮度进行评估判断。因此，为了更好的评估图像亮度，本实施例使用权值矩阵来求出图像亮度评估映射，把初始化亮度评估映射缩小为原来的1/2，然后对其分别进行行差分运算和列差分运算，将输出的结果再分别使用滑动相关核ω(x)来完成相关滤波操作，并取其结果的倒数作为细胞图像的权值矩阵，权值矩阵的设计对精准的亮度评估映射结构判断起到了至关重要的作用，细胞图像的权值矩阵Wh(x)，Wv(x)：
式中 分别表示一阶行差分运算和一阶列差分运算，L(x)表示初始化亮度评估映射，ε表示一个避免分母为零的常数，表示大小为1×2的滑动相关核ω作用于数据x上，并移动相关核对数据进行滤波；
步骤4.求出细胞图像的精准亮度评估映射和曝光率映射，对权值矩阵进行线性优化函数运算，获得细胞图像精准的亮度评估映射，权值矩阵线性优化函数：
式中M(x)表示精准的亮度评估映射，k表示M(x)收敛的迭代次数，通过迭代获取M(x)最优解中的最小值，中括号第一个等式表示M(x)与L(x)之间的保真度，第二个等式表示结构的平滑度，β是用来均衡两个指标的系数。如图2所示的M呈现绿色的人体卵巢新鲜组织细胞亮度评估矩阵。
根据视网膜成像和大脑皮层调节原理求出曝光率映射，以便在图像暗的区域分配一个大的曝光率，然而在图像亮的区域分配一个小的曝光率。
视网膜成像和大脑皮层调节原理，其具体步骤为：
①细胞在人眼中成像是细胞的反射光通过晶状体折射并在视网膜上成倒立的景象，再由视觉神经感知传递给大脑并对其做出分析与判断；
②将整个方法过程模拟成眼球视觉成像过程，把所获取的精准亮度评估映射M(x)看成视觉信息，通过晶状体呈现于视网膜上，则会变成倒立的映射，将其作为曝光率映射K(x)，K(x)＝1/M(x)；
③低亮度细胞图像和曝光率映射呈现于视网膜后，沿着视神经传到大脑皮层的视觉中枢，由于人体的大脑皮层对亮度具有自动调节作用，因此把对曝光率映射K(x)中数据进行约束模拟成大脑皮层的亮度自动调节，式中为了避免曝光率映射K(x)的值无穷大；
步骤5.卡方分布函数优化模型的推演和亮度增强框架，使用新型的卡方分布函数(CCF)优化模型和亮度增强框架来合理的增强细胞图像中低亮度区域的亮度而不影响良好亮度区域的亮度。
CCF优化模型，其步骤为：
①根据卡方分布的概率密度函数，提出了一种闭合解f(x)，
式中a是在x＞0情形下的模型参数；
②为了更好的增强图像亮度，对f(x)整体乘以参数2x得到f'(x)，
③由于得出的图像中少量区域亮度过亮，因此利用x/2替换f'(x)中的x得到CCF优化模型最终亮度增强非线性函数f”(x)：
根据常用的非线性函数亮度增强和曝光率映射的亮度增强框架：
G′(x)＝I(G(x)，K(x))计算出亮度增强图像；结合CCF优化模型和曝光率映射K(x)得出良好的亮度增强图像:
其中a＝3.6。这里的I等同于CCF优化模型中f”(x)，把曝光率映射K(x)看作为f”(x)中的x并带入其中，再将输入图像G(x)乘以所得的f”(K(x))得到亮度增强结果G'(x)。
步骤6.输出细胞亮度增强结果
细胞亮度增强结果如图2中R0所示，R0表示使用本发明得出的亮度增强图像。
较佳的，本实施例可以通过以下实验进一步实现：
实验环境：Matlab 2016b，Intel Core i5-6500，3.2GHz CPU，Windows7旗舰版。
实验内容：使用本实施例对4幅低亮度人体卵巢新鲜组织细胞双光子显微图像进行了亮度增强，并且还使用本发明方法处理一种低亮度人体卵巢新鲜组织细胞变化过程。另外分别使用快而有效的低亮度视频的增强算法、保持图像照明自然性同时非线性图像对比度增强算法、通过融合初始化亮度映射的多衍生物来调整图像亮度的增强方法这三种现有方法对一幅图片进行了分割，将本发明方法的效果与他们进行了比较，最后使用亮度扭曲(LOE)和视觉信息保真度(VIF)这两种评价图像质量标准的方法来客观地评价图像亮度增强的效果。通过观察实验结果现象并且综合考虑LOE和VIF两个评价图像质量标准的参数，使获得图像更具有真实性。全部实验图片来自福建师范大学医学光电科学与技术***重点实验室。
参数设置：差分运算使用的是Matlab的自带函数diff。相关滤波操作使用Matlab的自带函数filter2，滤波模板大小为1×2，σ＝1。权值矩阵中避免分母为零的ε＝0.001。线性优化函数中的均衡两个指标的系数β＝1。曝光率映射K(x)中μ＝5.9。
实验结果：使用本发明方法处理一幅低亮度人体卵巢新鲜组织细胞，如图1所示为本实施例主要步骤流程图。并且其中关键步骤的结果图如图2所示，其中清晰可见从低亮度输入图像到亮度增强输出图像的整个方法过程，关键技术获得的图像分别为：原始图像Ri，亮度评估矩阵M，利用CCF优化模型得出的亮度增强图R1，R2，R0。图2中R0为本实施例的最终亮度增强结果，R1表示结合曝光率映射K(x)和非线性函数f(x)得出的亮度增强图像，R2表示结合曝光率映射K(x)和非线性函数f'(x)得出的亮度增强图像。
图3是使用本发明方法处理4幅低亮度人体卵巢新鲜组织双光子显微图像的结果图，(a)、(b)、(c)和(d)为4幅不同低亮度人体卵巢新鲜组织双光子显微图像；(e)、(f)、(g)和(h)分别对应为使用本实施例获得的亮度增强图像。对比后发现通过本发明方法得到的图像可以清晰的看见卵巢新鲜组织图像中纹理的情况，并且原本无法看见细胞纹理的区域，通过增强之后可以清楚的看见图像的纹理。
图4是使用本实施例方法处理人体卵巢新鲜组织细胞图像变化过程图，图像中左侧显示了未聚焦的低亮度二次谐波人体组织细胞变化过程图像，而右侧显示了使用本发明方法获得的聚焦二次谐波人体组织细胞变化过程图像。通过比较这两组图像，当样本信号很弱或者样本没有聚焦在双光子焦平面上时，左侧输入图像的二次谐波信号无法清晰的显示出来。将输入图像与使用本实施例得到的图像进行比较，有效地增加了人体组织细胞有用信号的亮度。图像中中间位置的两幅图像分别表示输入图像中亮度质量最好的图像和使用本实施例方法获得的亮度质量最差的图像，并将两者进行比较发现使用本实施例方法获得的图像中所观察到的视觉信息要多于从输入图像中获取到的视觉信息。
图5为使用本实施例方法以及其他3种现有方法对一幅人体卵巢新鲜组织细胞图像进行亮度增强对比。图(a)为原始低亮度人体卵巢新鲜组织细胞图像；图(b)为使用一种快而有效的低亮度视频的增强算法所获取的亮度增强细胞图像；图(c)为使用采用保持图像照明自然性同时非线性图像对比度增强算法所获取的亮度增强细胞图像；图(d)为使用一种通过融合初始化亮度映射的多衍生物来调整图像亮度的增强方法所获取的亮度增强细胞图像；图(e)为使用本实施例获得的亮度增强细胞图像。对比本实施例方法的结果，可以看出这些方法虽然整体上把一些暗处的信息更好的显示出来，但是很多显示出来的信息属于噪声，对视觉信息的获取无太大帮助。同时仔细观察图像的纹理边缘和内部结构发现，这些方法所获取的图像已经出现亮度扭曲和图像失真。表1为LOE和VIF两个评价图像质量标准的参数。判断标准：LOE越小则说明增强图像亮度扭曲和失真越少；VIF越大则说明增强图像中所获取的视觉信息越多。通过观察表1中LOE和VIF评价指标，本实施例方法在保证图像视觉信息都增强的基础上，比其他方法具有更好的视觉信息保真度，并且获得更少的亮度扭曲和失真。
表1 LOE和VIF图像质量评价指标
特别的，方法的基本思想是：对输入图像进行评估，运算和优化得到图像亮度评估映射，以此为基础再求出图像的曝光率映射，再利用非线性单调函数和亮度增强框架实现人体组织细胞显微图像的亮度增强。
特别的，采用本实施例方法对低亮度人体卵巢新鲜组织细胞双光子显微图像进行亮度增强，是在精确评估图像整体亮度后，进行有针对性的亮度增强，保证图像不失真以及亮度增强结果较理想。相比现有技术，对背景复杂、噪声严重的人体组织细胞双光子显微图像的亮度增强具有更好的效果。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (6)
1.一种低亮度人体组织细胞双光子显微图像的亮度增强方法，其特征在于：包括如下步骤：
步骤S1：输入无法获取视觉信息的低亮度人体组织细胞双光子显微图像，并将输入图像数据类型转化为双精度数据类型；
步骤S2：取步骤S1中双精度数据类型的输入图像中的三个颜色通道的最大值作为人体组织细胞图像初始化亮度评估映射；
步骤S3：将初始化亮度评估映射缩小为步骤S2中初始化亮度评估映射的1/2，并对缩小后的初始化亮度评估映射分别进行行差分运算和列差分运算，对行差分运算和列差分运算的输出结果进行滤波操作，并将滤波结果的倒数作为人体组织细胞图像的权值矩阵Wh(x)，Wv(x)；
步骤S4：对步骤S3中的权值矩阵Wh(x)，Wv(x)进行线性优化函数运算，用以获得人体组织细胞图像精准亮度评估映射M(x)，并根据视网膜成像和大脑皮层调节原理求出人体组织细胞图像曝光率映射K(x)，用以能够在人体组织细胞图像暗的区域分配一个大的曝光率，在人体组织细胞图像亮的区域分配一个小的曝光率；
步骤S5：利用新型的卡方分布函数优化模型和亮度增强框架对人体组织细胞图像中低亮度区域的亮度进行增强，得到人体组织细胞图像亮度增强结果；
步骤S6：输出步骤S5中人体组织细胞图像亮度增强结果。
2.根据权利要求1所述的一种低亮度人体组织细胞双光子显微图像的亮度增强方法，其特征在于：步骤S3中，所述人体组织细胞图像的权值矩阵Wh(x)，Wv(x)具体为：式中▽h(y)，▽v(y)分别表示一阶行差分运算和一阶列差分运算，L(x)表示初始化亮度评估映射，ε表示一个避免分母为零的常数，表示大小为1×2的滑动相关核ω作用于数据x上，并移动相关核对数据进行滤波。
3.根据权利要求1所述的一种低亮度人体组织细胞双光子显微图像的亮度增强方法，其特征在于：步骤S4中，所述根据视网膜成像和大脑皮层调节原理求出人体组织细胞图像曝光率映射K(x)包括以下步骤：
步骤S41：将低亮度人体组织细胞双光子显微图像的亮度增强方法的过程模拟成眼球视觉成像过程；
步骤S42：将对曝光率映射K(x)中的数据进行约束的过程模拟成大脑皮层对亮度进行自动调节的过程，M(x)表示精准的亮度评估映射，μ表示避免曝光率映射K(x)的值为无穷大，min表示取两者中的最小值。
4.根据权利要求3所述的一种低亮度人体组织细胞双光子显微图像的亮度增强方法，其特征在于：所述步骤S41具体为：将精准亮度评估映射M(x)等价成人眼获取的视觉信息，视觉信息通过晶状体在视网膜上成倒立的映射，并将倒立的映射作为曝光率映射K(x)，
5.根据权利要求1所述的一种低亮度人体组织细胞双光子显微图像的亮度增强方法，其特征在于：步骤S5中，所述新型的卡方分布函数优化模型采用以下步骤得到：
步骤S51：根据卡方分布的概率密度函数，提出了一种闭合解f(x)，其中a是在x＞0情景下的模型参数，x表示曝光率映射K(x)中的值。
步骤S52：将f(x)整体乘以参数2x得到f'(x)，
步骤S53：利用x/2替换f'(x)中的x，得到卡方分布函数模型优化函数f”(x)，
6.根据权利要求1所述的一种低亮度人体组织细胞双光子显微图像的亮度增强方法，其特征在于：步骤S5中，所述亮度增强框架具体为：利用卡方分布函数优化模型和曝光率映射K(x)，得到亮度增强图像G'(x)即为亮度增强框架，
G'(x)＝I(G(x),K(x))，
其中a＝3.6。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811000896.8A CN109242795B (zh) | 2018-08-30 | 2018-08-30 | 一种低亮度人体组织细胞双光子显微图像的亮度增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811000896.8A CN109242795B (zh) | 2018-08-30 | 2018-08-30 | 一种低亮度人体组织细胞双光子显微图像的亮度增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109242795A true CN109242795A (zh) | 2019-01-18 |
| CN109242795B CN109242795B (zh) | 2021-09-07 |
Family
ID=65069535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811000896.8A Active CN109242795B (zh) | 2018-08-30 | 2018-08-30 | 一种低亮度人体组织细胞双光子显微图像的亮度增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109242795B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110519485A (zh) * | 2019-09-09 | 2019-11-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111724332A (zh) * | 2020-06-09 | 2020-09-29 | 四川大学 | 一种适用于密闭腔体检测的图像增强方法及*** |
| CN113256516A (zh) * | 2021-05-18 | 2021-08-13 | 中国科学院长春光学精密机械与物理研究所 | 一种图像增强方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783012A (zh) * | 2010-04-06 | 2010-07-21 | 中南大学 | 一种基于暗原色的自动图像去雾方法 |
| CN106327443A (zh) * | 2016-08-24 | 2017-01-11 | 电子科技大学 | 一种改进的遗传算法的夜间图像增强方法 |
| US20180012339A1 (en) * | 2016-07-11 | 2018-01-11 | Micro Usa, Inc. | Spatially adaptive tone mapping operator |
| CN107667178A (zh) * | 2015-03-26 | 2018-02-06 | 休斯敦大学*** | 细胞的整合功能和分子概况 |
-
2018
- 2018-08-30 CN CN201811000896.8A patent/CN109242795B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783012A (zh) * | 2010-04-06 | 2010-07-21 | 中南大学 | 一种基于暗原色的自动图像去雾方法 |
| CN107667178A (zh) * | 2015-03-26 | 2018-02-06 | 休斯敦大学*** | 细胞的整合功能和分子概况 |
| US20180012339A1 (en) * | 2016-07-11 | 2018-01-11 | Micro Usa, Inc. | Spatially adaptive tone mapping operator |
| CN106327443A (zh) * | 2016-08-24 | 2017-01-11 | 电子科技大学 | 一种改进的遗传算法的夜间图像增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| XIAOJIE GUO，ET AL: "LIME: Low-Light Image Enhancement via Illumination Map Estimation", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 嵇晓强 等: "细胞工厂光学显微成像与图像处理技术", 《光子学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110519485A (zh) * | 2019-09-09 | 2019-11-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110519485B (zh) * | 2019-09-09 | 2021-08-31 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111724332A (zh) * | 2020-06-09 | 2020-09-29 | 四川大学 | 一种适用于密闭腔体检测的图像增强方法及*** |
| CN111724332B (zh) * | 2020-06-09 | 2023-10-31 | 四川大学 | 一种适用于密闭腔体检测的图像增强方法及*** |
| CN113256516A (zh) * | 2021-05-18 | 2021-08-13 | 中国科学院长春光学精密机械与物理研究所 | 一种图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109242795B (zh) | 2021-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Low-light image enhancement via the absorption light scattering model | |
| Tang et al. | Efficient underwater image and video enhancement based on Retinex | |
| CN104240194B (zh) | 一种基于抛物线函数的低照度图像增强算法 | |
| CN109242795A (zh) | 一种低亮度人体组织细胞双光子显微图像的亮度增强方法 | |
| Lai et al. | Improved local histogram equalization with gradient-based weighting process for edge preservation | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| CN104504673A (zh) | 基于nsst的可见光与红外图像融合方法及*** | |
| Cao et al. | Enhancement of blurry retinal image based on non-uniform contrast stretching and intensity transfer | |
| Zhou et al. | A multifeature fusion method for the color distortion and low contrast of underwater images | |
| WO2022194152A1 (zh) | 基于图像处理模型的图像处理方法、装置、电子设备、存储介质及计算机程序产品 | |
| CN112330613B (zh) | 一种细胞病理数字图像质量的评价方法及*** | |
| CN109712095A (zh) | 一种快速边缘保留的人脸美化方法 | |
| CN109859138B (zh) | 一种基于人眼视觉特性的红外图像增强方法 | |
| CN107911599A (zh) | 一种红外图像全局自动对焦方法及装置 | |
| CN113763300B (zh) | 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法 | |
| Gao et al. | Underwater image enhancement and restoration based on local fusion | |
| Sathananthavathi et al. | Particle swarm optimization based retinal image enhancement | |
| CN117611467A (zh) | 一种能同时平衡不同区域细节和亮度的低光图像增强方法 | |
| Liu et al. | PatchNet: a tiny low-light image enhancement net | |
| Bhandari et al. | Gamma corrected reflectance for low contrast image enhancement using guided filter | |
| CN112819742B (zh) | 一种基于卷积神经网络的事件场合成孔径成像方法 | |
| Chen et al. | Infrared blind-pixel compensation algorithm based on generative adversarial networks and Poisson image blending | |
| Zeng | Low-light image enhancement algorithm based on lime with pre-processing and post-processing | |
| Sun et al. | Explore unsupervised exposure correction via illumination component divided guidance | |
| Dolly et al. | Various methods of enhancement in colored images: a review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |