CN112508806A - 一种基于非凸低秩矩阵分解的内镜图像高光去除方法 - Google Patents
一种基于非凸低秩矩阵分解的内镜图像高光去除方法 Download PDFInfo
- Publication number
- CN112508806A CN112508806A CN202011334857.9A CN202011334857A CN112508806A CN 112508806 A CN112508806 A CN 112508806A CN 202011334857 A CN202011334857 A CN 202011334857A CN 112508806 A CN112508806 A CN 112508806A
- Authority
- CN
- China
- Prior art keywords
- image
- highlight
- matrix
- rank
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 57
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000005457 optimization Methods 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 230000000877 morphologic effect Effects 0.000 claims abstract description 10
- 230000002238 attenuated effect Effects 0.000 claims abstract description 9
- 230000000903 blocking effect Effects 0.000 claims abstract description 8
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 230000010354 integration Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 12
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 230000008602 contraction Effects 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 2
- 239000003517 fume Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 26
- 230000000694 effects Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000035772 mutation Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于非凸低秩矩阵分解的内镜图像高光去除方法，绝对高光检测阶段，计算图像在饱和度、强度值上的统计属性，生成自适应阈值并执行双阈值分割算法，检测绝对高光像素，生成绝对高光图像；非凸低秩矩阵分解阶段，对每一副图像执行非凸低秩矩阵分解，以绝对高光像素的位置信息为先验知识，在迭代优化过程中引入梯度信息，算出低秩图像与稀疏图像；图像融合与重建阶段生成更精细的高光图像，执行形态学操作与线性滤波操作，生成自衰减的权重图像，执行低秩图像与原内镜图像的像素级融合，生成没有高光的内镜图像；图像分块与整合，对尺寸较大的图像采用图像分块技术将原图分为多个子图，并以多线程技术实现多任务并行计算。
Description
技术领域
本发明涉及一种基于非凸低秩矩阵分解的内镜图像高光去除方法。
背景技术
医用内窥镜作为临床医学中常用的医疗器械，在病灶检测、临床诊断和外科手术中几乎随处可见，它将人体内部状况信息以图像的形式提供给医生，帮助医生更加清晰、细致地观察人体内部的组织状况。由于人体内部潮湿的环境和平滑的粘膜表面，内窥镜在对组织表面信息进行采样的同时，会引入诸如高光(highlight)、雾化(foggy)等噪声属性，从而降低内镜图像的质量。作为内镜图像中最常见的一类噪声，高光的去除十分重要。
前人在高光去除方面的研究主要包括四类，第一类是基于图像修复的高光去除，首先进行高光检测，再用邻域信息恢复高光像素或区域实现高光去除，对大面积高光的去除效果较差；第二类是基于二色反色模型的色彩分离，旨在分离图像中的镜面反射成分和漫反射成分，该模型假设较多，因此在实际应用场景中效果较差；第三类是深度学习方法，该方法旨在学习端到端的映射，从而实现高光去除，然而数据样本的采集难度太大，在该领域的研究较少，且效果较差；第四类是基于低秩矩阵分解的高光去除，当前效果最好的研究取得了很好的视觉效果，然而调整超参数的时间成本较高，不能立刻给出目标结果。
本发明提出了一种基于鲁棒主成分分析(Robust Principle ComponentAnalysis,RPCA)的非凸低秩分解的高光去除算法。该方法提出以拟凸函数重新构造目标函数，并在迭代优化过程中通过高光像素位置引入导数信息，降低超参数选择的重要性，提高算法的自适应性和运行速度。
发明内容
本发明解决的技术问题是：克服了低秩分解算法中参数选择困难的问题，提供了一种基于非凸低秩矩阵分解的内镜图像高光去除方法，通过引入梯度信息，实现了低秩矩阵分解算法的自适应性，加快了算法的运行速度，实现了内镜图像高光去除的自适应性。
本发明采用的技术方案为：一种基于非凸低秩矩阵分解的内镜图像高光去除方法，包括以下步骤：
步骤(1)、逐像素计算内镜图像的饱和度、强度值和最小值特征，生成对应饱和度图像、强度值图像和最小值图像；根据高光区域的强边缘特性，在最小值图像上执行多方向的边缘检测，以梯度信息完成图像增强；计算饱和度图像、强度值图像的统计属性，根据饱和度图像、强度值图像的均值和方差，分别计算自适应阈值并实现双阈值分割，实现高光像素的检测，并通过对应位置的最小值属性进行验证，生成绝对高光图像；
步骤(2)、根据所提拟凸函数完成目标函数的拟合重构，通过交替方向乘子法将该目标函数对应的增广拉格朗日优化问题分解为加权核范数最小化和矩阵的阈值收缩这两个优化子问题，迭代计算上述两个优化子问题，实现非凸低秩矩阵分解。对于输入的内镜图像，逐通道地执行非凸低秩矩阵分解运算；内镜图像中像素的强度值等于真实信息分量和高光分量的和，在非凸低秩矩阵分解运算的阈值收缩部分通过绝对高光图像中的高光信息及拟凸函数引入梯度信息，针对性地实现逐像素高光分量的收缩运算，并通过求解加权核范数最小化，自适应地实现非凸低秩矩阵分解运算，生成低秩图像与稀疏图像；
步骤(3)、根据稀疏图像中像素强度值上的大小差异，执行大津法计算出最佳阈值，将稀疏图像分割为噪声图像。对噪声图像执行形态学膨胀操作、均值滤波操作，生成自衰减的模板图像，融合低秩图像与原内镜图像即输入的RGB图像，完成内镜图像的重建，实现高光去除；
步骤(4)、图像分块与整合处理，根据原内镜图像的尺寸，将三通道的RGB图像分割为多个单通道灰度图像，对每一个图像子块并行执行步骤(2)所示的非凸低秩矩阵分解运算，加快整个流程的运行速度。
步骤(1)中所述的绝对高光检测方法，首先遍历内镜图像中的每一个像素，计算饱和度、强度值、最小值，生成饱和度图像、强度值图像与最小值图像；饱和度和强度来自于HSV(Hue-Saturation-Value)色彩空间，用于描述高光像素，最小值图像来自于RGB(Red-Green-Blue)色彩空间，描述高光像素与非高光像素的对比度；
(21)逐像素计算内镜图像的饱和度、强度值、最小值，生成饱和度图像、强度值图像、最小值图像；
(22)分别在最小值图像的水平、垂直、主对角线、次对角线方向执行边缘检测操作，计算每个像素在四个方向上的梯度向量，计算梯度向量的模，作为近似梯度，生成梯度图像；
(23)分别以饱和度图像、强度值图像与梯度图像进行加权计算，实现饱和度图像、强度值图像的增强；分别计算增强后饱和度图像、强度值图像的均值和方差并计算对应图像的自适应阈值，执行饱和度图像与强度值图像的双通道的阈值分割处理，实现高光像素的初步检测；
(24)统计初步检测的高光像素所对应的最小值特征形成集合，对该集合根据最小值的强度值大小，执行大津法，计算出阈值并以该阈值执行阈值分割，将集合中的元素分为两部分，如果大于阈值的元素数量与集合中元素数量的百分比小于80％，则在最小值通道以计算出的阈值再进行一次图像分割，作为绝对高光图像，否则，初步检测结果即为绝对高光图像。
步骤(2)中，所提出以拟凸函数重构目标函数，并以交替方向乘子法将原问题分解为优化子问题：加权核范数最小化、矩阵收缩运算，对输入的RGB图像，逐通道执行非凸低秩矩阵分解算法，具体算法流程如下：
第一步，以公式(1)所示拟凸函数Φ(x)近似标量x的0范数，其中a和∈是控制该函数对0范数逼近程度的参数；
第二步，以公式(2)中的‖X‖0,1近似表示矩阵X的0范数，其中‖X‖0即矩阵的0范数，指的是矩阵中值非零元数量，公式(2)中的Xi,j即矩阵X第i行第j列的元素值，‖X‖∞是矩阵中全体元素绝对值的最大值，是矩阵的无穷范数；
第三步，以公式(3)中的
近似矩阵X的秩rank(X)，其中，Σ是X经过奇异值分解后的奇异值矩阵，奇异值矩阵的0范数‖Σ‖0即矩阵的秩；
第四步，将鲁棒主成分分析重构为公式(4)所示目标函数，其中L,S,M分别表示大小尺寸m×n的低秩矩阵、稀疏矩阵与观测矩阵，λ是控制低秩矩阵与稀疏矩阵重要性的超参数；
第五步，变换目标函数，得到目标函数的增广拉格朗日乘子项，如公式(5)所示，μ是控制
重要性的参数项，Y是增广拉格朗日乘子；
第六步，以交替方向乘子法，将问题分解为两个优化子问题：矩阵收缩运算和加权核范数最小化，分别如公式(6)(7)所示；
反复执行第六步所示两个优化子问题，直至收敛，得出稀疏图像与低秩图像。
加权核范数最小化需要执行奇异值分解(Singular Value Decomposition,SVD)，SVD的时间成本主要依赖于矩阵的尺寸，为了加快整张内镜图像的低秩分解速度，提出对多个图像分块作并行计算，加快矩阵分解过程的速度。
步骤(3)中所述的图像融合与重建具体过程；
(41)根据稀疏图像中像素强度值上的大小差异，逐通道执行大津法计算最佳阈值并完成阈值分割，通过对稀疏图像三个通道的阈值分割结果进行投票，计算精细的高光检测结果；
(42)以高光检测结果为输入，执行形态学膨胀处理，得出环形带状区域，将环形带状区域强度值设置为0.5，执行均值滤波操作，得出自高光区域向外自衰减的权重模板，用于(43)中的像素级图像融合；
(43)逐像素遍历低秩图像、原内镜图像、自高光区域向外自衰减的权重模板图像，以模板图像像素值的强度为权重，执行低秩图像与原图的像素融合，完成内镜图像的重建，实现高光去除，输出重建后没有高光的内镜图像。
步骤(4)所述的图像分块与整合处理，旨在提高本方法的运行速度具体过程；
(51)低秩矩阵分解算法中需要执行矩阵的奇异值分解，奇异值分解的运行速度与矩阵的尺寸有关，在步骤(1)所示高光检测后，通过图像分块，将输入的RGB图像逐通道地拆分为尺寸更小的灰度图像；
(52)对于每一块尺寸更小的灰度图像，并行执行步骤(2)所示的非凸低秩矩阵分解，分别得到对应的尺寸更小的低秩图像和稀疏图像；
(53)将尺寸更小的低秩图像和稀疏图像进行整合，得到与输入的RGB图像同尺寸的低秩图像和稀疏图像，并执行步骤(3)所示的图像融合与重建；
(54)通过步骤(51-53)所述的图像分块与整合处理和多线程并行处理技术，获得比整副内镜图像直接执行高光去除算法更快的速度。
本发明的原理在于：
(1)高光像素具备饱和度低、强度值高的特性，根据图像的统计属性计算出的阈值，可以实现高光区域的自适应分割，准确检测高光像素。
(2)为了提高低秩分解算法的自适应性，本发明从数学模型出发，重构了鲁棒主成分分析模型的目标函数，并以交替方向乘子法实现该非凸模型的迭代优化，计算出对应的低秩图像和稀疏图像。
(3)为了增强图像重建的效果，本发明提出以形态学操作、线性滤波操作生成自内向外衰减的权重模板，并融合低秩图像与原内镜图像，完成内镜图像高光区域的重建。
(4)为了减少***的运行时间，本发明提出以图像分块算法及多任务并行处理技术，完成***的设计。
本发明与现有技术相比的优点在于：
(1)本发明提出的非凸低秩分解模型，通过引入的梯度信息，加快了矩阵分解的运行速度、提高了矩阵分解算法的自适应性。
(2)本发明提出的自衰减权重模板生成算法，使得高光区域边缘处的融合效果过渡自然，使得内镜图像的重建效果更好。
附图说明
图1为本发明的基于非凸低秩矩阵分解的内镜图像高光去除方法的处理流程图；
图2为本发明中绝对高光检测的处理流程图；
图3为本发明中自衰减权重模板生成示意图；
图4为本发明中图像分块示意图；
图5为结肠镜场景下实验图1；
图6为结肠镜场景下实验图2；
图7为结肠镜场景下实验图3；
图8为腹腔镜场景下实验图4；
图9为腹腔镜场景下实验图5。
具体实施方式
下面结合其他附图及具体实施方式进一步说明本发明。
如图1所示，本发明提供一种基于非凸低秩矩阵分解的内镜图像高光去除方法，包括：绝对高光检测阶段，依据高光像素饱和度低、强度值高的特性，计算图像在饱和度、强度值上的统计属性，生成自适应阈值并执行双阈值分割算法，检测绝对高光像素，生成绝对高光图像；非凸低秩矩阵分解阶段，对每一副图像执行非凸低秩矩阵分解，以绝对高光像素的位置信息为先验知识，在迭代优化过程中引入梯度信息，提高算法的适应性，计算出低秩图像与稀疏图像；图像融合与重建阶段，根据稀疏图像优化高光检测结果，生成更精细的高光图像，执行形态学操作与线性滤波操作，生成自衰减的权重图像，执行低秩图像与原内镜图像的像素级融合，生成没有高光的内镜图像；图像分块与整合，对尺寸较大的图像采用图像分块技术将原图分为多个子图，并以多线程技术实现多任务并行计算，提高执行速率。
具体步骤如下：
1、绝对高光检测
该方法根据高光像素饱和度低、强度值高的特性，以图像的统计特性自适应生成阈值，实现内镜图像的双阈值分割，实现绝对高光的检测。最初的输入为内窥镜采集到的图像，经由特征提取、图像增强和自适应阈值生成三个步骤，生成包含高光位置信息的二色图像。该阶段的流程如图2所示。
内镜图像生成于RGB色彩空间中，对于任意像素I(x)，在RGB色彩空间中的三元组属性可以表示为I(x)＝{r,g,b}，分别表示了对应像素的红色强度值、绿色强度值、蓝色强度值，因此，可以通过Imin(x)＝min(r,g,b)逐像素地计算RGB色彩空间中的最小值特征。经由色彩空间转换，将内镜图像由RGB色彩空间转换到HSV色彩空间，并提取饱和度、强度值两个属性特征。以三元组的形式表示每个像素的特征为F(x)＝{IS(x),IV(x),Imin(x)}。其中最小值Imin(x)处于RGB空间，而饱和度IS(x)、强度值IV(x)处于HSV空间。
以多个方向的Sobel边缘检测算子在最小值图像上执行空间滤波，检测出多个方向的边缘特征{Gxx(x),Gyy(x),Gxy(x),Gyx(x)}，从前到后，分别是水平方向、垂直方向、主对角方向、次对角方向的梯度信息，紧接着，通过
计算出近似梯度值，再通过I′(x)＝I(x)+θG(x)完成图像增强，其中，θ是标量，在本方法中，θ＝0.2；
提出根据灰度图像的统计特性自适应地计算松弛的阈值，在图像的HSV色彩空间中，分别对饱和度图像、强度值图像计算饱和度阈值、强度阈值，相关的计算公式如公式(1)(2)所示，在上述公式中，Mean(IS)，Std(IS)分别表示饱和度图像的均值和方差，而Mean(IV)，Std(IV)分别表示强度值图像的均值和方差。接着，通过公式(3)实现内镜图像的高光检测，其中Tsl＝0.3,Tvl＝0.8分别表示经验阈值，用于限定自适应阈值处于正确的取值范围；α＝-0.9,β＝1.6是通过实验计算得到的经验参数；Ts,Tv是双阈值分割所用的自适应阈值。H(x)是二色图像中的像素值，当H(x)＝1时表示该像素为高光，否则为正常像素。
Ts＝max{Tsl,Mean(Is)+Std(Is)*α} (1)
Tv＝min{Tvl,Mean(Iv)+Std(Iv)*β} (2)
H(x)＝Is(x)<TS and Iv(x)>TV (3)
2、非凸低秩矩阵分解
本发明提出以所提出的拟凸函数重构鲁棒主成分分析模型中的凸目标函数，并以交替方向乘子法将原优化问题分解为两个主要的优化子问题：加权核范数最小化、矩阵收缩运算，算法流程如下：
第一步，以公式(4)所示拟凸函数近似标量x的0范数，其中a和∈是控制该函数对0范数逼近程度的参数，该函数对标量0范数的近似效果优于标量的1范数。
第二步，以公式(5)中的‖X‖0,1近似表示矩阵X的0范数，其中‖X‖0即矩阵的0范数，指的是矩阵中非零元的数量，公式(5)中的Xi,j即矩阵X第i行第j列的元素值，‖X‖∞是矩阵中全体元素绝对值的最大值，是矩阵的无穷范数。
第三步，以公式(6)中的
近似矩阵X的秩rank(X)，其中，Σ是X经过奇异值分解后的奇异值矩阵，奇异值矩阵的0范数‖Σ‖0即矩阵的秩；
第四步，将鲁棒主成分分析模型重构为公式(7)所示目标函数，其中L表示低秩矩阵，S表示稀疏矩阵，M表示观测矩阵，λ是控制数据重要性的超参数；
第五步，将约束项转换到目标函数中，得到目标函数如公式(8)所示的增广拉格朗日乘函数，该目标函数是无约束优化问题，其中Y是拉格朗日乘子项，μ是控制
重要性的参数项。
第六步，以交替方向乘子法，将问题分解为两个优化子问题：矩阵收缩运算和加权核范数最小化，分别如公式(9)(10)所示；
反复执行第六步所示两个优化子问题，直至收敛，得出稀疏图像与低秩图像。其中，公式(9)所示优化问题的解析解如公式(11)所示，公式(10)所示优化问题的解析解如公式(12)所示。公式(11)中所示为矩阵的阈值收缩运算，物理意义是将标量的阈值收缩算法
应用到每一个像素上，其中τ是控制系数矩阵稀疏度的阈值收缩算子，在本发明的迭代优化过程中
是变量，
是对应像素值在拟凸函数下的导数。
公式(12)所示的解析解，旨在通过对奇异值矩阵Σ进行阈值收缩，保留图像中的主要成分，舍弃次要成分，从而将噪声项从图像中移除。
3、图像融合与重建
本发明提出以高光区域为输入，通过形态学操作、线性空间滤波，生成逐高光区域自内向外衰减的权重模板图像，并完成低秩图像与原内镜图像的加权融合，实现内镜图像高光区域的重建。
(1)基于稀疏矩阵的高光检测
大津法是一种通过最大化前景元素和背景元素间方差的方法确定阈值的图像二值化算法，它被认为是图像二值化算法中最好的阈值选取方法。
经过矩阵分解后，对于每一幅内镜图像，得到了一组稀疏图像Sx＝{Sr,Sg,Sb}，每一个图像通道作为独立的稀疏矩阵，将噪声项包含其中，对每一个通道执行上述的大津法阈值分割，则该通道中全部加性数据被分割出来，得到分割后的二值图像B＝{Br,Bg,Bb}，接下来，对每一个像素由二值图像中对应像素对其进行投票，当一个像素对应位置至少在两个通道内被认为是高光时，将其判定为高光像素。
严格来说，此时的高光检测结果可能存在误检测的结果，然而这并不会影响后续的执行过程，对于一个像素，如果它是高光像素，那么执行图像融合算法即可，如果不是高光像素，低秩图像和原图中的信息损失也将通过加权融合进行降低，并不影响目标图像的质量，顺利完成图像的重建工作。
(2)自适应权重模板生成
两张图像通过二值模板图像进行融合，常见的融合策略有：直接替换和等权重融合。直接替换策略通常设立感兴趣区域，直接对感兴趣区域进行图像替换实现融合；等权重融合认为图像融合时每一个像素的权重是恒定不变的，从而做简单的融合。这两种方法中的直接替换适合应用于低秩图像与稀疏图像的融合，检测到的高光区域是天然的感兴趣区域，然而由于低秩图像存在信息损失，因此直接替换往往会在高光区域的周围带来一定程度的突变，即使突变量较小，但依旧会对部分图像处理算法的性能产生影响。在这里，我们提出以形态学操作和均值滤波的方式生成从区域中间向外衰减的权重模板。
(1)对高光图像H执行膨胀操作(Dilate)得到膨胀图像HD；
(2)用膨胀图像HD减去高光图像H得到环形图像B；
(3)将环形图像中的非0元设置为0.5；
(4)将高光图像H与环形图像相加得到TP；
(5)对图像TP执行均值滤波操作实现平滑，从而得到权重图像T。
为了展示边缘处的权重衰减信息，从圆形感兴趣区域出发，将上述的形态学操作和均值滤波操作以可视化的形式展示在图3中，通过图3中最后一幅图可以看见，在边缘处权重的大小是可变的，且由内向外衰减的，从而保证了进行融合时不会产生强烈的突变信息。
4、图像分块与多任务并行计算
低秩矩阵分解算法中加权核范数最小化过程需要执行奇异值分解，奇异值分解的时间成本主要依赖于矩阵的尺寸，为了加快整张内镜图像高光去除算法的执行速度，本发明提出对多个图像分块作并行计算，加快矩阵分解过程的速度。图像分块与整合见图4所示。
在图4所示的流程图中，输入图像是RGB色彩空间的彩色图像，每一个彩色图像是由三个通道组成，首先将图像拆分为三幅独立的单通道灰度图像，再根据图像尺寸大小将图像分割为多个尺寸大小一致的子图像。
对每一个尺寸大小一致的子图像并行执行低秩矩阵分解算法，充分利用多核心多线程处理器的性能，从而更快地完成整幅图像的低秩矩阵分解工作，由于该算法引入了梯度信息，使得低秩图像包含的信息量更加丰富。
当每一幅子图均处理完毕时，根据分割策略，逆向整合多个图像子块，转化为与原内镜图像一致的低秩图像和稀疏图像。
实验使用的设备信息如表1所示。
表1***软硬件配置表
分别在腹腔镜、结肠镜下对具有不同高光含量的图像进行了实验，效果展示图见图5到图9，每一幅图像从左到右分别是原内镜图像、低秩图像、稀疏图像、高光图像和重建后的目标图像。图5-7为结肠镜场景下、包含不同高光含量的内镜图像，在三种差别较大的场景、高光含量下均获得了良好的高光去除效果，说明本发明在具有不同高光含量的内镜图像上表现良好；图8-9是腹腔镜场景下、包含不同高光含量的内镜图像，旨在与图5-7作对比实验，表明本发明在多种医学场景下均可以获得良好的高光去除效果。
本发明未详细阐述的技术内容属于本领域技术人员的公知技术。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (5)
1.一种基于非凸低秩矩阵分解的内镜图像高光去除方法，其特征在于，包括以下步骤：
步骤(1)、逐像素计算内镜图像的饱和度、强度值和最小值特征，生成对应饱和度图像、强度值图像和最小值图像；根据高光区域的强边缘特性，在最小值图像上执行多方向的边缘检测，以梯度信息完成图像增强；计算饱和度图像、强度值图像的统计属性，根据饱和度图像、强度值图像的均值和方差，分别计算自适应阈值并实现双阈值分割，实现高光像素的检测，并通过对应位置的最小值属性进行验证，生成绝对高光图像；
步骤(2)、根据所提拟凸函数完成目标函数的拟合重构，通过交替方向乘子法将该目标函数对应的增广拉格朗日优化问题分解为加权核范数最小化和矩阵的阈值收缩这两个优化子问题，迭代计算上述两个优化子问题，实现非凸低秩矩阵分解。对于输入的内镜图像，逐通道地执行非凸低秩矩阵分解运算；内镜图像中像素的强度值等于真实信息分量和高光分量的和，在低秩矩阵分解运算的阈值收缩部分通过绝对高光图像中的高光信息及拟凸函数引入梯度信息，针对性地实现逐像素高光分量的收缩运算，并通过求解加权核范数最小化，自适应地实现非凸低秩矩阵分解运算，生成低秩图像与稀疏图像；
步骤(3)、根据稀疏图像中像素强度值上的大小差异，执行大津法计算出最佳阈值，将稀疏图像分割为噪声图像。对噪声图像执行形态学膨胀操作、均值滤波操作，生成自衰减的模板图像，融合低秩图像与原内镜图像即输入的RGB图像，完成内镜图像的重建，实现高光去除；
步骤(4)、图像分块与整合处理，根据原内镜图像的尺寸，将RGB图像分割为多个单通道灰度图像，对每一个图像子块并行执行步骤(2)所示的低秩矩阵分解运算，加快整个流程的运行速度。
2.根据权利要求1所述的基于非凸低秩矩阵分解的内镜图像高光去除方法，其特征在于：步骤(1)中所述的绝对高光检测方法，首先遍历内镜图像中的每一个像素，计算饱和度、强度值、最小值，生成饱和度图像、强度值图像与最小值图像；饱和度和强度来自于HSV(Hue-Saturation-Value)色彩空间，用于描述高光像素，最小值图像来自于RGB(Red-Green-Blue)色彩空间，描述高光像素与非高光像素的对比度；
(21)逐像素计算内镜图像的饱和度、强度值、最小值，生成饱和度图像、强度值图像、最小值图像；
(22)分别在最小值图像的水平、垂直、主对角线、次对角线方向执行边缘检测操作，计算每个像素在四个方向上的梯度向量，计算梯度向量的模，作为近似梯度，生成梯度图像；
(23)分别以饱和度图像、强度值图像与梯度图像进行加权计算，实现饱和度图像、强度值图像的增强；分别计算增强后饱和度图像、强度值图像的均值和方差并计算对应图像的自适应阈值，执行饱和度图像与强度值图像的双通道的阈值分割处理，实现高光像素的初步检测；
(24)统计初步检测的高光像素所对应的最小值特征形成集合，对该集合根据最小值的强度值大小，执行大津法，计算出阈值并以该阈值执行阈值分割，将集合中的元素分为两部分，如果大于阈值的元素数量与集合中元素数量的百分比小于80％，则在最小值通道以计算出的阈值再进行一次图像分割，作为绝对高光图像，否则，初步检测结果即为绝对高光图像。
3.根据权利要求1所述的基于非凸低秩矩阵分解的内镜图像高光去除方法，其特征在于：步骤(2)中，所提出以拟凸函数重构目标函数，并以交替方向乘子法将原优化问题分解为优化子问题：加权核范数最小化、矩阵收缩运算，对输入的RGB图像，逐通道执行非凸低秩矩阵分解算法，具体算法流程如下：
第一步，以公式(1)所示拟凸函数φ(x)近似标量x的0范数，其中a和∈是控制该函数对0范数逼近程度的参数；
第二步，以公式(2)中的||X||0，1近似表示矩阵X的0范数，其中||X||0即矩阵的0范数，指的是矩阵中非零元素的个数，公式(2)中的Xi，j即矩阵X第i行第j列的元素值，||X||∞是矩阵中全体元素绝对值的最大值，是矩阵的无穷范数；
第三步，以公式(3)中的
近似矩阵X的秩rank(X)，其中，∑是X经过奇异值分解后的奇异值矩阵，奇异值矩阵的0范数||∑||0即矩阵的秩；
第四步，将鲁棒主成分分析模型重构为公式(4)所示目标函数，其中L，S，M分别表示大小尺寸为m×n的低秩矩阵、稀疏矩阵与观测矩阵，λ是控制低秩矩阵与稀疏矩阵重要性的超参数；
第五步，变换目标函数，得到目标函数的增广拉格朗日函数，如公式(5)所示，μ是控制
重要性的参数项，Y是增广拉格朗日乘子；
第六步，以交替方向乘子法，将原优化问题分解为两个优化子问题：矩阵收缩运算和加权核范数最小化，分别如公式(6)(7)所示；
反复执行第六步所示两个优化子问题，直至收敛，得出稀疏图像与低秩图像。
加权核范数最小化需要执行奇异值分解(Singular Value Decomposition,SVD)，SVD的时间成本主要依赖于矩阵的尺寸，为了加快整张内镜图像的低秩分解速度，提出对多个图像分块作并行计算，加快矩阵分解过程的速度。
4.根据权利要求1所述的基于非凸低秩矩阵分解的内镜图像高光去除方法，其特征在于：步骤(3)中所述的图像融合与重建具体过程；
(41)根据稀疏图像中像素强度值上的大小差异，逐通道执行大津法计算最佳阈值并完成阈值分割，通过对稀疏图像三个通道的阈值分割结果进行投票，计算精细的高光检测结果；
(42)以高光检测结果为输入，执行形态学膨胀处理，得出环形带状区域，将环形带状区域强度值设置为0.5，执行均值滤波操作，得出自高光区域向外自衰减的权重模板，用于(43)中的像素级图像融合；
(43)逐像素遍历低秩图像、原内镜图像、自高光区域向外自衰减的权重模板图像，以模板图像像素值的强度为权重，执行低秩图像与原图的像素级图像融合，完成内镜图像的重建，实现高光去除，输出重建后没有高光的内镜图像。
5.根据权利要求1所述的基于非凸低秩矩阵分解的内镜图像高光去除方法，其特征在于：步骤(4)所示的图像分块与整合处理具体过程：
(51)低秩矩阵分解算法中需要执行矩阵的奇异值分解，奇异值分解的运行速度与矩阵的尺寸有关，在步骤(1)所示高光检测后，通过图像分块，将输入的RGB图像逐通道地拆分为尺寸更小的灰度图像；
(52)对于每一块尺寸更小的灰度图像，并行执行步骤(2)所示的非凸低秩矩阵分解，分别得到对应的尺寸更小的低秩图像和稀疏图像；
(53)将尺寸更小的低秩图像和稀疏图像进行整合，得到与输入的RGB图像同尺寸的低秩图像和稀疏图像，并执行步骤(3)所示的图像融合与重建；
(54)通过步骤(51-53)所述的图像分块与整合处理和多线程并行处理技术，获得比整副内镜图像直接执行高光去除算法更快的速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011334857.9A CN112508806B (zh) | 2020-11-24 | 2020-11-24 | 一种基于非凸低秩矩阵分解的内镜图像高光去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011334857.9A CN112508806B (zh) | 2020-11-24 | 2020-11-24 | 一种基于非凸低秩矩阵分解的内镜图像高光去除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112508806A true CN112508806A (zh) | 2021-03-16 |
| CN112508806B CN112508806B (zh) | 2022-06-07 |
Family
ID=74958452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011334857.9A Active CN112508806B (zh) | 2020-11-24 | 2020-11-24 | 一种基于非凸低秩矩阵分解的内镜图像高光去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508806B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076659A (zh) * | 2021-04-23 | 2021-07-06 | 南京理工大学 | 基于自适应权重核范数近似的低秩表示和稀疏约束的海上舰船检测方法及*** |
| CN113469895A (zh) * | 2021-05-12 | 2021-10-01 | 电子科技大学 | 一种基于颜色分区的图像高光去除方法 |
| CN113592728A (zh) * | 2021-07-01 | 2021-11-02 | 温州理工学院 | 一种图像复原方法、***、处理终端及计算机介质 |
| CN114004764A (zh) * | 2021-11-03 | 2022-02-01 | 昆明理工大学 | 一种基于稀疏变换学习的改进灵敏度编码重建方法 |
| CN114067122A (zh) * | 2022-01-18 | 2022-02-18 | 深圳市绿洲光生物技术有限公司 | 一种两级式二值化图像处理方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105957042A (zh) * | 2016-06-07 | 2016-09-21 | 北京理工大学 | 内镜图像的高光区域消除方法 |
| CN106709881A (zh) * | 2016-12-14 | 2017-05-24 | 上海增容数据科技有限公司 | 一种基于非凸低秩矩阵分解的高光谱图像去噪方法 |
| CN110866873A (zh) * | 2019-10-18 | 2020-03-06 | 北京航空航天大学 | 内腔镜图像的高光消除方法及装置 |
-
2020
- 2020-11-24 CN CN202011334857.9A patent/CN112508806B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105957042A (zh) * | 2016-06-07 | 2016-09-21 | 北京理工大学 | 内镜图像的高光区域消除方法 |
| CN106709881A (zh) * | 2016-12-14 | 2017-05-24 | 上海增容数据科技有限公司 | 一种基于非凸低秩矩阵分解的高光谱图像去噪方法 |
| CN110866873A (zh) * | 2019-10-18 | 2020-03-06 | 北京航空航天大学 | 内腔镜图像的高光消除方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| FABIANE QUEIROZ 等: "Automatic Segmentation of Specular Reflections for Endoscopic Images Based on Sparse and Low-Rank Decomposition", 《27TH SIBGRAPI CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES》 * |
| RANYANG LI 等: "Specular Reflections Removal for Endoscopic Image Sequences With Adaptive-RPCA Decomposition", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076659A (zh) * | 2021-04-23 | 2021-07-06 | 南京理工大学 | 基于自适应权重核范数近似的低秩表示和稀疏约束的海上舰船检测方法及*** |
| CN113469895A (zh) * | 2021-05-12 | 2021-10-01 | 电子科技大学 | 一种基于颜色分区的图像高光去除方法 |
| CN113469895B (zh) * | 2021-05-12 | 2023-05-23 | 电子科技大学 | 一种基于颜色分区的图像高光去除方法 |
| CN113592728A (zh) * | 2021-07-01 | 2021-11-02 | 温州理工学院 | 一种图像复原方法、***、处理终端及计算机介质 |
| CN113592728B (zh) * | 2021-07-01 | 2024-04-05 | 温州理工学院 | 一种图像复原方法、***、处理终端及计算机介质 |
| CN114004764A (zh) * | 2021-11-03 | 2022-02-01 | 昆明理工大学 | 一种基于稀疏变换学习的改进灵敏度编码重建方法 |
| CN114004764B (zh) * | 2021-11-03 | 2024-03-15 | 昆明理工大学 | 一种基于稀疏变换学习的改进灵敏度编码重建方法 |
| CN114067122A (zh) * | 2022-01-18 | 2022-02-18 | 深圳市绿洲光生物技术有限公司 | 一种两级式二值化图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112508806B (zh) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112508806B (zh) | 一种基于非凸低秩矩阵分解的内镜图像高光去除方法 | |
| Zhang et al. | Color correction and adaptive contrast enhancement for underwater image enhancement | |
| Arbel et al. | Shadow removal using intensity surfaces and texture anchor points | |
| Boudhane et al. | Underwater image processing method for fish localization and detection in submarine environment | |
| Li et al. | Robust retinal image enhancement via dual-tree complex wavelet transform and morphology-based method | |
| CN104463804B (zh) | 一种基于直觉模糊集的图像增强方法 | |
| JP5645842B2 (ja) | スケールスペースを使用した画像処理装置及び方法 | |
| JP2022528539A (ja) | ビデオ内視鏡検査における品質評価 | |
| CN113538257B (zh) | 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法 | |
| CN113052814A (zh) | 基于Retinex和注意力机制的暗光图像增强方法 | |
| Hussein et al. | Retinex theory for color image enhancement: A systematic review | |
| JP2020197915A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN114187201A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| Yan et al. | A novel biologically-inspired method for underwater image enhancement | |
| CN110473176B (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| Pandey et al. | A fast and effective vision enhancement method for single foggy image | |
| Hmue et al. | Image enhancement and quality assessment methods in turbid water: A review article | |
| Burt et al. | Predicting visual attention using gamma kernels | |
| Wang | Colorizing grayscale CT images of human lung using deep learning | |
| Hanumantharaju et al. | A new framework for retinex-based colour image enhancement using particle swarm optimisation | |
| Shuang et al. | Algorithms for improving the quality of underwater optical images: A comprehensive review | |
| Wan et al. | Multi-focus color image fusion based on quaternion multi-scale singular value decomposition | |
| Chang et al. | Using fuzzy logic and particle swarm optimization to design a decision-based filter for cDNA microarray image restoration | |
| Mahmoud et al. | Novel feature extraction methodology based on histopathalogical images and subsequent classification by Support Vector Machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |