CN115631195A - 血管轮廓提取方法、血管轮廓提取装置及内窥镜*** - Google Patents
血管轮廓提取方法、血管轮廓提取装置及内窥镜*** Download PDFInfo
- Publication number
- CN115631195A CN115631195A CN202211636986.2A CN202211636986A CN115631195A CN 115631195 A CN115631195 A CN 115631195A CN 202211636986 A CN202211636986 A CN 202211636986A CN 115631195 A CN115631195 A CN 115631195A
- Authority
- CN
- China
- Prior art keywords
- image
- blood vessel
- pixel
- vessel contour
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Abstract
本公开提供了用于内窥镜成像的血管轮廓提取方法,包括:实时获取内窥镜原始图像;对内窥镜原始图像进行第一滤波处理以增强和保护内窥镜原始图像中的血管边缘特征,输出第一图像;对第一图像进行单色通道特征提取,获得第二图像,以使得血管在第二图像中的辨识度高于血管在第一图像中的辨识度;以及对第二图像进行第二滤波处理以进行灰度轮廓提取,获得血管轮廓图像。本公开还提供了血管轮廓提取装置、内窥镜***、电子设备、可读存储介质及程序产品。
Description
技术领域
本公开涉及图像处理技术领域、内窥镜技术领域,本公开尤其涉及血管轮廓提取方法、血管轮廓提取装置、内窥镜***、电子设备、存储介质及程序产品。
背景技术
现有技术中一般通过对荧光图像和白光图像(可见光图像)进行融合以获得人体腔内内窥镜成像,荧光图像可以基于荧光剂(例如医用吲哚箐绿)被近红外激发光源激发而产生。
在进行借助于内窥镜的人体腔内手术过程中,对人体组织的血管进行清晰显示是非常重要的。
现有技术中存在一些血管增强算法,以期望在进行人体腔内手术过程中,对血管进行增强显示。
例如中国专利文献CN111429362A公开了一种内窥镜荧光图像的血管增强方法,包括步骤:S1.对采集到的图像进行高频提取,提取出含有血管的高频图像;S2.将所提取到的高频图像采用中值滤波,对高频部分中的噪点进行非线性抑制,能够更大程度上消除噪点;S3.对采集到的图像使用高斯滤波进行平滑处理;S4.将通过S2处理后的高频图像与将通过S3平滑处理的图像进行叠加处理,实现对血管的增强处理。
再例如中国专利文献CN113171053A公开了一种融合近红外成像的内窥镜手术血管增强检测方法,该方法包括:(A)内窥镜近红外光源关闭,全色光源开启,使用全色光源采集人体腔道彩色图像;(B)内窥镜近红外光源开启,全色光源关闭,采集人体腔道近红外图像;(C)对红外图像进行灰度处理及降噪处理,利用近红外光对人体组织的穿透作用及血红蛋白对近红外光的吸收作用,提取出人体腔道红外图像中的血管区域;(D)将提取出的血管区域图像与彩色图像相融合,使彩色图像中的血管显像更明显;(E)高速重复上述步骤,输出血管区域增强后的内窥镜视频图像。
再例如中国专利文献CN112598607B公开了一种基于改进加权CLAHE的内窥镜图像血管增强算法,包括以下步骤:将原始图像由RGB空间转换到HSV空间,拆分为H、S、V三通道,对V通道进行亮度调整,对S通道进行饱和度校正,将H、S、V三通道合并,得到处理后的第一图像;将第一图像由HSV空间转换到YCrCb空间,拆分为Y、Cr、Cb三通道,对Y通道进行改进加权CLAHE算法运算,将Y、Cr、Cb三通道合并,得到处理后的第二图像;将第二图像由YCrCb空间转换到RGB空间,利用Sobel算子提取出第二图像的边缘部分,然后利用掩膜运算对边缘部分进行增强,得到处理后的最终图像。
然而现有的血管增强算法仍然存在一些问题,例如中国专利文献CN113171053A中,需要对光源进行开闭操作,不利于手术的实时进行。中国专利文献CN112598607B中,需进行对原始图像进行多次的图像空间变换,以及通道拆分、合并、调整,处理后的图像可能会失真,影响医生基于图像信息进行人体组织甄别。
发明内容
为了解决上述技术问题中的至少一个,本公开提供了血管轮廓提取方法、血管轮廓提取装置、内窥镜***、电子设备、存储介质及程序产品。
根据本公开的一个方面,提供了用于内窥镜成像的血管轮廓提取方法,包括:
S110、实时获取内窥镜原始图像;
S120、对所述内窥镜原始图像进行第一滤波处理以增强和保护所述内窥镜原始图像中的血管边缘特征,输出第一图像;
S130、对所述第一图像进行单色通道特征提取,获得第二图像,以使得血管在第二图像中的辨识度高于血管在第一图像中的辨识度;
S140、对所述第二图像进行第二滤波处理以进行灰度轮廓提取,获得血管轮廓图像。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取方法,S120、对所述内窥镜原始图像进行第一滤波处理以增强和保护所述内窥镜原始图像中的血管边缘特征,输出第一图像,包括:
S1202、对所述内窥镜原始图像进行梯度增强以生成至少一个引导图像;
S1204、使用导向滤波器(Guided Filter)基于所述引导图像对所述内窥镜原始图像进行导向滤波,输出第一图像。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取方法,步骤S1202中,通过对比度增强以对所述内窥镜原始图像进行梯度增强,包括:
对内窥镜原始图像的各颜色通道进行基于对数变换算法的像素值变换,以增强对比度。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取方法,对所述内窥镜原始图像进行不同程度的梯度增强,以获得多个引导图像;
使用导向滤波器(Guided Filter)基于各个所述引导图像对所述内窥镜原始图像分别进行导向滤波,并对输出的各个图像进行基于像素值的加权处理,以获得所述第一图像。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取方法,对所述第一图像进行单通道特征提取,提取所述第一图像的绿色通道特征,获得所述第二图像。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取方法,S140、对所述第二图像进行第二滤波处理以进行灰度轮廓提取,获得血管轮廓图像,包括:
使用匹配滤波器(Matched Filter)对所述第二图像进行灰度轮廓提取,以获得所述第二图像中的血管轮廓,获得血管轮廓图像。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取方法,所述匹配滤波器优选为高斯匹配滤波器(Gaussian Matched Filter)。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取方法,还包括:
S150、对所述血管轮廓图像进行阈值处理(Thresholding method)以对血管轮廓图像进行二次增强。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取方法,S150、对所述血管轮廓图像进行阈值处理(Thresholding method)以对血管轮廓图像进行二次增强,包括:
S1502、基于所述第二图像构造像素均值图像;
S1504、对所述血管轮廓图像与所述像素均值图像进行基于像素值的减法操作,获得第三图像;
S1506、对所述第三图像进行二值化处理,获得二值化图像;
S1508、对所述二值化图像的像素值进行整体增强以获得二次增强后的血管轮廓图像。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取方法,基于所述第二图像构造像素均值图像,包括:
获取所述第二图像的各个像素值的绝对平均值;
基于小于1的像素值调整系数对所述绝对平均值进行像素值调整,获得相对平均值;
基于所述相对平均值生成所述像素均值图像。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取方法,S1506、对所述第三图像进行二值化处理,获得二值化图像,包括:
获取所述第三图像的最大像素值及最小像素值;
获得第一像素阈值及第二像素阈值,所述第一像素阈值及所述第二像素阈值在所述最小像素值至所述最大像素值的范围之内,且所述第二像素阈值大于所述第一像素阈值;
对所述第三图像的各个像素的像素值进行判断,如果像素值大于所述第二像素阈值,则将该像素的像素值置为1,如果像素值小于所述第一像素阈值,则将该像素的像素值置为0,如果像素值大于等于所述第一像素阈值且小于等于所述第二像素阈值,则判断该像素是否存在邻接像素且该邻接像素的像素值大于所述第二像素阈值,如果存在,则将该像素的像素值置为1,如果不存在,则将该像素的像素值置为0。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取方法,所述第一像素阈值满足:
T1-Tmin=B1*(Tmax-Tmin),其中,T1为所述第一像素阈值,Tmin为所述最小像素值,Tmax为所述最大像素值;
B1为第一截断系数,通过设置B1使得第三图像中像素值小于所述第一像素阈值的像素数量不高于所述第三图像的总像素数量的预设比例。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取方法,所述第二像素阈值满足:
Tmax-T2=B2*(Tmax-Tmin),其中,T2为所述第二像素阈值,Tmin为所述最小像素值,Tmax为所述最大像素值;
B2为第二截断系数,通过设置B2使得第三图像中像素值大于所述第二像素阈值的像素数量不少于所述第三图像的总像素数量的预设比例。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取方法,S1508、对所述二值化图像的像素值进行整体增强以获得二次增强后的血管轮廓图像,包括:
对所述二值化图像的所有像素值基于同一调整系数进行线性增强以获得二次增强后的血管轮廓图像。
根据本公开的另一个方面,提供了用于内窥镜成像的血管轮廓提取装置,包括:
原始图像获取模块,所述原始图像获取模块实时获取内窥镜原始图像;
第一滤波处理模块,所述第一滤波处理模块对所述内窥镜原始图像进行第一滤波处理以增强和保护所述内窥镜原始图像中的血管边缘特征,输出第一图像;
单色通道特征提取模块,所述单色通道特征提取模块对所述第一图像进行单色通道特征提取,获得第二图像,以使得血管在第二图像中的辨识度高于血管在第一图像中的辨识度;
第二滤波处理模块,所述第二滤波处理模块对所述第二图像进行第二滤波处理以进行灰度轮廓提取,获得血管轮廓图像。
根据本公开的至少一个实施方式的用于内窥镜成像的血管轮廓提取装置,还包括:
二次增强模块,所述二次增强模块对所述血管轮廓图像进行阈值处理(Thresholding method)以对血管轮廓图像进行二次增强。
根据本公开的又一个方面,提供了内窥镜***,包括:图像采集装置,所述图像采集装置用于实时获取内窥镜原始图像;以及处理器,所述处理器通过执行计算机程序对内窥镜原始图像执行本公开的任一个实施方式的血管轮廓提取方法。
根据本公开的又一个方面,提供了电子设备,包括:存储器,所述存储器存储执行指令;以及处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行本公开的任一个实施方式的血管轮廓提取方法。
根据本公开的又一个方面,提供了可读存储介质,所述可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现本公开的任一个实施方式的血管轮廓提取方法。
根据本公开的再一个方面,提供了计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现本公开的任一个实施方式的血管轮廓提取方法。
附图说明
附图示出了本公开的示例性实施方式,并与其说明一起用于解释本公开的原理,其中包括了这些附图以提供对本公开的进一步理解,并且附图包括在本说明书中并构成本说明书的一部分。
图1是本公开的一个实施方式的用于内窥镜成像的血管轮廓提取方法的流程示意图。
图2示出了本公开的一个实施方式的第一滤波处理的流程示意图。
图3是本公开的又一个实施方式的用于内窥镜成像的血管轮廓提取方法的整体流程示意图。
图4是本公开的一个实施方式的对血管轮廓图像进行二次增强的流程示意图。
图5示出了本公开的二值化处理过程。
图6是本公开的一个实施方式的采用处理***的硬件实现方式的血管轮廓提取装置的结构示意框图。
附图标记说明
1000 血管轮廓提取装置
1002 原始图像获取模块
1004 第一滤波处理模块
1006 单色通道特征提取模块
1008 第二滤波处理模块
1010 二次增强模块
1100 总线
1200 处理器
1300 存储器
1400 其他电路。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施方式仅用于解释相关内容,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
除非另有说明,否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此,除非另有说明,否则在不脱离本公开的技术构思的情况下,各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此,除非说明,否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外,在附图中,为了清楚和/或描述性的目的,可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时,可以以不同于所描述的顺序来执行具体的工艺顺序。例如,可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外,同样的附图标记表示同样的部件。
当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时,该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件,或者可以存在中间部件。然而,当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时,不存在中间部件。为此,术语“连接”可以指物理连接、电气连接等,并且具有或不具有中间部件。
本文使用的术语是为了描述具体实施例的目的,而不意图是限制性的。如这里所使用的,除非上下文另外清楚地指出,否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外,当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时,说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组,但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是,如这里使用的,术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语,如此,它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
下文结合图1至图6对本公开的用于内窥镜成像的血管轮廓提取方法、血管轮廓提取装置等进行详细说明。
图1是本公开的一个实施方式的用于内窥镜成像的血管轮廓提取方法的流程示意图。
参考图1,在本公开的一些实施方式中,本公开的用于内窥镜成像的血管轮廓提取方法S100,包括:
S110、实时获取内窥镜原始图像P;
S120、对内窥镜原始图像P进行第一滤波处理以增强和保护内窥镜原始图像P中的血管边缘特征,输出第一图像Q1;
S130、对第一图像Q1进行单色通道特征提取,获得第二图像Q2,以使得血管在第二图像Q2中的辨识度高于血管在第一图像Q1中的辨识度;
S140、对第二图像Q2进行第二滤波处理以进行灰度轮廓提取,获得血管轮廓图像Qv。
本公开描述的内窥镜原始图像可以是人体目标部位的原始彩色图像,例如RGB图像,例如在人体腔内内窥镜成像过程中实时获取的内窥镜成像,可以是消化道、呼吸道、泌尿道的腔内图像,可以是荧光图像和白光图像(即可见光图像)进行融合后的内窥镜成像的原始图像。
由于内窥镜原始图像受图像采集环境及人体组织特点的影响,血管轮廓往往不能在内窥镜原始图像中清晰、突出地显示,在一定程度上会影响相关的手术进程。
本公开的血管轮廓提取方法S100,考虑到血管边缘特征对血管轮廓的影响,首先对内窥镜原始图像P中的血管边缘特征进行增强和保护,避免在后续的处理步骤中忽视或丢失血管边缘特征。
进一步地,在经过本公开的第一滤波处理过程之后,本公开对第一图像Q1进行单色通道特征提取,本公开中的内窥镜原始图像P优选为RGB图像,考虑到血管在G通道中更容易被辨识,单色通道优选为G通道,本公开的第二滤波处理过程将第二图像Q2中的血管轮廓提取出来。
通过上述过程,本公开的血管轮廓提取方法S100能够提取到清晰的血管轮廓图像Qv。
对于本公开的用于内窥镜成像的血管轮廓提取方法S100,优选地,S120、对内窥镜原始图像P进行第一滤波处理以增强和保护内窥镜原始图像P中的血管边缘特征,输出第一图像Q1,包括:
S1202、对内窥镜原始图像P进行梯度增强以生成至少一个引导图像G;
S1204、使用导向滤波器(Guided Filter)基于引导图像G对内窥镜原始图像P进行导向滤波,输出第一图像Q1。
图2示出了本公开的一个实施方式的第一滤波处理的流程示意图。
本公开的内窥镜轮廓提取方法S100,优选地使用导向图滤波作为第一滤波处理以增强和保护内窥镜原始图像P中的血管边缘特征。
本公开为了使得内窥镜原始图像P即输入图像和输出图像Q1尽可能相同,同时输出图像Q1的梯度与引导图像G尽可能相似,本公开的引导图像G基于内窥镜原始图像P进行梯度增强而生成。
在本公开的一些实施方式中,可以对内窥镜原始图像P进行梯度增强生成一个引导图像G,即使用一个引导图像G对内窥镜原始图像P进行导向滤波。
在本公开的一些实施方式的血管轮廓提取方法S100中,优选地,对内窥镜原始图像P进行对比度增强以进行梯度增强,包括:
对内窥镜原始图像P的各颜色通道进行基于对数变换算法的像素值变换,以增强对比度。
在本公开的一些实施方式中,使用对数变换算法对内窥镜原始图像P进行对比度增强。本公开的血管轮廓提取方法S100中,对数变换算法表达为:
Y=A*ln(1+X);
其中,对于每个颜色通道,X为输入图像的像素值,像素值在[0,255]范围内,Y为输出图像的像素值,A为变换系数,例如可以取1,本公开中,变换系数A取值为大于等于1。
在本公开的一些实施方式中,如果输出图像的像素值超出[0,255],可以基于预设最大值、预设最小值对输出图像的像素值进行限制。
本领域技术人员在本公开技术方案的启示下,对变换系数A的取值进行调整,均落入本公开的保护范围之内。
优选地,在本公开的一些实施方式的血管轮廓提取方法S100中,上文描述的对内窥镜原始图像P进行不同程度的梯度增强,以获得多个引导图像G;
使用导向滤波器(Guided Filter)基于各个引导图像G对内窥镜原始图像P分别进行导向滤波,并对输出的各个图像进行基于像素值的加权处理,以获得第一图像Q1。
在本公开的一些实施方式中,通过对内窥镜原始图像P进行不同程度的梯度增强,能够避免单一程度的梯度增强可能导致的图像失真问题。
其中,使用对数变换算法对内窥镜原始图像P进行对比度增强,可以通过对上文描述的对数变换算法的变换系数A进行调整以进行不同程度的对比度增强。
对于上述各个实施方式的用于内窥镜成像的血管轮廓提取方法S100,优选地,上文描述的对第一图像Q1进行单通道特征提取时,提取第一图像Q1的绿色通道特征,以获得第二图像Q2。
对于上述各个实施方式的用于内窥镜成像的血管轮廓提取方法S100,优选地,S140、对第二图像Q2进行第二滤波处理以进行灰度轮廓提取,获得血管轮廓图像Qv,包括:
使用匹配滤波器(Matched Filter)对第二图像Q2进行灰度轮廓提取,以获得第二图像Q2中的血管轮廓,获得血管轮廓图像Qv。
在本公开的一些实施方式中,匹配滤波器优选为高斯匹配滤波器(GaussianMatched Filter)。本领域技术人员在本公开技术方案的启示下,对匹配滤波器的类型进行调整,均落入本公开的保护范围之内。
图3是本公开的又一个实施方式的用于内窥镜成像的血管轮廓提取方法的整体流程示意图。
参考图3,本实施方式的用于内窥镜成像的血管轮廓提取方法S100,包括:
S110、实时获取内窥镜原始图像P;
S120、对内窥镜原始图像P进行第一滤波处理以增强和保护内窥镜原始图像P中的血管边缘特征,输出第一图像Q1;
S130、对第一图像Q1进行单色通道特征提取,获得第二图像Q2,以使得血管在第二图像Q2中的辨识度高于血管在第一图像Q1中的辨识度;
S140、对第二图像Q2进行第二滤波处理以进行灰度轮廓提取,获得血管轮廓图像Qv。
S150、对血管轮廓图像Qv进行阈值处理(Thresholding method)以对血管轮廓图像Qv进行二次增强。
图4是本公开的一个实施方式的对血管轮廓图像进行二次增强的流程示意图。
参考图4,优选地,在本公开的一些实施方式中,S150、对血管轮廓图像Qv进行阈值处理以对血管轮廓图像Qv进行二次增强,包括:
S1502、基于第二图像Q2构造像素均值图像Qava;
S1504、对血管轮廓图像Qv与像素均值图像Qava进行基于像素值的减法操作,获得第三图像Q3(第三图像Q3即为去除了血管轮廓图像Q3的背景像素值的图像);
S1506、对第三图像Q3进行二值化处理,获得二值化图像;
S1508、对二值化图像的像素值进行整体增强以获得二次增强后的血管轮廓图像Qv。
在本公开的一些实施方式中,优选地,上文描述的基于第二图像Q2构造像素均值图像Qava,包括以下步骤:
获取第二图像Q2的各个像素值的绝对平均值;
基于小于1的像素值调整系数对绝对平均值进行像素值调整,获得相对平均值;
基于相对平均值生成像素均值图像Qava。
考虑到血管轮廓的像素区域在整个图像中只是较少的部分,因此,本公开将像素值调整系数设置为小于1,本领域技术人员可以基于具体人体组织图像中血管像素区域在整个图像中的大小对像素值调整系数进行实验性选择,均落入本公开的保护范围。
在本公开的一些实施方式中,优选地,本公开上文描述的S1506、对第三图像Q3进行二值化处理,获得二值化图像,包括以下处理步骤:
获取第三图像Q3的最大像素值Tmax及最小像素值Tmin;
基于最大像素值Tmax及最小像素值Tmin获得第一像素阈值T1及第二像素阈值T2,第一像素阈值T1及第二像素阈值T2在最小像素值至最大像素值的范围之内,且第二像素阈值大于第一像素阈值;
对第三图像Q3的各个像素的像素值进行判断,如果像素值大于第二像素阈值T2,则将该像素的像素值置为1,如果像素值小于第一像素阈值T1,则将该像素的像素值置为0,如果像素值大于等于第一像素阈值且小于等于第二像素阈值,则判断该像素是否存在邻接像素且该邻接像素的像素值大于第二像素阈值,如果存在,则将该像素的像素值置为1,如果不存在,则将该像素的像素值置为0。
图5示出了本公开的二值化处理过程。
参考图5,本公开通过上述二次判断步骤,考虑了像素间的关联,能够避免将真实血管的像素位置的像素值置为0。
根据本公开的优选实施方式,本公开通过以下方法确定第一像素阈值T1和第二像素阈值T2。
在本公开的一些实施方式中,本公开上文描述的第一像素阈值T1满足:
T1-Tmin=B1*(Tmax-Tmin),其中,B1为第一截断系数,通过设置B1使得第三图像Q3中像素值小于第一像素阈值T1的像素数量不高于第三图像Q3的总像素数量的预设比例(例如10%),以避免将过多像素的像素值置为0,本领域技术人员可以对第一截断系数B1进行适当调整,均落入本公开的保护范围。
在本公开的一些实施方式中,本公开上文描述的第二像素阈值T2满足:
Tmax-T2=B2*(Tmax-Tmin),其中,B2为第二截断系数,通过设置B2使得第三图像Q3中像素值大于第二像素阈值T2的像素数量不少于第三图像Q3的总像素数量的预设比例(例如50%或以上)。
对于上述各个实施方式的血管轮廓提取方法S100,优选地,上文描述的S1508、对二值化图像的像素值进行整体增强以获得二次增强后的血管轮廓图像Qv,包括:
对二值化图像的所有像素值基于同一调整系数进行线性增强以获得二次增强后的血管轮廓图像Qv。
根据本公开的另一个方面,提供了用于内窥镜成像的血管轮廓提取装置。
在本公开的一些实施方式中,本公开的血管轮廓提取装置1000,包括:
原始图像获取模块1002,原始图像获取模块1002实时获取内窥镜原始图像P;
第一滤波处理模块1004,第一滤波处理模块1004对内窥镜原始图像P进行第一滤波处理以增强和保护内窥镜原始图像P中的血管边缘特征,输出第一图像Q1;
单色通道特征提取模块1006,单色通道特征提取模块1006对第一图像Q1进行单色通道特征提取,获得第二图像Q2,以使得血管在第二图像Q2中的辨识度高于血管在第一图像Q1中的辨识度;
第二滤波处理模块1008,第二滤波处理模块1008对第二图像Q2进行第二滤波处理以进行灰度轮廓提取,获得血管轮廓图像Qv。
在本公开的一些实施方式中,本公开的用于内窥镜成像的血管轮廓提取装置1000,还包括:
二次增强模块1010,二次增强模块1010对血管轮廓图像Qv进行阈值处理(Thresholding method)以对血管轮廓图像Qv进行二次增强。
本公开的各个实施方式的血管轮廓提取装置1000可以通过计算机软件程序架构的方式实现。
图6是本公开的一个实施方式的采用处理***的硬件实现方式的血管轮廓提取装置的结构示意框图。
该血管轮廓提取装置1000可以包括执行上述流程图中各个或几个步骤的相应模块。因此,可以由相应模块执行上述流程图中的每个步骤或几个步骤,并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器,这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如***设备、电压调节器、功率管理电路、外部天线等的各种其他电路1400连接。
总线1100可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,Peripheral Component)总线或扩展工业标准体系结构(EISA,Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,该图中仅用一条连接线表示,但并不表示仅有一根总线或一种类型的总线。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本公开的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如,本公开中的方法实施方式可以被实现为软件程序,其被有形地包含于机器可读介质,例如存储器。在一些实施方式中,软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时,可以执行上文描述的方法中的一个或多个步骤。备选地,在其他实施方式中,处理器可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,可以具体实现在任何可读存储介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。
根据本公开的再一个方面,提供了内窥镜***,包括:图像采集装置,图像采集装置用于实时获取内窥镜原始图像;以及处理器,处理器通过执行计算机程序对内窥镜原始图像执行本公开的任一个实施方式的血管轮廓提取方法。本公开的图像采集装置可以是现有的内窥镜***的图像采集装置,可以包括CCD传感器、CMOS传感器等,本公开对此不做特别限定。处理器可以被包括在具有显示器的计算机中。
根据本公开的又一个方面,提供了电子设备,包括:存储器,所述存储器存储执行指令;以及处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行本公开的任一个实施方式的血管轮廓提取方法S100。
根据本公开的又一个方面,提供了可读存储介质,所述可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现本公开的任一个实施方式的血管轮廓提取方法S100。
根据本公开的再一个方面,提供了计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现本公开的任一个实施方式的血管轮廓提取方法S100。
就本说明书而言,“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在存储器中。
应当理解,本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成,程序可以存储于一种可读存储介质中,该程序在执行时,包括方法实施方式的步骤之一或其组合。
此外,在本公开各个实施方式中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个可读存储介质中。存储介质可以是只读存储器,磁盘或光盘等。
Claims (10)
1.一种用于内窥镜成像的血管轮廓提取方法,其特征在于,包括:
S110、实时获取内窥镜原始图像;
S120、对所述内窥镜原始图像进行第一滤波处理以增强和保护所述内窥镜原始图像中的血管边缘特征,输出第一图像;
S130、对所述第一图像进行单色通道特征提取,获得第二图像,以使得血管在第二图像中的辨识度高于血管在第一图像中的辨识度;以及
S140、对所述第二图像进行第二滤波处理以进行灰度轮廓提取,获得血管轮廓图像。
2.根据权利要求1所述的用于内窥镜成像的血管轮廓提取方法,其特征在于,S120、对所述内窥镜原始图像进行第一滤波处理以增强和保护所述内窥镜原始图像中的血管边缘特征,输出第一图像,包括:
S1202、对所述内窥镜原始图像进行梯度增强以生成至少一个引导图像;以及
S1204、使用导向滤波器(Guided Filter)基于所述引导图像对所述内窥镜原始图像进行导向滤波,输出第一图像。
3.根据权利要求1或2所述的用于内窥镜成像的血管轮廓提取方法,其特征在于,还包括:
S150、对所述血管轮廓图像进行阈值处理(Thresholding method)以对血管轮廓图像进行二次增强。
4.根据权利要求3所述的用于内窥镜成像的血管轮廓提取方法,其特征在于,S150、对所述血管轮廓图像进行阈值处理(Thresholding method)以对血管轮廓图像进行二次增强,包括:
S1502、基于所述第二图像构造像素均值图像;
S1504、对所述血管轮廓图像与所述像素均值图像进行基于像素值的减法操作,获得第三图像;
S1506、对所述第三图像进行二值化处理,获得二值化图像;以及
S1508、对所述二值化图像的像素值进行整体增强以获得二次增强后的血管轮廓图像。
5.根据权利要求4所述的用于内窥镜成像的血管轮廓提取方法,其特征在于,S1506、对所述第三图像进行二值化处理,获得二值化图像,包括:
获取所述第三图像的最大像素值及最小像素值;
获得第一像素阈值及第二像素阈值,所述第一像素阈值及所述第二像素阈值在所述最小像素值至所述最大像素值的范围之内,且所述第二像素阈值大于所述第一像素阈值;以及
对所述第三图像的各个像素的像素值进行判断,如果像素值大于所述第二像素阈值,则将该像素的像素值置为1,如果像素值小于所述第一像素阈值,则将该像素的像素值置为0,如果像素值大于等于所述第一像素阈值且小于等于所述第二像素阈值,则判断该像素是否存在邻接像素且该邻接像素的像素值大于所述第二像素阈值,如果存在,则将该像素的像素值置为1,如果不存在,则将该像素的像素值置为0。
6.一种用于内窥镜成像的血管轮廓提取装置,其特征在于,包括:
原始图像获取模块,所述原始图像获取模块实时获取内窥镜原始图像;
第一滤波处理模块,所述第一滤波处理模块对所述内窥镜原始图像进行第一滤波处理以增强和保护所述内窥镜原始图像中的血管边缘特征,输出第一图像;
单色通道特征提取模块,所述单色通道特征提取模块对所述第一图像进行单色通道特征提取,获得第二图像,以使得血管在第二图像中的辨识度高于血管在第一图像中的辨识度;
第二滤波处理模块,所述第二滤波处理模块对所述第二图像进行第二滤波处理以进行灰度轮廓提取,获得血管轮廓图像;以及
二次增强模块,所述二次增强模块对所述血管轮廓图像进行阈值处理(Thresholdingmethod)以对血管轮廓图像进行二次增强。
7.一种内窥镜***,其特征在于,包括:
图像采集装置,所述图像采集装置用于实时获取内窥镜原始图像;以及
处理器,所述处理器通过执行计算机程序对内窥镜原始图像执行权利要求1至5中任一项所述的血管轮廓提取方法。
8.一种电子设备,其特征在于,包括:
存储器,所述存储器存储执行指令;以及
处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行权利要求1至5任一项所述的血管轮廓提取方法。
9.一种可读存储介质,其特征在于,所述可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现权利要求1至5中任一项所述的血管轮廓提取方法。
10.一种计算机程序产品,包括计算机程序/指令,其特征在于,所述计算机程序/指令被处理器执行时实现权利要求1至5中任一项所述的血管轮廓提取方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211636986.2A CN115631195B (zh) | 2022-12-20 | 2022-12-20 | 血管轮廓提取方法、血管轮廓提取装置及内窥镜*** |
PCT/CN2023/134461 WO2024131456A1 (zh) | 2022-12-20 | 2023-11-27 | 血管轮廓提取方法、血管轮廓提取装置及内窥镜*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211636986.2A CN115631195B (zh) | 2022-12-20 | 2022-12-20 | 血管轮廓提取方法、血管轮廓提取装置及内窥镜*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115631195A true CN115631195A (zh) | 2023-01-20 |
CN115631195B CN115631195B (zh) | 2023-03-21 |
Family
ID=84910915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211636986.2A Active CN115631195B (zh) | 2022-12-20 | 2022-12-20 | 血管轮廓提取方法、血管轮廓提取装置及内窥镜*** |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115631195B (zh) |
WO (1) | WO2024131456A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116269155A (zh) * | 2023-03-22 | 2023-06-23 | 新光维医疗科技(苏州)股份有限公司 | 图像诊断方法、图像诊断装置、及图像诊断程序 |
WO2024131456A1 (zh) * | 2022-12-20 | 2024-06-27 | 新光维医疗科技(苏州)股份有限公司 | 血管轮廓提取方法、血管轮廓提取装置及内窥镜*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109767395A (zh) * | 2018-12-29 | 2019-05-17 | 深圳市资福医疗技术有限公司 | 一种胶囊内窥镜图像处理方法及装置 |
CN113658207A (zh) * | 2021-08-20 | 2021-11-16 | 华南师范大学 | 一种基于引导滤波的视网膜血管分割方法及装置 |
CN114565608A (zh) * | 2022-04-26 | 2022-05-31 | 华伦医疗用品(深圳)有限公司 | 一种内窥镜Ai图像识别方法及*** |
CN114863498A (zh) * | 2022-05-27 | 2022-08-05 | 武汉理工大学 | 一种基于AGC和Frangi的手部静脉红外图像的增强与分割方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6054806B2 (ja) * | 2013-04-25 | 2016-12-27 | 富士フイルム株式会社 | 画像処理装置及び内視鏡システムの作動方法 |
CN115631195B (zh) * | 2022-12-20 | 2023-03-21 | 新光维医疗科技(苏州)股份有限公司 | 血管轮廓提取方法、血管轮廓提取装置及内窥镜*** |
-
2022
- 2022-12-20 CN CN202211636986.2A patent/CN115631195B/zh active Active
-
2023
- 2023-11-27 WO PCT/CN2023/134461 patent/WO2024131456A1/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109767395A (zh) * | 2018-12-29 | 2019-05-17 | 深圳市资福医疗技术有限公司 | 一种胶囊内窥镜图像处理方法及装置 |
CN113658207A (zh) * | 2021-08-20 | 2021-11-16 | 华南师范大学 | 一种基于引导滤波的视网膜血管分割方法及装置 |
CN114565608A (zh) * | 2022-04-26 | 2022-05-31 | 华伦医疗用品(深圳)有限公司 | 一种内窥镜Ai图像识别方法及*** |
CN114863498A (zh) * | 2022-05-27 | 2022-08-05 | 武汉理工大学 | 一种基于AGC和Frangi的手部静脉红外图像的增强与分割方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024131456A1 (zh) * | 2022-12-20 | 2024-06-27 | 新光维医疗科技(苏州)股份有限公司 | 血管轮廓提取方法、血管轮廓提取装置及内窥镜*** |
CN116269155A (zh) * | 2023-03-22 | 2023-06-23 | 新光维医疗科技(苏州)股份有限公司 | 图像诊断方法、图像诊断装置、及图像诊断程序 |
CN116269155B (zh) * | 2023-03-22 | 2024-03-22 | 新光维医疗科技(苏州)股份有限公司 | 图像诊断方法、图像诊断装置、及图像诊断程序 |
Also Published As
Publication number | Publication date |
---|---|
WO2024131456A1 (zh) | 2024-06-27 |
CN115631195B (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115631195B (zh) | 血管轮廓提取方法、血管轮廓提取装置及内窥镜*** | |
AU2018282455B2 (en) | Diagnosis assisting device, and image processing method in diagnosis assisting device | |
Kimmel et al. | A variational framework for retinex | |
US20110274321A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
US20090220133A1 (en) | Medical image processing apparatus and medical image processing method | |
CA3153067C (en) | Picture-detecting method and apparatus | |
CN102436638A (zh) | 图像处理装置以及图像处理方法 | |
CN110246087B (zh) | 参考多通道的多分辨率去除图像色度噪声的***和方法 | |
EP1816588A1 (en) | Image processing method and image processor | |
JP5599687B2 (ja) | 内視鏡ナビゲーションシステムの作動方法、及び、内視鏡ナビゲーションシステム | |
CN113498323A (zh) | 医用图像处理装置、处理器装置、内窥镜***、医用图像处理方法、及程序 | |
US10748279B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
CN113543694A (zh) | 医用图像处理装置、处理器装置、内窥镜***、医用图像处理方法、及程序 | |
Suman et al. | Image enhancement using geometric mean filter and gamma correction for WCE images | |
Hussein et al. | Retinex theory for color image enhancement: A systematic review | |
US7418122B2 (en) | Image processing apparatus and method | |
CN111784686A (zh) | 一种内窥镜出血区域的动态智能检测方法、***及可读存储介质 | |
WO2019138772A1 (ja) | 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム | |
JPH01138876A (ja) | カラー画像処理装置 | |
CN114331896A (zh) | 一种基于图像分解和光谱变换的图像增强方法、*** | |
CN115880208A (zh) | 图像处理方法、图像处理装置及医疗设备 | |
JP2022156811A (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
CN110264418A (zh) | 图像对比度增强方法、***及装置 | |
JP2011139733A (ja) | 内視鏡装置 | |
Voronin et al. | Specular reflection detection algorithm for endoscopic images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Chen Dong Inventor after: Zhao Jian Inventor after: Wang Wei Inventor after: Cao Rui Inventor before: Chen Dong Inventor before: Zhao Jian Inventor before: Wang Wei |