CN117934474B - 一种肠胃镜检影像增强处理方法 - Google Patents
一种肠胃镜检影像增强处理方法 Download PDFInfo
- Publication number
- CN117934474B CN117934474B CN202410333504.9A CN202410333504A CN117934474B CN 117934474 B CN117934474 B CN 117934474B CN 202410333504 A CN202410333504 A CN 202410333504A CN 117934474 B CN117934474 B CN 117934474B
- Authority
- CN
- China
- Prior art keywords
- point
- points
- pixel
- image
- microscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002496 gastric effect Effects 0.000 title claims abstract description 46
- 238000001000 micrograph Methods 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 210000004204 blood vessel Anatomy 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 12
- 230000002708 enhancing effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000002792 vascular Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 5
- 230000008859 change Effects 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 2
- 238000002575 gastroscopy Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 206010053649 Vascular rupture Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像数据处理技术领域,具体涉及一种肠胃镜检影像增强处理方法,包括:根据不同通道内像素值的差异获得像素点的变换值,根据邻域窗口内像素点的变换值差异以及方向差异获得特征点,根据任意特征点与邻域窗口的边界点的方向差异以及灰度值差异获得关联参数,并对邻域窗口进行迭代生长获得最终邻域窗口,根据相邻帧镜检图像中特征点之间的距离和灰度差异获得相似参数,并结合特征点在镜检图像中的坐标获得观测噪声协方差矩阵,进一步对肠胃镜检影像进行增强处理。本发明使得邻域窗口在每次迭代过程中,观测噪声协方差矩阵可以根据图像进行自适应调整,进一步提高了对肠胃镜检影像的增强效果。
Description
技术领域
本发明涉及图像数据处理技术领域,具体涉及一种肠胃镜检影像增强处理方法。
背景技术
在肠胃镜检影像中,血管的清晰度非常重要,因为血管的状态可以提供有关患者健康状况和病变程度的重要信息,进而帮助医生对于可能存在血管破裂或出血,能够快速识别出血源并采取相应措施。而患者的肠胃道解剖结构可能会因为肿瘤、炎症或其他异常而发生变化,镜头的旋转或不正常的位置可能导致观察的区域不符合预期,从而使图像不清晰,进而对疾病的诊断造成较大影响,故需要对图像进行增强处理,通常利用卡尔曼滤波算法进行图像增强。
传统的卡尔曼滤波算法中,所用的观测噪声协方差矩阵为人为预设的固定参数,但在实际状态的观测过程中,每次观测对应各点的误差大小或有所差异,采用相同的观测噪声协方差矩阵会导致卡尔曼滤波算法的预测结果有所偏差,导致图像增强效果不理想。
发明内容
本发明提供一种肠胃镜检影像增强处理方法,以解决现有的问题。
本发明的一种肠胃镜检影像增强处理方法采用如下技术方案:
本发明一个实施例提供了一种肠胃镜检影像增强处理方法,该方法包括以下步骤:
获取包括若干帧镜检图像的肠胃镜检影像,所述镜检图像为RGB图像;
根据不同通道内像素值的差异获得像素点的变换值,根据预设的邻域窗口内像素点的变换值差异以及方向差异获得像素点的特征指标,根据特征指标的大小获得特征点,所述特征指标用于描述像素点表示血管在镜检图像中对应像素点的概率;
获取邻域窗口的边界点,根据任意特征点与边界点的方向差异以及灰度值差异获得特征点与边界点的关联参数,结合关联参数对邻域窗口进行迭代生长处理获得最终邻域窗口,根据相邻帧的镜检图像中特征点之间的距离和灰度差异获得特征点之间的相似参数,根据相似参数的大小并结合特征点在镜检图像中的坐标获得观测噪声协方差矩阵;
利用观测噪声协方差矩阵对肠胃镜检影像进行增强处理。
进一步地,所述根据不同通道内像素值的差异获得像素点的变换值,包括的具体方法为:
对于任意镜检图像中任意像素点,将像素点在R、G、B三通道中对应像素值的极差记为像素点的变换值。
进一步地,所述根据预设的邻域窗口内像素点的变换值差异以及方向差异获得像素点的特征指标,根据特征指标的大小获得特征点,包括的具体方法为:
将任意一帧镜检图像中由所有像素点的变换值形成的图像记为镜检变换图像;利用Sobel算子获取镜检变换图像中任意像素点的梯度方向;将边长大小为的窗口记为邻域窗口,将邻域窗口内除位于中心的像素点以外的像素点记为位于中心的像素点的邻域点,其中/>为预设的超参数,一个位于中心的像素点对应一个邻域窗口;
将像素点的变换值与像素点的第个邻域点的变换值的差值记为第一差值,将像素点的梯度方向记为第一方向,将像素点指向第/>个邻域点所对应向量的方向记为第二方向,将第一方向和第二方向的差值记为第二差值,将第二差值的余弦值的绝对值记为方向差异,将方向差异与第一差值的乘积记为第一数值,将像素点与所有邻域点的第一数值均值记为像素点的特征指标;
将特征指标大于等于特征指标阈值的像素点记为特征点。
进一步地,所述获取邻域窗口的边界点,包括的具体方法为:
将邻域窗口内最外层的像素点记为位于邻域窗口中心位置的像素点的第一像素点,将邻域窗口外且与第一像素点相邻的像素点记为位于邻域窗口中心位置的像素点的第二像素点;
将第一像素点和第二像素点统称为像素点对应邻域窗口的边界点,一个邻域窗口对应若干个边界点,一个像素点对应一个邻域窗口,一个像素点对应若干个边界点。
进一步地,所述根据任意特征点与边界点的方向差异以及灰度值差异获得特征点与边界点的关联参数,包括的具体方法为:
对任意一帧镜检图像进行灰度化处理获得镜检灰度图像;
对于任意特征点与对应的任意边界点,将特征点的梯度方向与特征点指向边界点对应向量的方向之间的差值记为差值,将差值/>的正弦值的绝对值记为第二数值;
将特征点在镜检灰度图像中对应的灰度值与边界点在镜检灰度图像中对应的灰度值之间的差值绝对值,记为差值,将/>记为特征点与边界点的关联参数。
进一步地,所述结合关联参数对邻域窗口进行迭代生长处理获得最终邻域窗口,包括的具体方法为:
对邻域窗口进行迭代生长处理,当任意特征点的归一灰度参数大于阈值时,获取特征点与所有第一像素点的关联参数最大时对应的第一像素点,记为缩小像素点,将邻域窗口中的缩小像素点删除,以此类推,直到特征点的归一灰度参数小于阈值/>;当任意特征点的归一灰度参数小于阈值/>时,获取特征点与所有第二像素点的关联参数最大时对应的第二像素点,记为扩大像素点,将扩大像素点纳入邻域窗口中,以此类推,直到特征点的归一灰度参数大于阈值/>;其中阈值/>为预设的超参数;
将邻域窗口迭代生长后最终的结果记为最终邻域窗口。
进一步地,所述归一灰度参数的具体获取方法为:
获取镜检灰度图像中任意一个像素点对应邻域窗口内所有像素点的灰度值的方差记为邻域窗口中心处像素点的局部灰度参数,对所有像素点的局部灰度参数进行线性归一化获得像素点的归一灰度参数。
进一步地,所述根据相邻帧的镜检图像中特征点之间的距离和灰度差异获得特征点之间的相似参数,包括的具体方法为:
获取第帧镜检图像的第/>个特征点与第/>帧镜检图像的第/>个特征点之间的相似参数,具体计算方法为:,其中,表示第/>帧镜检图像的第/>个特征点与第/>帧镜检图像的第/>个特征点之间的相似参数;/>表示第/>帧镜检图像的第/>个特征点与第/>帧镜检图像的第/>个特征点之间的欧氏距离;/>表示所有特征点之间的最大欧氏距离;表示第/>帧镜检图像的第/>个特征点与第/>帧镜检图像的第/>个特征点之间的相似因子;/>表示标准差函数;/>表示第/>帧镜检图像中第/>个特征点在对应最终邻域窗口内第/>个像素点的灰度值;/>表示第/>帧镜检图像中第/>个特征点在对应最终邻域窗口内第/>个像素点的灰度值;/>表示第/>帧镜检图像中第/>个特征点在对应最终邻域窗口内包含像素点的数量;/>表示第/>帧镜检图像中第/>个特征点在对应最终邻域窗口内包含像素点的数量;/>表示获取最小值。
进一步地,所述根据相似参数的大小并结合特征点在镜检图像中的坐标获得观测噪声协方差矩阵,包括的具体方法为:
获取第帧镜检图像中任意特征点在/>范围内,与所述特征点之间相似参数最大且位于第/>帧镜检图像中的特征点,记为所述特征点在第/>帧镜检图像中对应特征点的匹配点,若第/>帧镜检图像中特征点在第/>帧镜检图像中对应位置的像素点不为特征点,则第/>帧镜检图像中特征点没有匹配点,将对应有匹配点的特征点记为血管点;
将镜检图像置于二维直角坐标系中,获取任意血管点的横坐标和纵坐标;获取观测噪声协方差矩阵,具体计算方法为:,其中,表示观测噪声协方差矩阵;/>表示协方差函数;/>表示第/>帧镜检图像中第/>个血管点的横坐标;/>表示第/>个血管点在第/>帧镜检图像中对应匹配点的横坐标;/>表示第/>帧镜检图像中第/>个血管点的纵坐标;/>表示第/>个血管点在第/>帧镜检图像中对应匹配点的纵坐标。
进一步地,所述利用观测噪声协方差矩阵对肠胃镜检影像进行增强处理,包括的具体方法为:
结合观测噪声协方差矩阵并利用卡尔曼滤波算法对肠胃镜检影像中的镜检图像进行滤波处理,获得新肠胃镜检影像,所述新肠胃镜检影像包括若干帧新镜检图像;
对新肠胃镜检影像的各帧新镜检图像中的血管点进行伪颜色增强,获得增强肠胃镜检影像。
本发明的技术方案的有益效果是:通过像素点在不同通道内的像素值差异获取镜检图像中的特征点,根据像素点之间的关联和相似特征对邻域窗口进行自适应迭代生长,进一步得到前后帧中特征点之间的匹配关系,获取了更加精确的观测噪声协方差矩阵,使得邻域窗口在每次迭代过程中,观测噪声协方差矩阵可以根据图像进行自适应调整,进一步提高了对肠胃镜检影像的增强效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种肠胃镜检影像增强处理方法的步骤流程图;
图2为镜检图像示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种肠胃镜检影像增强处理方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种肠胃镜检影像增强处理方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种肠胃镜检影像增强处理方法的步骤流程图,该方法包括以下步骤:
步骤S001:获取包括若干帧镜检图像的肠胃镜检影像。
需要说明的是,本实施例所针对的情景为:在内镜检查期间,利用内镜设备的视频输出端口,将图像传输到监视器或录像设备。根据所获取的视频影像进行分析,对肠胃镜检影像逐帧进行增强。
具体的,为了实现本实施例提出的一种肠胃镜检影像增强处理方法,首先需要采集肠胃镜检影像中的镜检图像,具体过程为:
获取利用内窥镜进行肠胃镜检过程中的连续帧的肠胃镜检影像,将连续帧的肠胃镜检影像中任意图像记为镜检图像,如图2所示。
需要说明的是,镜检图像为RGB图像,因此镜检图像中任意像素点分别在R、G、B通道中对应一个像素值。
至此,通过上述方法得到肠胃镜检影像中的镜检图像。
步骤S002:根据不同通道内像素值的差异获得像素点的变换值,根据预设的邻域窗口内像素点的变换值差异以及方向差异获得像素点的特征指标,根据特征指标的大小获得特征点。
需要说明的是,由于视角变化导致肠胃镜检影响中血管部分对应像素点在各帧镜检图像中有所差异,故本实施例通过利用镜检图像中像素点在R、G、B三通道中对应像素值的差异,获取各帧镜检图像中的特征点以表示可能存在表示血管的像素点;观测误差的大小即各点表示真实血管位置的误差大小,在各点所选取的邻域范围内,若各点对应灰度值方差较小,则上述特征点的选取所包含的误差对应越大,基于这一点,对各点的邻域大小进行自适应的调整,使得各点邻域内灰度离散性保持在一较小的水平下;而对应各点的状态观测值包含了各点的位置与速度信息,故需要获取多帧镜检图像中特征点之间的匹配关系,根据匹配点之间的变化度量特征点的速度大小,根据匹配特征点对应的邻域大小,获取当前帧下特征点的观测误差,获取各特征点对应的观测噪声协方差矩阵。
具体的,步骤(1),首先,对于任意一帧镜检图像,获取任意像素点的变换值,具体计算方法为:,其中,/>表示像素点的变换值;表示获取最大值;/>表示获取最小值;/>表示像素点在/>通道下对应的像素值;/>分别表示镜检图像的R分量通道、G分量通道、B分量通道。
需要说明的是,由于在肠胃镜影像中,获取的图像中血管部分表现为较为明显的红色区域,即对应RGB三通道内,R通道的数据会较大,而其他两个通道内值会相对较小,其与组织部分对应的通道差异与血管相比会较小,即在变换过后,血管会在变换后的灰度图像内表现为局部极大值点。但血管对应像素点会存在连续的情况,这会对局部极大值点的判断产生影响。
然后,将任意一帧镜检图像中由所有像素点的变换值形成的图像记为镜检变换图像。
步骤(2),首先,利用Sobel算子获取镜检变换图像中任意像素点的梯度方向;将边长大小为的窗口记为邻域窗口,将邻域窗口内除位于中心的像素点以外的像素点记为位于中心的像素点的邻域点,其中/>为预设的值,一个位于中心的像素点对应一个邻域窗口。
需要说明的是,Sobel算子的中文名称为索贝尔算子,由于Sobel算子为现有算法,因此本实施例不进行赘述。
然后,获取像素点的特征指标,具体计算方法为:,其中,/>表示像素点的特征指标;表示边长大小;/>表示余弦函数;/>表示绝对值符号;/>表示像素点的梯度方向;表示像素点指向第/>个邻域点对应向量的方向;/>表示像素点的变换值;/>表示像素点的第/>个邻域点的变换值。
需要说明的是,根据经验预设为7,可根据实际情况进行调整,本实施例不进行具体限定。
需要说明的是,所述特征指标用于描述像素点表示血管在镜检图像中对应像素点的概率,特征指标越大,像素点表示血管对应的像素点的概率越大,反之越小;在进行灰度变换之后,由于血管存在连续的特征,故采用局部极大值点进行特征点的选取会导致过多血管位置的像素点被漏选,而考虑各点邻域内存在的诸多非血管位置的像素点,其相对位置与梯度方向近似,故利用各点邻域内像素点与其灰度差进行加权平均,其中权重系数采用各点连线方向与梯度方向的差异的余弦值,若二者连线方向与梯度方向相差较小,则余弦值会较大,即二者在变化后的灰度差会有较高的权重,进而得到各点对应的特征指标。
最后,将任意一帧镜检图像中由所有像素点的特征指标形成的图像记为镜检特征图像;预设特征指标阈值,利用特征指标阈值/>对镜检特征图像进行阈值分割,将镜检特征图像中特征指标大于等于特征指标阈值/>的像素点的灰度值置为1,小于特征指标阈值/>的像素点的灰度值置为0,获得特征二值图像,将特征二值图像中灰度值为1的像素点记为特征点,也即将特征指标大于等于特征指标阈值/>的像素点记为特征点。
需要说明的是,根据经验预设特征指标预设T0为15,可根据实际情况进行调整,本实施例不进行具体限定。
至此,通过上述方法得到特征点。
步骤S003:获取邻域窗口的边界点,根据任意特征点与边界点的方向差异以及灰度值差异获得特征点与边界点的关联参数,结合关联参数对邻域窗口进行迭代生长处理获得最终邻域窗口,根据相邻帧的镜检图像中特征点之间的距离和灰度差异获得特征点之间的相似参数,根据相似参数的大小,并结合特征点在镜检图像中的坐标获得观测噪声协方差矩阵。
具体的,步骤(1),首先,对任意一帧镜检图像进行灰度化处理获得镜检灰度图像,获取镜检灰度图像中任意一个像素点对应邻域窗口内所有像素点的灰度值的方差记为邻域窗口中心处像素点的局部灰度参数,对所有像素点的局部灰度参数进行线性归一化获得像素点的归一灰度参数,将邻域窗口内最外层的像素点记为位于邻域窗口中心位置的像素点的第一像素点,将邻域窗口外且与第一像素点相邻的像素点记为位于邻域窗口中心位置的像素点的第二像素点。
然后,将第一像素点和第二像素点统称为对应像素点的边界点,对于任意特征点的邻域窗口,获取任意特征点与对应的任意边界点之间的关联参数,具体计算方法为:,其中,/>表示特征点与边界点之间的关联参数;/>表示正弦函数;/>表示绝对值符号;/>表示特征点的梯度方向;/>表示特征点指向边界点对应向量的方向;/>表示特征点在镜检灰度图像中对应的灰度值;/>表示边界点在镜检灰度图像中对应的灰度值。
需要说明的是,利用特征点与边界点的灰度值差异的倒数作为关联性的度量,但对于不同位置的像素点,对应的关联参数应当不同,对于垂直于梯度方向上的像素点,其表示血管对应的像素点的概率更大,故利用角度差值的正弦值作为权重,使得垂直于梯度方向,即近似沿血管方向上的像素点,与特征点有更高的关联性。
最后,对邻域窗口进行迭代生长处理,当任意特征点的归一灰度参数大于阈值时,获取特征点与所有第一像素点的关联参数最大时对应的第一像素点,记为缩小像素点,将邻域窗口中的缩小像素点删除,以此类推,直到特征点的归一灰度参数小于阈值;当任意特征点的归一灰度参数小于阈值/>时,获取特征点与所有第二像素点的关联参数最大时对应的第二像素点,记为扩大像素点,将扩大像素点纳入邻域窗口中,以此类推,直到特征点的归一灰度参数大于阈值/>;其中阈值/>为预设的超参数,将邻域窗口迭代生长后最终的结果记为最终邻域窗口。
需要说明的是,根据经验预设阈值为0.6,可根据实际情况进行调整,本实施例不进行具体限定。
步骤(2),首先,获取第帧镜检图像的第/>个特征点与第/>帧镜检图像的第个特征点之间的相似参数,具体计算方法为:,其中,/>表示第/>帧镜检图像的第/>个特征点与第/>帧镜检图像的第/>个特征点之间的相似参数;表示第/>帧镜检图像的第/>个特征点与第/>帧镜检图像的第/>个特征点之间的欧氏距离;/>表示所有特征点之间的最大欧氏距离;/>表示第/>帧镜检图像的第/>个特征点与第/>帧镜检图像的第/>个特征点之间的相似因子。
进一步地,所述第帧镜检图像的第/>个特征点与第/>帧镜检图像的第/>个特征点之间的相似因子,具体计算方法为:,其中,表示第/>帧镜检图像的第/>个特征点与第/>帧镜检图像的第/>个特征点之间的相似因子;/>表示标准差函数;/>表示第/>帧镜检图像中第个特征点在对应最终邻域窗口内第/>个像素点的灰度值;/>表示第/>帧镜检图像中第/>个特征点在对应最终邻域窗口内第/>个像素点的灰度值;/>表示第/>帧镜检图像中第/>个特征点在对应最终邻域窗口内包含像素点的数量;/>表示第/>帧镜检图像中第/>个特征点在对应最终邻域窗口内包含像素点的数量;/>表示获取最小值。
需要说明的是,所述相似参数用于描述特征点之间的相似程度,特征点之间的相似程度越大,对应的相似参数越大,反之越小。随着镜头的移动,同一位置邻域内在图像中的灰度变化会出现相同的增强或减弱的趋势,故利用邻域内相同位置处的灰度值的差值进行相似程度的度量,若两特征点对应邻域内各点灰度值之差近似相等,则对应差值的标准差为一较小的值;而考虑在相邻帧下,对应特征点的位置相差不会过大,故利用两特征点在空间中的距离进行修正,当距离较大时,会进一步减小二者的相似程度,进而得到相邻两幅图像中的相似程度度量。
然后,获取第帧镜检图像中任意特征点在/>范围内,与所述特征点之间相似参数最大且位于第/>帧镜检图像中的特征点,记为所述特征点在第/>帧镜检图像中对应特征点的匹配点,若第/>帧镜检图像中特征点在第/>帧镜检图像中对应位置的像素点不为特征点,则第/>帧镜检图像中特征点没有匹配点,将对应有匹配点的特征点记为血管点。
需要说明的是,上述步骤获取了各帧图像中的特征点,其作为各帧视频中的观测值可以进行血管位置的预测,但各个图像中点的个数有所差异,且各特征点在相邻帧间的匹配关系是未知的,由于肠胃镜影像随着镜头的移动不断变化,相邻帧间匹配点在较小的区域内会出现灰度值同步增减的现象,基于这一特点进行特征点之间的匹配。
步骤(3),将镜检图像置于二维直角坐标系中,获取任意血管点的横坐标和纵坐标;获取观测噪声协方差矩阵,具体计算方法为:,其中,/>表示观测噪声协方差矩阵;/>表示协方差函数;/>表示第/>帧镜检图像中第/>个血管点的横坐标;/>表示第/>个血管点在第/>帧镜检图像中对应匹配点的横坐标;/>表示第/>帧镜检图像中第/>个血管点的纵坐标;/>表示第/>个血管点在第/>帧镜检图像中对应匹配点的纵坐标。
需要说明的是,特征点状态的观测误差,既包含各点对应的位置坐标的观测误差,又包含了各点对应速度的观测误差。上述步骤获取了各个特征点对应自适应的邻域范围以及在相邻帧间的皮配关系,故可以利用当前帧下的邻域范围,获取特征点沿水平与竖直方向上的坐标位置的观测误差大小;利用下一帧内匹配点的邻域范围,获取当前帧下沿水平与竖直方向上的速度的观测误差大小。
需要说明的是,随着内窥镜的观察角度变化,在卡尔曼滤波算法下,镜检图像中部分特征点的观测值所包含的误差会逐渐增大,因此利用卡尔曼滤波进行特征点状态预测时,结合常规的固定观测噪声协方差矩阵的方法,导致对镜检图像的状态估计结果不是最优的,进一步导致图像增强效果下降,因此本实施例在得到各帧间特征点之间的匹配关系后,利用匹配点之间的关系,对各点的观测噪声大小进行量化以提高卡尔曼滤波算法精度。
至此,通过上述方法得到观测噪声协方差矩阵。
步骤S004:利用观测噪声协方差矩阵对肠胃镜检影像进行增强处理。
具体的,首先,结合观测噪声协方差矩阵并利用卡尔曼滤波算法对肠胃镜检影像中的镜检图像进行滤波处理,获得新肠胃镜检影像,所述新肠胃镜检影像包括若干帧新镜检图像。
需要说明的是,卡尔曼滤波算法为现有算法,因此本实施例不进行赘述。
然后,对新肠胃镜检影像的各帧新镜检图像中的血管点进行伪颜色增强,获得增强肠胃镜检影像,对于增强后的肠胃镜视频图像,可以有效的帮助医生评估血管是否通畅,是否存在狭窄、堵塞或其他阻塞情况,获取关于患者健康状况和病变情况等重要信息。
至此,本实施例完成。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种肠胃镜检影像增强处理方法,其特征在于,该方法包括以下步骤:
获取包括若干帧镜检图像的肠胃镜检影像,所述镜检图像为RGB图像;
根据不同通道内像素值的差异获得像素点的变换值,根据预设的邻域窗口内像素点的变换值差异以及方向差异获得像素点的特征指标,根据特征指标的大小获得特征点,所述特征指标用于描述像素点表示血管在镜检图像中对应像素点的概率;
获取邻域窗口的边界点,根据任意特征点与边界点的方向差异以及灰度值差异获得特征点与边界点的关联参数,结合关联参数对邻域窗口进行迭代生长处理获得最终邻域窗口,根据相邻帧的镜检图像中特征点之间的距离和灰度差异获得特征点之间的相似参数,根据相似参数的大小并结合特征点在镜检图像中的坐标获得观测噪声协方差矩阵;
利用观测噪声协方差矩阵对肠胃镜检影像进行增强处理;所述根据不同通道内像素值的差异获得像素点的变换值,包括的具体方法为:
对于任意镜检图像中任意像素点,将像素点在R、G、B三通道中对应像素值的极差记为像素点的变换值;
所述根据预设的邻域窗口内像素点的变换值差异以及方向差异获得像素点的特征指
标,根据特征指标的大小获得特征点,包括的具体方法为:
将任意一帧镜检图像中由所有像素点的变换值形成的图像记为镜检变换图像;利用Sobel算子获取镜检变换图像中任意像素点的梯度方向;将边长大小为ω的窗口记为邻域窗口,将邻域窗口内除位于中心的像素点以外的像素点记为位于中心的像素点的邻域点,其中ω为预设的超参数,一个位于中心的像素点对应一个邻域窗口;
将像素点的变换值与像素点的第r个邻域点的变换值的差值记为第一差值,将像素点的梯度方向记为第一方向,将像素点指向第r个邻域点所对应向量的方向记为第二方向,将第一方向和第二方向的差值记为第二差值,将第二差值的余弦值的绝对值记为方向差异,将方向差异与第一差值的乘积记为第一数值,将像素点与所有邻域点的第一数值均值记为像素点的特征指标;
将特征指标大于等于特征指标阈值T0的像素点记为特征点;
所述获取邻域窗口的边界点,包括的具体方法为:
将邻域窗口内最外层的像素点记为位于邻域窗口中心位置的像素点的第一像素点,将邻域窗口外且与第一像素点相邻的像素点记为位于邻域窗口中心位置的像素点的第二像素点;
将第一像素点和第二像素点统称为像素点对应邻域窗口的边界点,一个邻域窗口对应若干个边界点,一个像素点对应一个邻域窗口,一个像素点对应若干个边界点;
所述根据任意特征点与边界点的方向差异以及灰度值差异获得特征点与边界点的关
联参数,包括的具体方法为:
对任意一帧镜检图像进行灰度化处理获得镜检灰度图像;
对于任意特征点与对应的任意边界点,将特征点的梯度方向与特征点指向边界点对应向量的方向之间的差值记为差值C1,将差值C1的正弦值的绝对值记为第二数值;
将特征点在镜检灰度图像中对应的灰度值与边界点在镜检灰度图像中对应的灰度值之间的差值绝对值,记为差值C2,将记为特征点与边界点的关联参数;
所述结合关联参数对邻域窗口进行迭代生长处理获得最终邻域窗口,包括的具体方法
为:
对邻域窗口进行迭代生长处理,当任意特征点的归一灰度参数大于阈值T1时,获取特征点与所有第一像素点的关联参数最大时对应的第一像素点,记为缩小像素点,将邻域窗口中的缩小像素点删除,以此类推,直到特征点的归一灰度参数小于阈值T1;当任意特征点的归一灰度参数小于阈值T1时,获取特征点与所有第二像素点的关联参数最大时对应的第二像素点,记为扩大像素点,将扩大像素点纳入邻域窗口中,以此类推,直到特征点的归一灰度参数大于阈值T1;其中阈值T1为预设的超参数;
将邻域窗口迭代生长后最终的结果记为最终邻域窗口;
所述归一灰度参数的具体获取方法为:
获取镜检灰度图像中任意一个像素点对应邻域窗口内所有像素点的灰度值的方差记为邻域窗口中心处像素点的局部灰度参数,对所有像素点的局部灰度参数进行线性归一化获得像素点的归一灰度参数;
所述根据相似参数的大小并结合特征点在镜检图像中的坐标获得观测噪声协方差矩阵,
包括的具体方法为:
获取第k帧镜检图像中任意特征点在dmax×dmax范围内,与所述特征点之间相似参数最大且位于第k+1帧镜检图像中的特征点,记为所述特征点在第k+1帧镜检图像中对应特征点的匹配点,dmax表示所有特征点之间的最大欧氏距离;若第k帧镜检图像中特征点在第k+1帧镜检图像中对应位置的像素点不为特征点,则第k帧镜检图像中特征点没有匹配点,将对应有匹配点的特征点记为血管点;
将镜检图像置于二维直角坐标系中,获取任意血管点的横坐标和纵坐标;获取观测噪声协方差矩阵,具体计算方法为:
其中,Q表示观测噪声协方差矩阵;cov(,)表示协方差函数;xi(k)表示第k帧镜检图像中第i个血管点的横坐标;xi(k+1)表示第i个血管点在第k帧镜检图像中对应匹配点的横坐标;yi(k)表示第k帧镜检图像中第i个血管点的纵坐标;yi(k+1)表示第i个血管点在第k帧镜检图像中对应匹配点的纵坐标。
2.根据权利要求1所述一种肠胃镜检影像增强处理方法,其特征在于,所述根据相邻
帧的镜检图像中特征点之间的距离和灰度差异获得特征点之间的相似参数,包括的具体方法为:
获取第k帧镜检图像的第i个特征点与第k+1帧镜检图像的第j个特征点之间的相似参数,具体计算方法为:
其中,Si,j(k,k+1)表示第k帧镜检图像的第i个特征点与第k+1帧镜检图像的第j个特征点之间的相似参数;di,j(k,k+1)表示第k帧镜检图像的第i个特征点与第k+1帧镜检图像的第j个特征点之间的欧氏距离;dmax表示所有特征点之间的最大欧氏距离;li,j(k,k+1)表示第k帧镜检图像的第i个特征点与第k+1帧镜检图像的第j个特征点之间的相似因子;σ[]表示标准差函数;gjp(k+1)表示第k+1帧镜检图像中第j个特征点在对应最终邻域窗口内第p个像素点的灰度值;gip(k)表示第k帧镜检图像中第i个特征点在对应最终邻域窗口内第p个像素点的灰度值;nk,i表示第k帧镜检图像中第i个特征点在对应最终邻域窗口内包含像素点的数量;nk+1,j表示第k+1帧镜检图像中第j个特征点在对应最终邻域窗口内包含像素点的数量;min()表示获取最小值。
3.根据权利要求1所述一种肠胃镜检影像增强处理方法,其特征在于,所述利用观测
噪声协方差矩阵对肠胃镜检影像进行增强处理,包括的具体方法为:
结合观测噪声协方差矩阵并利用卡尔曼滤波算法对肠胃镜检影像中的镜检图像进行滤波处理,获得新肠胃镜检影像,所述新肠胃镜检影像包括若干帧新镜检图像;
对新肠胃镜检影像的各帧新镜检图像中的血管点进行伪颜色增强,获得增强肠胃镜检影像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410333504.9A CN117934474B (zh) | 2024-03-22 | 2024-03-22 | 一种肠胃镜检影像增强处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410333504.9A CN117934474B (zh) | 2024-03-22 | 2024-03-22 | 一种肠胃镜检影像增强处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117934474A CN117934474A (zh) | 2024-04-26 |
CN117934474B true CN117934474B (zh) | 2024-06-11 |
Family
ID=90766994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410333504.9A Active CN117934474B (zh) | 2024-03-22 | 2024-03-22 | 一种肠胃镜检影像增强处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117934474B (zh) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001005961A (ja) * | 1999-06-17 | 2001-01-12 | Hitachi Ltd | 微細欠陥検査装置およびその方法並びに位置ずれ算出回路 |
CN1428745A (zh) * | 2001-11-27 | 2003-07-09 | 三星电子株式会社 | 对定向内插器节点的关键值数据编码和译码的方法和装置 |
JP2011089967A (ja) * | 2009-10-26 | 2011-05-06 | Mitsubishi Chemical Engineering Corp | 鏡面ベルトの表面検査方法 |
CN102629380A (zh) * | 2012-03-03 | 2012-08-08 | 西安电子科技大学 | 基于多组滤波和降维的遥感图像变化检测方法 |
US8358691B1 (en) * | 2009-10-30 | 2013-01-22 | Adobe Systems Incorporated | Methods and apparatus for chatter reduction in video object segmentation using a variable bandwidth search region |
CN105574829A (zh) * | 2016-01-13 | 2016-05-11 | 合肥工业大学 | 针对极化sar图像的自适应双边滤波算法 |
WO2016167014A1 (ja) * | 2015-04-16 | 2016-10-20 | 三菱電機株式会社 | 画像処理装置及び方法、並びにプログラム及び記録媒体 |
CN106504276A (zh) * | 2016-10-25 | 2017-03-15 | 桂林电子科技大学 | 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法 |
CN113344810A (zh) * | 2021-05-31 | 2021-09-03 | 新相微电子(上海)有限公司 | 基于动态数据分布的图像增强方法 |
CN114022482A (zh) * | 2022-01-07 | 2022-02-08 | 浙江正泰智维能源服务有限公司 | 光伏板点状热斑检测方法、装置、设备及可读存储介质 |
CN116168039A (zh) * | 2023-04-26 | 2023-05-26 | 济宁市新华电力特种材料有限公司 | 一种环保节能硅酸铝板质量检测方法 |
CN116342588A (zh) * | 2023-05-22 | 2023-06-27 | 徕兄健康科技(威海)有限责任公司 | 一种脑血管图像增强方法 |
CN116503281A (zh) * | 2023-04-26 | 2023-07-28 | 中国科学院空天信息创新研究院 | 图像滤波方法、装置、电子设备及存储介质 |
CN117058147A (zh) * | 2023-10-12 | 2023-11-14 | 深圳市卓昕精密科技有限公司 | 基于计算机视觉的环保塑料制品缺陷检测方法 |
CN117058033A (zh) * | 2023-08-17 | 2023-11-14 | 吉林省珵康医疗科技有限公司 | 一种基于肾活检切片的肾小球病理影像增强方法 |
CN117291924A (zh) * | 2023-11-27 | 2023-12-26 | 惠州市鑫晖源科技有限公司 | 基于机器视觉的主机电源外观质量检测方法 |
CN117408890A (zh) * | 2023-12-14 | 2024-01-16 | 武汉泽塔云科技股份有限公司 | 一种视频图像传输质量增强方法及*** |
CN117522719A (zh) * | 2024-01-05 | 2024-02-06 | 自贡市第一人民医院 | 基于机器学习的支气管镜图像辅助优化*** |
-
2024
- 2024-03-22 CN CN202410333504.9A patent/CN117934474B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001005961A (ja) * | 1999-06-17 | 2001-01-12 | Hitachi Ltd | 微細欠陥検査装置およびその方法並びに位置ずれ算出回路 |
CN1428745A (zh) * | 2001-11-27 | 2003-07-09 | 三星电子株式会社 | 对定向内插器节点的关键值数据编码和译码的方法和装置 |
JP2011089967A (ja) * | 2009-10-26 | 2011-05-06 | Mitsubishi Chemical Engineering Corp | 鏡面ベルトの表面検査方法 |
US8358691B1 (en) * | 2009-10-30 | 2013-01-22 | Adobe Systems Incorporated | Methods and apparatus for chatter reduction in video object segmentation using a variable bandwidth search region |
CN102629380A (zh) * | 2012-03-03 | 2012-08-08 | 西安电子科技大学 | 基于多组滤波和降维的遥感图像变化检测方法 |
WO2016167014A1 (ja) * | 2015-04-16 | 2016-10-20 | 三菱電機株式会社 | 画像処理装置及び方法、並びにプログラム及び記録媒体 |
CN105574829A (zh) * | 2016-01-13 | 2016-05-11 | 合肥工业大学 | 针对极化sar图像的自适应双边滤波算法 |
CN106504276A (zh) * | 2016-10-25 | 2017-03-15 | 桂林电子科技大学 | 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法 |
CN113344810A (zh) * | 2021-05-31 | 2021-09-03 | 新相微电子(上海)有限公司 | 基于动态数据分布的图像增强方法 |
CN114022482A (zh) * | 2022-01-07 | 2022-02-08 | 浙江正泰智维能源服务有限公司 | 光伏板点状热斑检测方法、装置、设备及可读存储介质 |
CN116168039A (zh) * | 2023-04-26 | 2023-05-26 | 济宁市新华电力特种材料有限公司 | 一种环保节能硅酸铝板质量检测方法 |
CN116503281A (zh) * | 2023-04-26 | 2023-07-28 | 中国科学院空天信息创新研究院 | 图像滤波方法、装置、电子设备及存储介质 |
CN116342588A (zh) * | 2023-05-22 | 2023-06-27 | 徕兄健康科技(威海)有限责任公司 | 一种脑血管图像增强方法 |
CN117058033A (zh) * | 2023-08-17 | 2023-11-14 | 吉林省珵康医疗科技有限公司 | 一种基于肾活检切片的肾小球病理影像增强方法 |
CN117058147A (zh) * | 2023-10-12 | 2023-11-14 | 深圳市卓昕精密科技有限公司 | 基于计算机视觉的环保塑料制品缺陷检测方法 |
CN117291924A (zh) * | 2023-11-27 | 2023-12-26 | 惠州市鑫晖源科技有限公司 | 基于机器视觉的主机电源外观质量检测方法 |
CN117408890A (zh) * | 2023-12-14 | 2024-01-16 | 武汉泽塔云科技股份有限公司 | 一种视频图像传输质量增强方法及*** |
CN117522719A (zh) * | 2024-01-05 | 2024-02-06 | 自贡市第一人民医院 | 基于机器学习的支气管镜图像辅助优化*** |
Non-Patent Citations (4)
Title |
---|
一种血管内窥镜图像增强算法;姜鸿鹏 等;《光电工程》;20190115;第46卷(第1期);第31-39页 * |
基于深度学习的MRI图像多器官分割算法研究;杨牧原;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20230115(第1期);第E060-203页 * |
小肾癌在64层螺旋CT多期增强扫描中的影像特征;冯浩 等;《实用医学影像杂志》;20110430;第12卷(第2期);第111-113页 * |
快速康复外科理念用于胸腔镜肺癌手术护理中成效探讨;甘恬;《第一届全国康复与临床药学学术交流会议论文集(二)》;20220126;第357-362页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117934474A (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11633169B2 (en) | Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same | |
WO2017030747A1 (en) | Reconstruction with object detection for images captured from a capsule camera | |
Goswami et al. | Brain tumour detection using unsupervised learning based neural network | |
JP4450973B2 (ja) | 診断支援装置 | |
US8131054B2 (en) | Computerized image analysis for acetic acid induced cervical intraepithelial neoplasia | |
US20200357098A1 (en) | Discrete wavelet transform-based noise removal apparatus for removing noise from image signal and remote medical diagnosis system including the same | |
CN116109663B (zh) | 基于多阈值分割的胃部ct影像分割方法 | |
CN112465772B (zh) | 眼底彩照图像血管评估方法、装置、计算机设备和介质 | |
CN110782434B (zh) | 一种脑结核mri图像病灶智能标记定位装置 | |
CN116645384B (zh) | 基于人工智能的干细胞区域快速分割方法 | |
CN115049666B (zh) | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 | |
CN106548491B (zh) | 一种图像配准方法、其图像融合方法及其装置 | |
CN113068015A (zh) | 一种基于光纤探头的内窥镜图像畸变校正*** | |
CN114372951A (zh) | 基于图像分割卷积神经网络的鼻咽癌定位分割方法和*** | |
CN110782428A (zh) | 一种用于构建临床脑部ct图像roi模板的方法及*** | |
CN115511979A (zh) | 一种基于灰度变换的内窥镜主板控制*** | |
CN113689424B (zh) | 可自动识别图像特征的超声检查***及识别方法 | |
CN117934474B (zh) | 一种肠胃镜检影像增强处理方法 | |
CN117934371A (zh) | 一种基于条件扩散模型的胸部x光图像骨抑制方法 | |
JP5622903B2 (ja) | 画像処理装置、画像処理装置の作動方法および画像処理プログラム | |
Niemeijer et al. | Automated localization of the optic disc and the fovea | |
CN114549368A (zh) | 一种基于图像传感器的内窥镜成像***及方法 | |
CN117974692B (zh) | 一种基于区域生长的眼科医学影像处理方法 | |
CN118052745B (zh) | 一种妇科宫颈图像增强处理方法 | |
CN111743628A (zh) | 一种基于计算机视觉的自动穿刺机械臂路径规划的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |