CN113205141B - 一种基于图像融合技术的甲状旁腺识别方法 - Google Patents

一种基于图像融合技术的甲状旁腺识别方法 Download PDF

Info

Publication number
CN113205141B
CN113205141B CN202110499036.9A CN202110499036A CN113205141B CN 113205141 B CN113205141 B CN 113205141B CN 202110499036 A CN202110499036 A CN 202110499036A CN 113205141 B CN113205141 B CN 113205141B
Authority
CN
China
Prior art keywords
image
feature
layer
convolution
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110499036.9A
Other languages
English (en)
Other versions
CN113205141A (zh
Inventor
赵婉君
赵星
王宇
石一磊
朱精强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maide Intelligent Technology Wuxi Co ltd
Original Assignee
Maide Intelligent Technology Wuxi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maide Intelligent Technology Wuxi Co ltd filed Critical Maide Intelligent Technology Wuxi Co ltd
Priority to CN202110499036.9A priority Critical patent/CN113205141B/zh
Publication of CN113205141A publication Critical patent/CN113205141A/zh
Application granted granted Critical
Publication of CN113205141B publication Critical patent/CN113205141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种基于图像融合技术的甲状旁腺识别方法，涉及医学辅助技术领域，该方法利用训练得到的甲状旁腺识别模型对待识别甲状腺组织的相同视野下的目标荧光显影图像和目标实景图像进行特征提取和融合以识别甲状旁腺，利用在实景图像上***、脂肪等组织容易辨别的特点，采用深度学习图像融合技术对荧光显影图像和实景图像的特征进行融合用于识别甲状旁腺，可以克服使用近红外自荧光显影识别方法识别甲状旁腺所存在的误识别问题，对甲状旁腺的识别和定位精度较高，降低了甲状腺等颈部手术中破坏甲状旁腺组织的风险。

Description

一种基于图像融合技术的甲状旁腺识别方法
技术领域
本发明涉及医学辅助技术领域，尤其是一种基于图像融合技术的甲状旁腺识别方法。
背景技术
甲状旁腺是人体中重要的内分泌腺，活体甲状旁腺一般是扁椭圆形，外观呈黄色或者棕黄色，形似大豆。一般情况下每人有四个甲状旁腺，分别对称分布在左右两侧甲状腺背面的中部和下部，但有部分人群的甲状旁腺在位置和数量上存在较大差异，有文献称48％～62％的中国人具有四个甲状旁腺，15％的中国人仅有两个甲状旁腺，大约20％的上位甲状旁腺是不对称的，大约30％的下位甲状旁腺是不对称的。甲状旁腺的主要功能是分泌甲状旁腺激素(简称PTH)，该激素的主要靶器官是肾脏和骨，其生理功能是调节机体内钙和磷的代谢并维持钙和磷的平衡。甲状腺等颈部手术中如果误切甲状旁腺可致使甲状旁腺激素分泌不足，血钙水平下降，而血磷水平上升，导致患者出现甲状旁腺功能减退症，症状表现为手脚及***麻木、四肢抽搐，严重影响患者术后的生活质量。手术中误切甲状旁腺已成为甲状腺等颈部手术产生医疗纠纷的主要原因之一。甲状旁腺被破坏引起的术后甲状旁腺功能减退一直是困扰甲状腺外科医生的一大难题，有文献称约20％～30％的甲状腺切除手术中误切了健康的甲状旁腺从而导致患者术后出现甲状旁腺功能减退症。因为甲状旁腺体积较小，位置和数量不固定，导致其不容易与异位甲状腺、异位胸腺、周围脂肪和***组织相区别，从而大大增加了误切、损伤、挫伤或血供受损的风险，尤其是下位甲状旁腺，常常与中央区***“混”在一起，在中央区***清扫手术过程中有较高的被误切或血供受损风险。
手术中准确识别甲状旁腺是保护其不被误切或损伤的前提，目前常用的术中辨别甲状旁腺方法主要有如下几种，但实际应用中，如下几种方法都各有优缺点：
1、肉眼识别：通过肉眼或者借助腔镜观察手术区域，寻找疑似甲状旁腺组织。其优点是耗时短、成本低，缺点是与医生个人水平有关，主观性强，尤其是对经验不足的医生来说有极大的风险。
2、染色识别：通过特殊染料对甲状旁腺或其周围组织进行染色标记，从而将甲状旁腺区分开来。标记所用染料分为正染色剂和负染色剂，正染色剂是直接对甲状旁腺组织进行染色标记，如美蓝。负染色剂是对甲状旁腺周围组织进行染色标记，从而反衬出甲状旁腺组织，如纳米碳注射液。染色识别的优点是相对无创，准确率较高，缺点是成本高，在染色时间、位置及剂量方面仍然存在争议，同时部分染色剂对人体有一定的副作用，如美蓝可能使患者出现恶心呕吐、发热、缺氧和尿道口刺疼等不适。
3、自荧光显影识别：研究表明，当甲状旁腺被波长785nm的光照射时，其可以产生峰值在820～830nm的近红外自荧光，自荧光是固有荧光体自身发出的荧光，区别于荧光标记染料产生的荧光，利用这一特性可以将甲状旁腺与周围其他组织相区分。自荧光显影识别甲状旁腺具有准确率高、操作简便、速度快、无创等优点，同时避免了荧光染料和造影剂可能带来的副作用。与其他识别方法相比，自荧光显影识别有着更广泛的研究和应用空间。但在实际使用过程中发现，部分***，电刀灼烧后的脂肪组织也会产生自荧光，产生干扰，导致自荧光显影识别的准确度也难以保证。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于图像融合技术的甲状旁腺识别方法，本发明的技术方案如下：
一种基于图像融合技术的甲状旁腺识别方法，该方法包括：
获取若干组样本图像，每组样本图像分别包括所对应的一个甲状腺组织样本在同一时刻、相同视野下的荧光显影图像和实景图像，荧光显影图像是在目标波段的近红外光线照射下使用荧光显像仪获取的甲状腺组织图像，实景图像是使用摄像头在相同视野下获取的甲状腺组织图像；
基于各组样本图像训练得到甲状旁腺识别模型，甲状旁腺识别模型包括第一特征提取单元、第二特征提取单元和特征融合模块，第一特征提取单元包括若干个卷积层并用于对样本图像中的荧光显影图像进行特征提取，第二特征提取单元包括若干个卷积层并用于对样本图像中的实景图像进行特征提取，特征融合模块对第一特征提取单元和第二特征提取单元提取得到的特征进行融合；
获取待识别甲状腺组织的相同视野下的目标荧光显影图像和目标实景图像并输入甲状旁腺识别模型识别得到甲状旁腺，第一特征提取单元对目标荧光显影图像进行特征提取，第二特征提取单元对目标实景图像进行特征提取。
其进一步的技术方案为，第一特征提取单元对目标荧光显影图像进行特征提取得到具有第一图像尺寸的第一特征图和具有第二图像尺寸的第五特征图，第二特征提取单元对目标实景图像进行特征提取得到具有第一图像尺寸的第二特征图和具有第二图像尺寸的第六特征图，第二图像尺寸大于第一图像尺寸；
特征融合模块包括第一特征拼接层、第三特征提取单元、第二特征拼接层、第四特征提取单元和分割图提取层；
第一特征拼接层对第一特征图和第二特征图按通道进行拼接得到具有第一图像尺寸的第三特征图；
第三特征提取单元对第三特征图进行特征提取得到具有第二图像尺寸的第四特征图；
第二特征拼接层对第五特征图、第六特征图和第四特征图按通道进行拼接得到具有第二图像尺寸的第七特征图；
第四特征提取单元对第七特征图进行特征提取得到具有与目标荧光显影图像和目标实景图像相同图像尺寸的第八特征图；
分割图提取层从第八特征图中提取得到甲状旁腺所在区域。
其进一步的技术方案为，第三特征提取单元包括第一卷积层、第一全局池化层、第一相乘层和第一上采样层，第一卷积层对第三特征图进行卷积处理后输入到第一全局池化层和第一相乘层，第一全局池化层对第一卷积层的输出进行全局池化处理后输入到第一相乘层，第一相乘层对第一卷积层输出和第一全局池化层的输出进行相乘处理后输出到第一上采样层进行上采样得到第四特征图。
其进一步的技术方案为，第一全局池化层对第一卷积层的输出的每一通道的元素求平均值得到大小为1*1的特征图并输入到卷积核为1*1的卷积操作中，最后使用sigmoid激活函数进行激活得到第一全局池化层的输出。
其进一步的技术方案为，第四特征提取单元包括第二卷积层、第二全局池化层、第二相乘层、第三卷积层和第二上采样层，第二卷积层对第七特征图进行卷积处理后输入到第二全局池化层和第二相乘层，第二全局池化层对第二卷积层的输出进行全局池化处理后输入到第二相乘层，第二相乘层对第二卷积层输出和第二全局池化层的输出进行相乘处理后输出到第三卷积层，经第三卷积层完成卷积操作后输出到第二上采样层进行上采样得到第八特征图。
其进一步的技术方案为，第八特征图包括第一通道和第二通道，分割图提取层按通道比较第八特征图的元素值，若第一通道的元素值大于等于第二通道则将元素值置为0，否则置为1，处理完所有元素值后转换为灰度图得到分割图、提取得到甲状旁腺所在区域。
其进一步的技术方案为，对于第一特征提取单元和第二特征提取单元中的任意一个卷积层，卷积层依次执行卷积操作、批归一化操作和激活操作。
其进一步的技术方案为，该方法还包括：
对每组样本图像中的甲状旁腺所在区域进行标注，对标注后的荧光显影图像和实景图像进行二值化处理，将图像中标注为甲状旁腺的区域的像素点的灰度值置为255、其余像素点的灰度值置为0，得到样本图像对应的标签图像，在甲状旁腺识别模型的训练过程中，基于每组样本图像对应的标签图像利用损失函数更新模型参数。
其进一步的技术方案为，甲状旁腺识别模型的训练过程中使用Adam优化器，损失函数采用DiceLoss加交叉熵损失函数。
其进一步的技术方案为，获取若干组样本图像，包括：
通过加装摄像头的近红外自体荧光显像仪拍摄甲状腺组织样本，摄像头与近红外自体荧光显像仪探头的视野一致，摄像头连接到实景成像***；摄像头和显影仪探头同时采集图像，通过摄像头采集到实景图像，通过显影仪探头采集到荧光显影图像。
本发明的有益技术效果是：
本申请公开了一种基于图像融合技术的甲状旁腺识别方法，该方法利用在实景图像上***、脂肪等组织容易辨别的特点，采用深度学习图像融合技术对荧光显影图像和实景图像的特征进行融合用于识别甲状旁腺，可以克服使用近红外自荧光显影识别方法识别甲状旁腺所存在的误识别问题，对甲状旁腺的识别和定位精度较高，降低了甲状腺等颈部手术中破坏甲状旁腺组织的风险。
附图说明
图1是本申请中的甲状旁腺识别模型的模型结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于图像融合技术的甲状旁腺识别方法，包括如下步骤：
步骤S1，获取若干组样本图像，每组样本图像对应一个甲状腺组织样本，每组样本图像分别包括所对应的一个甲状腺组织样本在同一时刻、相同视野下的荧光显影图像和实景图像。
其中，荧光显影图像是在目标波段的近红外光线照射下使用荧光显像仪获取的图像，本申请中的目标波段为波长785nm的波段。实景图像是在无影灯光线下使用摄像头在相同视野下获取的图像。
在该步骤中，采集到的荧光显影图像和实景图像是同一个甲状腺组织样本在同一时刻、相同视野下的两类图像，本申请采用加装摄像头的近红外自体荧光显像仪拍摄甲状腺组织样本，近红外自体荧光显像仪是现有成熟设备，主要包括显影仪探头和荧光成像***两部分，显影仪探头用于采集图像，荧光成像***用于完成对显影仪探头采集到的图像的处理和显示等操作。可以在现有的近红外自体荧光显像仪上加装摄像头，摄像头与近红外自体荧光显像仪的探头的视野一致，摄像头连接到实景成像***，实景成像***用于完成对摄像头采集到的图像的处理和显示等操作。在使用时，摄像头和显影仪探头同时采集图像，通过摄像头采集到实景图像，通过显影仪探头采集到荧光显影图像，将摄像头和显影仪探头在同一时刻采集到的图像作为一组样本图像。摄像头在不同时刻采集到的多个实景图像按时间顺序保存，显影仪探头在不同时刻采集到的多个荧光显影图像同样按时间顺序保存。
在采集样本图像之后，还需要处理得到对应的标签图像，也即需要对样本图像中的甲状旁腺所在区域进行标注，通常由专业医务人员进行标注，若图像中不存在甲状旁腺，则不对图像做任何标注。对标注后的荧光显影图像和实景图像进行二值化处理，将图像中标注为甲状旁腺的区域的像素点的灰度值置为255、其余像素点的灰度值置为0，得到样本图像对应的标签图像。
步骤S2，基于各组样本图像训练得到甲状旁腺识别模型，本申请中的甲状旁腺识别模型的模型结构如图1所示，本申请将在步骤S3对甲状旁腺识别模型的结构及各层的处理过程进行介绍。
本申请甲状旁腺识别模型的训练过程中，基于每组样本图像对应的标签图像利用损失函数更新模型参数。本申请甲状旁腺识别模型的训练过程中使用Adam优化器，损失函数采用DiceLoss加交叉熵损失函数。Adam优化器公式如下：
vt＝β2vt-1+(1-β2)gt 2；
mt＝β1mt-1+(1-β1)gt；
其中gt表示t时刻的梯度；mt表示t时刻的梯度指数移动平均数，初始值m0＝0；vt表示t时刻的梯度平方指数移动平均数，初始值v0＝0；η表示学习率；ε＝10-8，可以避免除数为0；θt表示t时刻的模型参数，θt-1表示t-1时刻的模型参数。
DiceLoss损失函数公式为交叉熵损失函数公式为loss＝-(ylogy′+(1-y)log(1-y′))，其中y′表示预测值，y表示标签值。
步骤S3，获取待识别甲状腺组织的相同视野下的目标荧光显影图像和目标实景图像并输入甲状旁腺识别模型。获取目标荧光显影图像和目标实景图像的方法与步骤S1中获取甲状腺组织样本的荧光显影图像和实景图像的方法类似，获取到的目标荧光显影图像和目标实景图像也是待识别甲状腺组织在同一时刻、相同视野下的图像。
甲状旁腺识别模型包括第一特征提取单元、第二特征提取单元和特征融合模块，第一特征提取单元包括若干个卷积层并用于对输入的图像进行特征提取，第二特征提取单元包括若干个卷积层并用于对输入的图像进行特征提取。在模型训练阶段，第一特征提取单元对样本图像中的标注荧光显影图像进行特征提取，第二特征提取单元对同一组样本图像中的标注实景图像进行特征提取。在模型使用阶段，第一特征提取单元对目标荧光显影图像进行特征提取，第二特征提取单元对目标实景图像进行特征提取。在模型的训练和使用阶段，每一组对应的荧光显影图像和实景图像都具有相同的图像尺寸。特征融合模块对第一特征提取单元和第二特征提取单元提取得到的特征进行融合。具体的，
1、第一特征提取单元对目标荧光显影图像进行特征提取得到具有第一图像尺寸的第一特征图F1和具有第二图像尺寸的第五特征图F5，第二图像尺寸大于第一图像尺寸。其中，第一特征提取单元通过卷积层依次对目标荧光显影图像执行卷积操作使得图像尺寸依次减小，首先可以提取得到第二图像尺寸的第五特征图F5，继续通过卷积层执行卷积操作使得图像尺寸继续减小，最终可以提取得到第一图像尺寸的第一特征图F1。
第一特征提取单元中每个卷积层依次执行卷积操作、批归一化操作和激活操作。批归一化操作具体公式为其中xi表示输入，x′i表示处理后的输出；mean(xi)表示批处理数据的均值，Var(xi)表示批处理数据的方差；γ和β分别表示模型在训练过程中可学***移参数，初始值分别为1和0；ε是为了避免除数为零而设置的微小正数。激活操作使用Leaky Relu激活函数，具体公式为/>其中x′i表示处理后的输出，xi表示输入。
较为常用的，目标荧光显影图像的图像尺寸为512*512，第一特征提取单元中通过步长为2的卷积操作使特征图的大小逐渐降低，可以提取得到第二图像尺寸128*128的第五特征图F5，以及第一图像尺寸32*32的第一特征图F1。
2、第二特征提取单元对目标实景图像进行特征提取得到具有第一图像尺寸的第二特征图F2和具有第二图像尺寸的第六特征图F6。第二特征提取单元的结构与第一特征提取单元类似，每个卷积层的结构和操作也与第一特征提取单元中的卷积层类似。因此在上述实例中，输入的目标实景图像的图像尺寸为512*512，通过步长为2的卷积操作使特征图的大小逐渐降低，可以提取得到第二图像尺寸128*128的第六特征图F6，以及第一图像尺寸32*32的第二特征图F2。
3、特征融合模块包括第一特征拼接层、第三特征提取单元、第二特征拼接层、第四特征提取单元和分割图提取层：
(1)第一特征拼接层对第一特征图F1和第二特征图F2按通道进行拼接得到具有第一图像尺寸的第三特征图F3。
(2)第三特征提取单元对第三特征图F3进行特征提取得到具有第二图像尺寸的第四特征图F4。具体的：第三特征提取单元包括第一卷积层、第一全局池化层、第一相乘层和第一上采样层，其中：
第一卷积层对第三特征图F3进行卷积处理后输入到第一全局池化层和第一相乘层，本申请中第一卷积层使用1*1的卷积核对第三特征图F3执行卷积操作融合各通道信息，降低通道数量，得到图像融合后的具有第一图像尺寸的特征图输入到第一全局池化层和第一相乘层。
第一全局池化层对第一卷积层的输出进行全局池化处理后输入到第一相乘层。在本申请中，第一全局池化层执行全局平均池化操作、卷积操作和激活操作，也即第一全局池化层对第一卷积层的输出的每一通道的元素求平均值得到大小为1*1的特征图并输入到卷积核为1*1的卷积操作中，最后使用sigmoid激活函数进行激活得到第一全局池化层的图像尺寸为1*1的输出。sigmoid激活函数具体公式为其中x′i表示处理后的输出，xi表示输入。
第一相乘层对第一卷积层的输出和第一全局池化层的输出进行相乘处理，也即将第一全局池化层的输出的元素值与第一卷积层的输出对应通道上每一个元素相乘后输出到第一上采样层进行上采样得到具有第二图像尺寸的第四特征图F4。在一个实例中，第一相乘层对第一卷积层的具有第一图像尺寸32*32的输出与第一全局池化层的具有图像尺寸1*1的输出进行相乘得到同样具有第一图像尺寸为32*32的特征图，第一上采样层采用双线性插值算法将32*32的特征图扩增到具有第二图像尺寸为128*128的第四特征图F4。
(3)第二特征拼接层对第五特征图F5、第六特征图F6和第四特征图F4按通道进行拼接得到具有第二图像尺寸的第七特征图F7。
(4)第四特征提取单元对第七特征图进行特征提取得到具有与目标荧光显影图像和目标实景图像相同图像尺寸的第八特征图F8。具体的：第四特征提取单元包括第二卷积层、第二全局池化层、第二相乘层、第三卷积层和第二上采样层，其中：
第二卷积层对第七特征图F7进行卷积处理后输入到第二全局池化层和第二相乘层，本申请中第二卷积层使用1*1的卷积核对第七特征图F7执行卷积操作融合各通道信息，降低通道数量，得到图像融合后的具有第二图像尺寸的特征图输入到第二全局池化层和第二相乘层。
第二全局池化层对第二卷积层的输出进行全局池化处理后输入到第二相乘层，第二全局池化层的结构以及执行的操作与第一全局池化层相同，本申请不再赘述。
第二相乘层对第二卷积层输出和第二全局池化层的输出进行相乘处理后输出到第三卷积层，第二相乘层所执行的操作与第一相乘层类似，本申请不再赘述。
第三卷积层对第二相乘层的输出执行卷积操作，得到通道数为2且具有第二图像尺寸的输出。
第三卷积层完成卷积操作后输出到第二上采样层进行上采样得到第八特征图F8，本申请中的第二上采样层也使用双线性插值算法，将具有第二图像尺寸的特征图扩增到与原始目标实景图像相同的尺寸。
(5)分割图提取层从第八特征图中提取得到甲状旁腺所在区域，如上所述，第八特征图包括两个通道分别为第一通道和第二通道，分割图提取层按通道比较第八特征图的元素值，若第一通道的元素值大于等于第二通道则将元素值置为0，否则置为1，处理完所有元素值后转换为灰度图得到分割图，也即将每个像素乘以255，最终提取得到甲状旁腺所在区域，也即识别得到待识别甲状腺组织的组织图像中的甲状旁腺，在临床应用时，可以利用分割图在目标实景图像上显示识别得到的甲状旁腺，方便临床使用。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (9)

1.一种基于图像融合技术的甲状旁腺识别方法，其特征在于，所述方法包括：
获取若干组样本图像，每组样本图像分别包括所对应的一个甲状腺组织样本在同一时刻、相同视野下的荧光显影图像和实景图像，所述荧光显影图像是在目标波段的近红外光线照射下使用荧光显像仪获取的甲状腺组织图像，所述实景图像是使用摄像头在相同视野下获取的甲状腺组织图像；
基于各组样本图像训练得到甲状旁腺识别模型，所述甲状旁腺识别模型包括第一特征提取单元、第二特征提取单元和特征融合模块，所述第一特征提取单元包括若干个卷积层并用于对样本图像中的荧光显影图像进行特征提取，所述第二特征提取单元包括若干个卷积层并用于对样本图像中的实景图像进行特征提取，所述特征融合模块对所述第一特征提取单元和所述第二特征提取单元提取得到的特征进行融合；
获取待识别甲状腺组织的相同视野下的目标荧光显影图像和目标实景图像并输入所述甲状旁腺识别模型识别得到待识别甲状腺组织图像中的甲状旁腺，所述第一特征提取单元对所述目标荧光显影图像进行特征提取得到具有第一图像尺寸的第一特征图和具有第二图像尺寸的第五特征图，所述第二特征提取单元对所述目标实景图像进行特征提取得到具有所述第一图像尺寸的第二特征图和具有所述第二图像尺寸的第六特征图，所述第二图像尺寸大于所述第一图像尺寸；
所述特征融合模块包括第一特征拼接层、第三特征提取单元、第二特征拼接层、第四特征提取单元和分割图提取层；
所述第一特征拼接层对所述第一特征图和所述第二特征图按通道进行拼接得到具有所述第一图像尺寸的第三特征图；
所述第三特征提取单元对所述第三特征图进行特征提取得到具有所述第二图像尺寸的第四特征图；
所述第二特征拼接层对所述第五特征图、第六特征图和第四特征图按通道进行拼接得到具有所述第二图像尺寸的第七特征图；
所述第四特征提取单元对所述第七特征图进行特征提取得到具有与所述目标荧光显影图像和目标实景图像相同图像尺寸的第八特征图；
所述分割图提取层从所述第八特征图中提取得到甲状旁腺所在区域。
2.根据权利要求1所述的方法，其特征在于，
所述第三特征提取单元包括第一卷积层、第一全局池化层、第一相乘层和第一上采样层，所述第一卷积层对所述第三特征图进行卷积处理后输入到所述第一全局池化层和第一相乘层，所述第一全局池化层对所述第一卷积层的输出进行全局池化处理后输入到所述第一相乘层，所述第一相乘层对所述第一卷积层输出和所述第一全局池化层的输出进行相乘处理后输出到所述第一上采样层进行上采样得到所述第四特征图。
3.根据权利要求2所述的方法，其特征在于，所述第一全局池化层对所述第一卷积层的输出的每一通道的元素求平均值得到大小为1*1的特征图并输入到卷积核为1*1的卷积操作中，最后使用sigmoid激活函数进行激活得到所述第一全局池化层的输出。
4.根据权利要求1所述的方法，其特征在于，
所述第四特征提取单元包括第二卷积层、第二全局池化层、第二相乘层、第三卷积层和第二上采样层，所述第二卷积层对所述第七特征图进行卷积处理后输入到所述第二全局池化层和第二相乘层，所述第二全局池化层对所述第二卷积层的输出进行全局池化处理后输入到所述第二相乘层，所述第二相乘层对所述第二卷积层输出和所述第二全局池化层的输出进行相乘处理后输出到所述第三卷积层，经所述第三卷积层完成卷积操作后输出到所述第二上采样层进行上采样得到所述第八特征图。
5.根据权利要求1所述的方法，其特征在于，
所述第八特征图包括第一通道和第二通道，所述分割图提取层按通道比较所述第八特征图的元素值，若第一通道的元素值大于等于第二通道则将元素值置为0，否则置为1，处理完所有元素值后转换为灰度图得到分割图、提取得到甲状旁腺所在区域。
6.根据权利要求1所述的方法，其特征在于，对于所述第一特征提取单元和所述第二特征提取单元中的任意一个卷积层，所述卷积层依次执行卷积操作、批归一化操作和激活操作。
7.根据权利要求1-6任一所述的方法，其特征在于，所述方法还包括：
对每组样本图像中的甲状旁腺所在区域进行标注，对标注后的荧光显影图像和实景图像进行二值化处理，将图像中标注为甲状旁腺的区域的像素点的灰度值置为255、其余像素点的灰度值置为0，得到样本图像对应的标签图像，在所述甲状旁腺识别模型的训练过程中，基于每组样本图像对应的标签图像利用损失函数更新模型参数。
8.根据权利要求7所述的方法，其特征在于，
所述甲状旁腺识别模型的训练过程中使用Adam优化器，损失函数采用DiceLoss加交叉熵损失函数。
9.根据权利要求1-6任一所述的方法，其特征在于，所述获取若干组样本图像，包括：
通过加装摄像头的近红外自体荧光显像仪拍摄甲状腺组织样本，所述摄像头与所述近红外自体荧光显像仪的探头的视野一致，所述摄像头连接到实景成像***；所述摄像头和显影仪探头同时采集图像，通过所述摄像头采集到所述实景图像，通过所述显影仪探头采集到所述荧光显影图像。
CN202110499036.9A 2021-05-08 2021-05-08 一种基于图像融合技术的甲状旁腺识别方法 Active CN113205141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110499036.9A CN113205141B (zh) 2021-05-08 2021-05-08 一种基于图像融合技术的甲状旁腺识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110499036.9A CN113205141B (zh) 2021-05-08 2021-05-08 一种基于图像融合技术的甲状旁腺识别方法

Publications (2)

Publication Number Publication Date
CN113205141A CN113205141A (zh) 2021-08-03
CN113205141B true CN113205141B (zh) 2023-08-29

Family

ID=77030463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110499036.9A Active CN113205141B (zh) 2021-05-08 2021-05-08 一种基于图像融合技术的甲状旁腺识别方法

Country Status (1)

Country Link
CN (1) CN113205141B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113796850A (zh) * 2021-09-27 2021-12-17 四川大学华西医院 甲状旁腺mibi图像分析***、计算机设备及存储介质
CN115797617A (zh) * 2022-12-05 2023-03-14 杭州显微智能科技有限公司 一种甲状旁腺识别方法及智能腔镜摄像***装置
CN116369959B (zh) * 2023-06-05 2023-08-11 杭州医策科技有限公司 基于双模态ct的甲状旁腺术前定位方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019200753A1 (zh) * 2018-04-17 2019-10-24 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
CN111209810A (zh) * 2018-12-26 2020-05-29 浙江大学 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN111681273A (zh) * 2020-06-10 2020-09-18 创新奇智(青岛)科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN112037216A (zh) * 2020-09-09 2020-12-04 南京诺源医疗器械有限公司 一种医学荧光成像***图像融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101870837B1 (ko) * 2017-11-17 2018-06-27 부경대학교 산학협력단 부갑상선 실시간 이미징 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019200753A1 (zh) * 2018-04-17 2019-10-24 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
CN111209810A (zh) * 2018-12-26 2020-05-29 浙江大学 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN111681273A (zh) * 2020-06-10 2020-09-18 创新奇智(青岛)科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN112037216A (zh) * 2020-09-09 2020-12-04 南京诺源医疗器械有限公司 一种医学荧光成像***图像融合方法

Also Published As

Publication number Publication date
CN113205141A (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN113205141B (zh) 一种基于图像融合技术的甲状旁腺识别方法
US20230394660A1 (en) Wound imaging and analysis
EP2817782B1 (en) Video endoscopic system
CN109948671B (zh) 图像分类方法、装置、存储介质以及内窥镜成像设备
US11991478B2 (en) Medical image processing apparatus, medical image processing system, medical image processing method, and program
KR20200116107A (ko) 의료적 이미지화 절차의 자동화된 모니터링
KR101784063B1 (ko) 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템
CN105286768B (zh) 基于手机平台下的人体健康状态的舌苔诊断装置
CN103975364B (zh) 针对宫颈的光学检查的图像选择
CN106455942B (zh) 处理装置、内窥镜装置及***、图像处理装置的工作方法
CN108319977B (zh) 基于通道信息多模态网络的宫颈活检区域识别方法及装置
US20230081866A1 (en) Methods and systems for generating simulated intraoperative imaging data of a subject
CN115564712B (zh) 基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法
CN114004969A (zh) 一种内镜图像病灶区检测方法、装置、设备及存储介质
US20210042914A1 (en) Filing device, filing method, and program
CN109711306B (zh) 一种基于深度卷积神经网络获取面部特征的方法及设备
CN111150369A (zh) 医疗辅助设备、医疗辅助检测设备和方法
CN115171889A (zh) 一种小样本胃部肿瘤诊断***
CN114757894A (zh) 一种骨肿瘤病灶分析***
Li et al. Computer aided detection of bleeding in capsule endoscopy images
JP2023519489A (ja) 対応する補助画像内で識別される制限情報領域で処理された発光画像を用いた医療処置の支援
CN115762722B (zh) 一种基于人工智能的影像复查***
Millan-Arias et al. General Cephalometric Landmark Detection for Different Source of X-Ray Images
CN103519787B (zh) 一种光照对生物组织照明效果的检测方法
Pan et al. Detection model of nasolaryngology lesions based on multi-scale contextual information fusion and cascading mixed attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant