CN116740067A - 一种针对食管病灶的浸润深度判定方法和*** - Google Patents
一种针对食管病灶的浸润深度判定方法和*** Download PDFInfo
- Publication number
- CN116740067A CN116740067A CN202311018360.XA CN202311018360A CN116740067A CN 116740067 A CN116740067 A CN 116740067A CN 202311018360 A CN202311018360 A CN 202311018360A CN 116740067 A CN116740067 A CN 116740067A
- Authority
- CN
- China
- Prior art keywords
- image
- judged
- images
- judging
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008595 infiltration Effects 0.000 title claims abstract description 64
- 238000001764 infiltration Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003902 lesion Effects 0.000 title claims description 28
- 238000001514 detection method Methods 0.000 claims abstract description 72
- 210000001035 gastrointestinal tract Anatomy 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 18
- 230000003068 static effect Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 12
- 210000003238 esophagus Anatomy 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000009736 wetting Methods 0.000 claims description 6
- 238000007654 immersion Methods 0.000 claims description 4
- 208000000461 Esophageal Neoplasms Diseases 0.000 abstract description 9
- 206010030155 Oesophageal carcinoma Diseases 0.000 abstract description 9
- 201000004101 esophageal cancer Diseases 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 210000004204 blood vessel Anatomy 0.000 description 16
- 206010028980 Neoplasm Diseases 0.000 description 9
- 210000004027 cell Anatomy 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007526 fusion splicing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000009933 burial Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000001839 endoscopy Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 2
- 230000001079 digestive effect Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 206010041823 squamous cell carcinoma Diseases 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010000060 Abdominal distension Diseases 0.000 description 1
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 206010061534 Oesophageal squamous cell carcinoma Diseases 0.000 description 1
- 208000036765 Squamous cell carcinoma of the esophagus Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000002469 basement membrane Anatomy 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009558 endoscopic ultrasound Methods 0.000 description 1
- 208000007276 esophageal squamous cell carcinoma Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229940097275 indigo Drugs 0.000 description 1
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 208000024312 invasive carcinoma Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 231100000216 vascular lesion Toxicity 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明请求保护一种针对食管病灶的浸润深度判定方法和***，获得时间连续的多帧待判定图像，对待判定图像进行静止检测，当待判定图像处于静止状态时，认定待判定图像为第一待判定图像，允许进行浸润深度判定；对第一待判定图像进行部位检测，当待判定图像被检测后处于预设的消化道核心部位时，认定第一待判定图像为候选判定图像；对候选判定图像进行模式检测，确认候选判定图像的获取环境模式，当判定候选判定图像处于预设模式时，认定第一待判定图像为准判定图像；对准判定图像进行食管病灶浸润深度检测，输出多通道检测结果，确定准判定图像的浸润深度检测结果。本发明基于深度学习的技术，有效实现了食管癌的浸润深度判断。
Description
技术领域
本发明的技术领域为计算机智慧医疗领域，应用在医学中的消化内镜，具体的，涉及一种针对食管病灶的浸润深度判定方法和***。
背景技术
随着内镜技术的发展和消化道早癌知识的普及，食管表浅癌的诊断率得到进一步提高，甚至高年资内镜医生单纯依靠镜下表现即可大致判断食管癌的浸润深度，但最终诊断仍然依靠病理结果。由于浸润深度与淋巴转移密切相关，浸润深度的术前诊断对治疗决策很重要。早期食管癌浸润深度诊断主要通过内镜、放大内镜和内镜超声（EUS）进行。
然而目前在消化内镜领域，没有相关产品用于识别食管毛细血管类型和病灶边界、以及判断食管癌的浸润程度。
发明内容
为了对食管毛细血管进行语义分割以及类型识别，进而判断食管癌的浸润深度，本发明请求保护一种针对食管病灶的浸润深度判定方法和***。
根据本发明第一方面，本发明请求保护一种针对食管病灶的浸润深度判定方法，包括：
获得时间连续的多帧待判定图像，对待判定图像进行静止检测，当待判定图像处于静止状态时，认定待判定图像为第一待判定图像，允许进行浸润深度判定；
对第一待判定图像进行部位检测，当待判定图像被检测后处于预设的消化道核心部位时，认定第一待判定图像为候选判定图像；
对候选判定图像进行模式检测，确认候选判定图像的获取环境模式，当判定候选判定图像处于预设模式时，认定第一待判定图像为准判定图像；
对准判定图像进行食管病灶浸润深度检测，输出多通道检测结果，确定准判定图像的浸润深度检测结果。
进一步的，获得时间连续的多帧待判定图像，对待判定图像进行静止检测，当待判定图像处于静止状态时，认定待判定图像为第一待判定图像，允许进行浸润深度判定，具体包括：
S1：获取待判定图像上一帧图像的像素数据；
S2：测量待判定图像上一帧图像的静止性参数；
S3：归算待判定图像上一帧图像的静止性参数，确定差值；
S4：判定待判定图像的静止性。
进一步地，对第一待判定图像进行部位检测，当待判定图像被检测后处于预设的消化道核心部位时，认定第一待判定图像为候选判定图像，具体包括：
采用卷积神经网络对第一待判定图像进行部位检测；
当待判定图像被检测后处于预设的消化道食管核心部位时，认定第一待判定图像为候选判定图像。
进一步地，对候选判定图像进行模式检测，确认候选判定图像的获取环境模式，当判定候选判定图像处于预设模式时，认定第一待判定图像为准判定图像，具体包括：
获取候选判定图像，对候选判定图像进行缩放和归一化处理，得到候选标准判定图像；
将候选标准判定图像输入多个分支网络，得到在各个分支网络下的候选判定图像概率特征集；
依据候选判定图像概率特征集，获取候选判定图像的环境模式。
进一步地，对准判定图像进行食管病灶浸润深度检测，输出多通道检测结果，确定准判定图像的浸润深度检测结果，具体包括：
对准判定图像进行图像缩放和归一化处理后，进行重叠切片处理，经过嵌入输入到主干网络中；
通过主干网络的Transformer编码器获取准判定图像的多阶段输出特征；
采用解码器将多阶段输出特征进行融合拼接，采用1*1卷积控制通道数，输出最终的分割结果，作为准判定图像的浸润深度检测结果。
根据本发明第二方面，本发明请求保护一种针对食管病灶的浸润深度判定***，其特征在于，包括：
静止判断模块，获得时间连续的多帧待判定图像，对待判定图像进行静止检测，当待判定图像处于静止状态时，认定待判定图像为第一待判定图像，允许进行浸润深度判定；
部位判断模块，对第一待判定图像进行部位检测，当待判定图像被检测后处于预设的消化道核心部位时，认定第一待判定图像为候选判定图像；
模式检测模块，对候选判定图像进行模式检测，确认候选判定图像的获取环境模式，当判定候选判定图像处于预设模式时，认定第一待判定图像为准判定图像；
深度检测模块，对准判定图像进行食管病灶浸润深度检测，输出多通道检测结果，确定准判定图像的浸润深度检测结果。
进一步的，静止判断模块，具体包括：
S1：获取待判定图像上一帧图像的像素数据；
S2：测量待判定图像上一帧图像的静止性参数；
S3：归算待判定图像上一帧图像的静止性参数，确定差值；
S4：判定待判定图像的静止性。
进一步地，部位判断模块，具体包括：
采用卷积神经网络对第一待判定图像进行部位检测；
当待判定图像被检测后处于预设的消化道食管核心部位时，认定第一待判定图像为候选判定图像。
进一步地，模式检测模块，具体包括：
获取候选判定图像，对候选判定图像进行缩放和归一化处理，得到候选标准判定图像；
将候选标准判定图像输入多个分支网络，得到在各个分支网络下的候选判定图像概率特征集；
依据候选判定图像概率特征集，获取候选判定图像的环境模式。
进一步地，深度检测模块，具体包括：
对准判定图像进行图像缩放和归一化处理后，进行重叠切片处理，经过嵌入输入到主干网络中；
通过主干网络的Transformer编码器获取准判定图像的多阶段输出特征；
采用解码器将多阶段输出特征进行融合拼接，采用1*1卷积控制通道数，输出最终的分割结果，作为准判定图像的浸润深度检测结果。
本发明请求保护一种针对食管病灶的浸润深度判定方法和***，获得时间连续的多帧待判定图像，对待判定图像进行静止检测，当待判定图像处于静止状态时，认定待判定图像为第一待判定图像，允许进行浸润深度判定；对第一待判定图像进行部位检测，当待判定图像被检测后处于预设的消化道核心部位时，认定第一待判定图像为候选判定图像；对候选判定图像进行模式检测，确认候选判定图像的获取环境模式，当判定候选判定图像处于预设模式时，认定第一待判定图像为准判定图像；对准判定图像进行食管病灶浸润深度检测，输出多通道检测结果，确定准判定图像的浸润深度检测结果。本发明基于深度学习的技术，有效实现了食管癌的浸润深度判断。
附图说明
图1为本发明所请求保护的一种针对食管病灶的浸润深度判定方法的工作流程图；
图2为本发明所请求保护的一种针对食管病灶的浸润深度判定方法的食管病灶浸润深度检测结构示意图；
图3为本发明所请求保护的一种针对食管病灶的浸润深度判定方法的Transformer 编码器的结构示意图；
图4为本发明所请求保护的一种针对食管病灶的浸润深度判定方法的输出结果可视化示意图；
图5为本发明所请求保护的一种针对食管病灶的浸润深度判定***的结构模块图。
具体实施方式
根据本发明第一实施例，参照图1，本发明请求保护一种针对食管病灶的浸润深度判定方法，包括：
获得时间连续的多帧待判定图像，对待判定图像进行静止检测，当待判定图像处于静止状态时，认定待判定图像为第一待判定图像，允许进行浸润深度判定；
对第一待判定图像进行部位检测，当待判定图像被检测后处于预设的消化道核心部位时，认定第一待判定图像为候选判定图像；
对候选判定图像进行模式检测，确认候选判定图像的获取环境模式，当判定候选判定图像处于预设模式时，认定第一待判定图像为准判定图像；
对准判定图像进行食管病灶浸润深度检测，输出多通道检测结果，确定准判定图像的浸润深度检测结果。
其中，在该实施例中，关于食管癌的放大内镜的IPCL（食管毛细血管袢）分类如下：
Type A血管：NBI的褐色区域（BA）最食管鳞状细胞癌具有代表性的表现，炎症和黏膜变薄也可以表现为BA。有时，缺少异型上皮内肿瘤也可以表现为BA，在这些病变，可以观察到非常轻微的IPCL延长。这些血管被分类为A型血管。
Type B1型血管：浸润深度为T1a-EP鳞状细胞癌，肿瘤沿着基底膜生长，用肿瘤细胞替代正常细胞，***状结构留在癌变病灶内。因此，在放大内镜下，可看到在***内有环形血管。然而，与通常的IPCL不同的是，不规则的环形血管具有扩张、蛇形、走形不整和形状不均一。分类为B1型血管。
Type B2 血管：当癌进一步浸润黏膜肌层时，***状结构被破坏，出现环状结构消失的肿瘤血管。因此，出现的非袢被分类为B2型。因此，B2型血管病变被诊断为浸润性癌，***状结构破坏，浸润深度为T1a-MM或T1b-SM1。
Type B3血管：当肿瘤进一步侵入T1b-SM2时，出现较大口径的肿瘤相关血管。根据日本食道学会的分类，B3型血管是不规则的血管，其口径是普通B2型血管的三倍（约60μm或以上）。
AVA（无血管区）：当鳞状细胞癌生长膨胀迫使肿瘤肿块外的血管生长时，肿瘤被血管包围。当用放大的NBI观察该区域时，被B2型血管包围的无血管区域。日本食管学会已将此发现归类为无血管区（AVA）。尽管被描述为“无血管区”，但实际上是小的分散的血管。
进一步的，获得时间连续的多帧待判定图像，对待判定图像进行静止检测，当待判定图像处于静止状态时，认定待判定图像为第一待判定图像，允许进行浸润深度判定，具体包括：
S1：获取待判定图像上一帧图像的像素数据；
S2：测量待判定图像上一帧图像的静止性参数；
S3：归算待判定图像上一帧图像的静止性参数，确定差值；
S4：判定待判定图像的静止性。
其中，在该实施例中，S1包括：
1)根据待判定图像与上一帧图像之间的位置关系规划匹配路径，布设网格的单元格及关键像素；
2)利用网格匹配待判定图像、上一帧图像及上一帧图像附近范围的护坡形成像素数据，并记录下单元格的水平坐标及偏差坐标；
3)对像素数据进行消噪预处理，去除每个单元格匹配结果中的噪点和无关数据点；
4)检测出各个图层的高亮数据并对其进行插值，得到各个图层的像素数据；
5)根据布设的关键像素将S1的3)中消噪后的像素数据进行像素拼接，得到待判定图像上一帧图像外表面的像素数据；
6)结合S1的2)中记录的每个单元格的水平与偏差坐标，利用坐标系转换将待判定图像上一帧图像外表面的像素数据转换至水平偏差坐标系；
7)将坐标系转换完成的待判定图像上一帧图像外表面的像素数据与各个图层的像素数据进行拼接，得到待判定图像上一帧图像的像素数据；
S2包括：
1)选取待判定图像的中心，计算出待判定图像的长度、宽度和高度得出待判定图像的抖动形态参数；以待判定图像空间为对象，采用多段拟合的方式将待判定图像空间以平面椭圆进行替代，该平面椭圆的中心为待判定图像的中心，其赤道半径与极半径为各段待判定图像的长度、宽度、高度；利用最小二乘法求出该待判定图像的中心点坐标；根据待判定图像的中心点坐标计算出待判定图像的长度、宽度和高度；
2)测量待判定图像的血管厚度，根据厚宽比公式计算出待判定图像的厚宽比；
3)测量待判定图像与上一帧图像之间的相对位置；
4)测量待判定图像的偏差，具体如下：a、选取上一帧图像为中心，以上一帧图像的面积作为一个测量单位；b、根据上一帧图像的底面积选择(2n+1)×(2n+1)大小的岩层进行分块测量；c、每块上一帧图像的像素数据使用最小二乘法进行平面拟合，得到近似平面，进而测量待判定图像的偏差；
S3包括：
1)待判定图像的抖动形态参数差值归算：以球体为标准，其赤道半径小于极半径，抖动形态参数差值为0；反之，抖动形态参数差值为1；
2)待判定图像的厚宽比差值归算：当厚宽比大于1时，待判定图像的厚宽比差值为0；反之，待判定图像厚宽比差值为1；
3)待判定图像与上一帧图像之间的相对位置差值归算：当待判定图像与上一帧图像之间的水平距离大于3倍待判定图像的跨度时，待判定图像与上一帧图像之间的相对位置差值为0；反之，待判定图像与上一帧图像之间的相对位置差值为1；
4)待判定图像的偏差差值归算：当偏差在15°以下或者超过75°时，待判定图像的偏差差值为0；当偏差在15°～75°之间时，待判定图像的偏差差值为1；
S4包括：
1)设定待判定图像静止性参数权重值：根据S3中静止性参数对待判定图像静止性差值设定相应的权重值；
2)判断待判定图像上一帧图像静止性：计算S4的1)中设定的待判定图像静止性参数权重值与S3中相对应的待判定图像静止性参数差值相乘并进行叠加计算，得出的数值与设定阈值进行对比：若未超过该设定阈值，则判定待判定图像上一帧图像处于静止状态；若超过该设定阈值，则判定待判定图像上一帧图像处于非静止状态。
S2中第2)步骤的测量待判定图像的血管厚度是根据上一帧图像上表面像素数据以及上一帧图像埋深求得，具体过程为：a、以上一帧图像上表面像素数据为对象，求出上一帧图像上表面像素数据的偏差平均值；b、测量出上一帧图像埋深；c、计算上一帧图像上表面像素数据的偏差平均值与上一帧图像埋深之差得出上一帧图像底面偏差；d、计算上一帧图像上表面像素的偏差与上一帧图像底面偏差之差得出待判定图像的血管厚度。
S2中第3)步骤的测量待判定图像与上一帧图像之间的相对位置，即测量出平面椭圆中心点与上一帧图像重心线的水平距离，具体过程为：a、选择上一帧图像上表面中心点的竖直方向直线作为上一帧图像重心线；b、根据S2中第1)步骤获取平面椭圆中心点；c、求出上一帧图像上表面中心点到平面椭圆中心点之间的水平距离得到待判定图像与上一帧图像位置的相对位置。
S2中第4)步骤中的n取值要使得每个上一帧图像分块测量范围有重叠。
S1中第6)步骤的坐标系转换的过程依次包括平移、水平旋转和缩放。
进一步地，对第一待判定图像进行部位检测，当待判定图像被检测后处于预设的消化道核心部位时，认定第一待判定图像为候选判定图像，具体包括：
采用卷积神经网络对第一待判定图像进行部位检测；
当待判定图像被检测后处于预设的消化道食管核心部位时，认定第一待判定图像为候选判定图像。
其中，在该实施例中，消化道食管核心部位具体如表1所示。
表1 消化道核心部位表
进一步地，对候选判定图像进行模式检测，确认候选判定图像的获取环境模式，当判定候选判定图像处于预设模式时，认定第一待判定图像为准判定图像，具体包括：
获取候选判定图像，对候选判定图像进行缩放和归一化处理，得到候选标准判定图像；
将候选标准判定图像输入多个分支网络，得到在各个分支网络下的候选判定图像概率特征集；
依据候选判定图像概率特征集，获取候选判定图像的环境模式。
其中，在该实施例中，多个分支网络至少包括第一分支网络、第二分支网络、第三分支网络、第四分支网络；
将候选标准判定图像输入多个分支网络，得到在各个分支网络下的候选判定图像概率特征集，具体包括：
获取候选标准判定图像的第一特征集、第二特征集、第三特征集和第四特征集，分别对应输入第一分支网络、第二分支网络、第三分支网络和第四分支网络；
各个分支网络运算分别得到第一输出结果、第二输出结果、第三输出结果和第四输出结果；
依据输出结果获取在各个分支网络下的候选判定图像概率特征集。
第一分支网络、第二分支网络、第三分支网络、第四分支网络为经过深度学习训练的卷积神经网络；
第一特征集为光源相关特征集，第二特征集为染色相关特征集，第三特征集为器械相关特征集，第四特征集为放大识别特征集；
第一输出结果包括白光光源、NBI-BLI-OE-1光源、LCI光源的识别概率值；
第二输出结果包括未染色、碘染、靛胭脂染色、醋酸染色、出血的识别概率值；
第三输出结果包括无器械、有器械的识别概率值；
第四输出结果包括非放大模式、食管部放大模式、胃部放大模式的识别概率值；
候选判定图像概率特征集为各个输出结果中的多个要素的识别概率值形成的多元组。
依据候选判定图像概率特征集，获取候选判定图像的检查类别结果，具体包括：
依据候选判定图像概率特征集，获取各个输出结果的识别结果；
依据识别结果，得到候选判定图像的检查类别结果；
将候选判定图像的检查类别结果和识别结果形成五元组存储。
进一步地，对准判定图像进行食管病灶浸润深度检测，输出多通道检测结果，确定准判定图像的浸润深度检测结果，具体包括：
对准判定图像进行图像缩放和归一化处理后，进行重叠切片处理，经过嵌入输入到主干网络中；
通过主干网络的Transformer编码器获取准判定图像的多阶段输出特征；
采用解码器将多阶段输出特征进行融合拼接，采用1*1卷积控制通道数，输出最终的分割结果，作为准判定图像的浸润深度检测结果。
其中，在该实施例中，由于AVA区域的评判指标为区域直径的大小，其更依赖于医生的主观感觉，无明确的评判指标。因此，在此步骤中，只对食管癌进行AB分型，即输出A、B1、B2、B3的区域。同时，为了抑制背景的干扰，减少背景噪声，在网络中增加了背景类。即，在模型输出后，会得到5个通道的特征图。0到4通道分别对应背景、A、B1、B2、B3类别。
由于在传统的Transformer中，只能输出单尺度的多分辨率特征，而且在训练和测试的输入图像分辨率不一致时，对位置编码进行插值会出现性能下降的问题。因此，在编码器中，本实施例结合金字塔的思想，采用了无位置编码分层Transformer作为编码器。这样，就可以获得原始图像分辨率为（1/4，1/8，1/16，1/32）的多级特征。
相比于传统语义分割的编码器结构，多级的Transformer在编码阶段使用了多级特征，从而具备更丰富的感受野，因此可以得图像的非局部特征关注。在解码器阶段，采用轻量化的ALL-MLP结构，通过线性转换聚集多阶段特征，使得低层网络关注图像的局部信息，高层网络关注图像的全局信息，从而实现局部特征和非局部特征的互补。
参照附图2，本实施例中的网络结构主要包括如下：编码器: 分级Transformer；解码器: 轻量级ALL-MLP。
不同于传统Transformer的切片嵌入，为了保证局部信息的连续性，对图像进行重叠切片嵌入；重叠切片嵌入，即每个切片之间由重叠区域。具体表现为：零填充输入图像，使得相邻窗口重叠一半面积。
第一阶段-第四阶段表示主干网络分级Transformer的四个阶段性特征，每个阶段性特征都有不同数量的Transformer转换块构成，Transformer 的结构图如图3所示。
其中，每个转换块都由N个编码层和重叠切片合并组成。值得注意的是，在每个阶段中，编码层的个数N都不同，分别为3，4，18，3。其中每个编码器层由一个注意层和一个前馈层组成。在Transformer的自注意力机制加入了空间缩放尺度因子R，以此KV的空间尺度，从而降低计算量。
在前馈网络中，考虑到零填充对泄漏位置信息的影响，额外加入了3*3卷积，公式表示如下：
。
其中,为前馈层的特征图，/>为经过前馈层的特征图。其中/>表示3×3卷积，MLP为多层感知机，在此处由一个1*1卷积构成。GELU为激活函数。
在第一阶段中，特征图大小为112*112，该阶段关注图像的颜色等低级特征，即输入图像中反光区域。在第二阶段中，特征图大小为56*56，该阶段关注图像的背景区域，即输入图像中的除血管外的粘膜区域。在第三阶段和第四阶段中，特征图大小分别为28*28和14*14，该阶段开始关注像素间的相关性，突出高级语义依赖，即将细胞癌变区域进行高亮显示。
以上步骤完成编码器阶段，在解码部分，为了获取更丰富的上下文信息，将4个阶段的输出特征进行融合。即，通过1*1卷积后，进行上采样到112*112大小，进行拼接。
最后，通过1*1卷积控制通道数，输出最终的分割结果。
在解码器部分，将主干网络中各个阶段的特征图进行融合，以聚合全局上下文信息和局部特征。其中，所有的MLP层均使用了1*1卷积。在经过最后一个MLP层，将输出通道控制为类别数进行输出，对其进行了可视化，如图4所示。
在背景通道中，背景粘膜区域被高亮出；在类别A的通道中，左上角区域被高亮；在类别B1的通道中，右区域被高亮出；而在B2和B3中，均只以较低的特征值突出全局特征。
通过argmax操作，将每个五个通道中同像素点最大值作为其像素点的类别，输出最后的掩码。
根据本发明第二实施例，参照附图5，本发明请求保护一种针对食管病灶的浸润深度判定***，包括：
静止判断模块，获得时间连续的多帧待判定图像，对待判定图像进行静止检测，当待判定图像处于静止状态时，认定待判定图像为第一待判定图像，允许进行浸润深度判定；
部位判断模块，对第一待判定图像进行部位检测，当待判定图像被检测后处于预设的消化道核心部位时，认定第一待判定图像为候选判定图像；
模式检测模块，对候选判定图像进行模式检测，确认候选判定图像的获取环境模式，当判定候选判定图像处于预设模式时，认定第一待判定图像为准判定图像；
深度检测模块，对准判定图像进行食管病灶浸润深度检测，输出多通道检测结果，确定准判定图像的浸润深度检测结果。
进一步的，静止判断模块，具体包括：
S1：获取待判定图像上一帧图像的像素数据；
S2：测量待判定图像上一帧图像的静止性参数；
S3：归算待判定图像上一帧图像的静止性参数，确定差值；
S4：判定待判定图像的静止性。
进一步地，部位判断模块，具体包括：
采用卷积神经网络对第一待判定图像进行部位检测；
当待判定图像被检测后处于预设的消化道食管核心部位时，认定第一待判定图像为候选判定图像。
进一步地，模式检测模块，具体包括：
获取候选判定图像，对候选判定图像进行缩放和归一化处理，得到候选标准判定图像；
将候选标准判定图像输入多个分支网络，得到在各个分支网络下的候选判定图像概率特征集；
依据候选判定图像概率特征集，获取候选判定图像的环境模式。
进一步地，深度检测模块，具体包括：
对准判定图像进行图像缩放和归一化处理后，进行重叠切片处理，经过嵌入输入到主干网络中；
通过主干网络的Transformer编码器获取准判定图像的多阶段输出特征；
采用解码器将多阶段输出特征进行融合拼接，采用1*1卷积控制通道数，输出最终的分割结果，作为准判定图像的浸润深度检测结果。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种针对食管病灶的浸润深度判定方法，其特征在于，包括：
获得时间连续的多帧待判定图像，对所述待判定图像进行静止检测，当所述待判定图像处于静止状态时，认定所述待判定图像为第一待判定图像，允许进行浸润深度判定；
对所述第一待判定图像进行部位检测，当所述待判定图像被检测后处于预设的消化道核心部位时，认定所述第一待判定图像为候选判定图像；
对所述候选判定图像进行模式检测，确认所述候选判定图像的获取环境模式，当判定所述候选判定图像处于预设模式时，认定所述第一待判定图像为准判定图像；
对所述准判定图像进行食管病灶浸润深度检测，输出多通道检测结果，确定所述准判定图像的浸润深度检测结果。
2.如权利要求1所述的一种针对食管病灶的浸润深度判定方法，其特征在于，所述获得时间连续的多帧待判定图像，对所述待判定图像进行静止检测，当所述待判定图像处于静止状态时，认定所述待判定图像为第一待判定图像，允许进行浸润深度判定，具体包括：
S1：获取待判定图像上一帧图像的像素数据；
S2：测量待判定图像上一帧图像的静止性参数；
S3：归算待判定图像上一帧图像的静止性参数，确定差值；
S4：判定待判定图像的静止性。
3.如权利要求2所述的一种针对食管病灶的浸润深度判定方法，其特征在于，所述对所述第一待判定图像进行部位检测，当所述待判定图像被检测后处于预设的消化道核心部位时，认定所述第一待判定图像为候选判定图像，具体包括：
采用卷积神经网络对所述第一待判定图像进行部位检测；
当所述待判定图像被检测后处于预设的消化道食管核心部位时，认定所述第一待判定图像为候选判定图像。
4.如权利要求3所述的一种针对食管病灶的浸润深度判定方法，其特征在于，所述对所述候选判定图像进行模式检测，确认所述候选判定图像的获取环境模式，当判定所述候选判定图像处于预设模式时，认定所述第一待判定图像为准判定图像，具体包括：
获取所述候选判定图像，对所述候选判定图像进行缩放和归一化处理，得到候选标准判定图像；
将所述候选标准判定图像输入多个分支网络，得到在各个分支网络下的所述候选判定图像概率特征集；
依据所述候选判定图像概率特征集，获取所述候选判定图像的环境模式。
5.如权利要求4所述的一种针对食管病灶的浸润深度判定方法，其特征在于，所述对所述准判定图像进行食管病灶浸润深度检测，输出多通道检测结果，确定所述准判定图像的浸润深度检测结果，具体包括：
对所述准判定图像进行图像缩放和归一化处理后，进行重叠切片处理，经过嵌入输入到主干网络中；
通过所述主干网络的Transformer编码器获取所述准判定图像的多阶段输出特征；
采用解码器将多阶段输出特征进行融合拼接，采用1*1卷积控制通道数，输出最终的分割结果，作为所述准判定图像的浸润深度检测结果。
6.一种针对食管病灶的浸润深度判定***，其特征在于，包括：
静止判断模块，获得时间连续的多帧待判定图像，对所述待判定图像进行静止检测，当所述待判定图像处于静止状态时，认定所述待判定图像为第一待判定图像，允许进行浸润深度判定；
部位判断模块，对所述第一待判定图像进行部位检测，当所述待判定图像被检测后处于预设的消化道核心部位时，认定所述第一待判定图像为候选判定图像；
模式检测模块，对所述候选判定图像进行模式检测，确认所述候选判定图像的获取环境模式，当判定所述候选判定图像处于预设模式时，认定所述第一待判定图像为准判定图像；
深度检测模块，对所述准判定图像进行食管病灶浸润深度检测，输出多通道检测结果，确定所述准判定图像的浸润深度检测结果。
7.如权利要求6所述的一种针对食管病灶的浸润深度判定***，其特征在于，所述静止判断模块，具体包括：
S1：获取待判定图像上一帧图像的像素数据；
S2：测量待判定图像上一帧图像的静止性参数；
S3：归算待判定图像上一帧图像的静止性参数，确定差值；
S4：判定待判定图像的静止性。
8.如权利要求7所述的一种针对食管病灶的浸润深度判定***，其特征在于，所述部位判断模块，具体包括：
采用卷积神经网络对所述第一待判定图像进行部位检测；
当所述待判定图像被检测后处于预设的消化道食管核心部位时，认定所述第一待判定图像为候选判定图像。
9.如权利要求8所述的一种针对食管病灶的浸润深度判定***，其特征在于，所述模式检测模块，具体包括：
获取所述候选判定图像，对所述候选判定图像进行缩放和归一化处理，得到候选标准判定图像；
将所述候选标准判定图像输入多个分支网络，得到在各个分支网络下的所述候选判定图像概率特征集；
依据所述候选判定图像概率特征集，获取所述候选判定图像的环境模式。
10.如权利要求9所述的一种针对食管病灶的浸润深度判定***，其特征在于，所述深度检测模块，具体包括：
对所述准判定图像进行图像缩放和归一化处理后，进行重叠切片处理，经过嵌入输入到主干网络中；
通过所述主干网络的Transformer编码器获取所述准判定图像的多阶段输出特征；
采用解码器将多阶段输出特征进行融合拼接，采用1*1卷积控制通道数，输出最终的分割结果，作为所述准判定图像的浸润深度检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311018360.XA CN116740067B (zh) | 2023-08-14 | 2023-08-14 | 一种针对食管病灶的浸润深度判定方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311018360.XA CN116740067B (zh) | 2023-08-14 | 2023-08-14 | 一种针对食管病灶的浸润深度判定方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116740067A true CN116740067A (zh) | 2023-09-12 |
| CN116740067B CN116740067B (zh) | 2023-10-20 |
Family
ID=87910089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311018360.XA Active CN116740067B (zh) | 2023-08-14 | 2023-08-14 | 一种针对食管病灶的浸润深度判定方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740067B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488063A (zh) * | 2020-12-18 | 2021-03-12 | 贵州大学 | 一种基于多阶段聚合Transformer模型的视频语句定位方法 |
| CN112927246A (zh) * | 2021-03-01 | 2021-06-08 | 北京小白世纪网络科技有限公司 | 肺部轮廓分割、肿瘤免疫浸润分类***及方法 |
| CN113643291A (zh) * | 2021-10-14 | 2021-11-12 | 武汉大学 | 食管标志物浸润深度等级确定方法、装置及可读存储介质 |
| KR20220096453A (ko) * | 2020-12-31 | 2022-07-07 | 주식회사 카이미 | 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램 |
| CN116416452A (zh) * | 2022-12-06 | 2023-07-11 | 丽水市中心医院 | 基于二阶段深度学习模型的肺腺癌浸润性智能分类*** |
-
2023
- 2023-08-14 CN CN202311018360.XA patent/CN116740067B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488063A (zh) * | 2020-12-18 | 2021-03-12 | 贵州大学 | 一种基于多阶段聚合Transformer模型的视频语句定位方法 |
| KR20220096453A (ko) * | 2020-12-31 | 2022-07-07 | 주식회사 카이미 | 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램 |
| CN112927246A (zh) * | 2021-03-01 | 2021-06-08 | 北京小白世纪网络科技有限公司 | 肺部轮廓分割、肿瘤免疫浸润分类***及方法 |
| CN113643291A (zh) * | 2021-10-14 | 2021-11-12 | 武汉大学 | 食管标志物浸润深度等级确定方法、装置及可读存储介质 |
| CN116416452A (zh) * | 2022-12-06 | 2023-07-11 | 丽水市中心医院 | 基于二阶段深度学习模型的肺腺癌浸润性智能分类*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116740067B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Colonoscopy polyp detection and classification: Dataset creation and comparative evaluations | |
| Adegun et al. | Deep learning-based system for automatic melanoma detection | |
| KR102258776B1 (ko) | 인공지능형 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법 | |
| CN113379693B (zh) | 基于视频摘要技术的胶囊内镜关键病灶图像检测方法 | |
| CN113674253A (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| Haj‐Manouchehri et al. | Polyp detection using CNNs in colonoscopy video | |
| Krenzer et al. | Automated classification of polyps using deep learning architectures and few-shot learning | |
| CN111862090A (zh) | 一种基于人工智能的食管癌术前管理的方法和*** | |
| Wang et al. | Utilization of ultrasonic image characteristics combined with endoscopic detection on the basis of artificial intelligence algorithm in diagnosis of early upper gastrointestinal cancer | |
| Kusters et al. | Colorectal polyp classification using confidence-calibrated convolutional neural networks | |
| Yu et al. | An end-to-end tracking method for polyp detectors in colonoscopy videos | |
| Wang et al. | Deep learning for tracing esophageal motility function over time | |
| Sharanyaa et al. | DCNET: a novel implementation of gastric cancer detection system through deep learning convolution networks | |
| CN112734762B (zh) | 基于协方差自注意力机制的双路径UNet网络肿瘤分割方法 | |
| CN116740067B (zh) | 一种针对食管病灶的浸润深度判定方法和*** | |
| Guidozzi et al. | The role of artificial intelligence in the endoscopic diagnosis of esophageal cancer: a systematic review and meta-analysis | |
| Roshan et al. | A deep ensemble medical image segmentation with novel sampling method and loss function | |
| Vemuri | Survey of computer vision and machine learning in gastrointestinal endoscopy | |
| Wang et al. | Multi-scale boundary neural network for gastric tumor segmentation | |
| CN114998582A (zh) | 一种冠脉血管的分割方法、装置及存储介质 | |
| Pozdeev et al. | Anatomical landmarks detection for laparoscopic surgery based on deep learning technology | |
| Su et al. | Accurate measurement of colorectal polyps using computer-aided analysis | |
| WO2023216462A1 (zh) | 肿瘤诊断***及其构建方法、终端设备及存储介质 | |
| Bulut et al. | Polyp segmentation in colonoscopy images using U-Net and cyclic learning rate | |
| CN113069137A (zh) | 一种基于DDAUnet的食管肿瘤分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |