CN111428737B - 眼科影像的实例检索方法、装置、服务器及存储介质 - Google Patents
眼科影像的实例检索方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN111428737B CN111428737B CN202010249627.6A CN202010249627A CN111428737B CN 111428737 B CN111428737 B CN 111428737B CN 202010249627 A CN202010249627 A CN 202010249627A CN 111428737 B CN111428737 B CN 111428737B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- deep learning
- learning model
- ophthalmic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013136 deep learning model Methods 0.000 claims abstract description 73
- 238000000605 extraction Methods 0.000 claims description 26
- 239000000284 extract Substances 0.000 claims description 10
- 210000004204 blood vessel Anatomy 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 210000004087 cornea Anatomy 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013075 data extraction Methods 0.000 claims description 5
- 210000002837 heart atrium Anatomy 0.000 claims description 3
- 230000003902 lesion Effects 0.000 description 13
- 238000012014 optical coherence tomography Methods 0.000 description 13
- 201000010099 disease Diseases 0.000 description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000002583 angiography Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- FCKYPQBAHLOOJQ-UHFFFAOYSA-N Cyclohexane-1,2-diaminetetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)C1CCCCC1N(CC(O)=O)CC(O)=O FCKYPQBAHLOOJQ-UHFFFAOYSA-N 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000024519 eye neoplasm Diseases 0.000 description 1
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 1
- 238000013534 fluorescein angiography Methods 0.000 description 1
- 210000004220 fundus oculi Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 208000038015 macular disease Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 201000008106 ocular cancer Diseases 0.000 description 1
- 208000013441 ocular lesion Diseases 0.000 description 1
- 208000020911 optic nerve disease Diseases 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明实施例公开了一种眼科影像的实例检索方法、装置、服务器及存储介质，该方法包括：获取当前用户的眼部影像；根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种；将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。本发明实施例提供的一种眼科影像的实例检索方法，通过提取眼科影像的局部特征，***在深度学习模型中进行识别，输出局部特征的识别结果，解决了现有技术中无法利用眼科影像的局部特征进行定向检索的问题，提高了眼科影像检索的精度和准确度，提升了用户的体验。
Description
技术领域
本发明实施例涉及检索技术，尤其涉及一种眼科影像的实例检索方法、装置、服务器及存储介质。
背景技术
随着成像技术的发展，眼科数字影像已成为眼科学的主要数据，这一趋势驱动着眼科影像检索功能的建设，以辅助医生临床决策。传统上，眼科影像检索功能采用基于文本的检索方法，先对影像进行文本描述(建立文本和影像的对应关系)，检索时输入关键词查询并返回排序结果。这种“以字找图”的方法，存在文本描述和影像内容本身不一致的语义差异，影响检索效果。随着计算机视觉技术的发展，基于内容的影像检索(Content-BasedImage Retrieval,CBIR)方法开始应用于眼科。这种“以图找图”的方法依据图像本身的颜色、形状、纹理等特征进行检索，避免文本描述和影像内容的语义差异。基于内容的图像检索(Content-based Image Retrieval，简称CBIR)技术是根据图像的内容检索最相似的图像，融合了信息检索、计算机视觉等技术。近年来，在医学影像领域，以深度卷积网络(CNN)为代表的深度学习算法在眼科影像的疾病分类和病灶分割上获得了优异性能，在提取纹理、颜色、形态等特征上超过传统分类器(如支持向量机(SVM)、随机森林(RF)等)，这为影像检索功能的建设提供了技术基础。
人体的各部位疾病可通过眼部的病变来呈现，因此学术界和工业界广泛致力于通过人工智能算法分析眼科数字影像来自动筛查疾病，并已有相关成果问世。如美国德克萨斯州贝勒大学开发出通过照片可确定眼癌的免费软件White Eye Detector，华盛顿大学开发了一款能根据眼睛颜色诊断肝癌的软件BiliScreen，国内至真健康公司推出智能筛查眼底相机。然而，依托眼科医疗影像技术和图像处理技术的疾病自动筛查，其算法面临可解释性、准确性的挑战，且训练模型所用的样本也面临采集困难、标注主观多义等问题，临床应用仍有相当长的路要走。更重要的，尽管计算机筛查结果只是作为医生的辅助参考，但计算机结果或多或少会影响到医生的再次判断，从而有可能影响到最终诊断结果。在计算机视觉技术广泛应用于自然图像的场景下，如人脸识别、自动驾驶等，且眼科数字影像对疾病早期发现具有如此重要的意义，可以考虑基于计算机视觉技术的检索引擎建设，旨在提高决策效率而不直接给出决策结果。
基于眼科影像检索的应用价值，目前眼科影像检索已有相关研究开展，但基于病变区域的实例级检索方法研究还相对不足。病变位置的检索对病例检索来说是非常重要的。一般来说，一张影像的判别主要取决于关键区域(即病变区域)的识别和比较。假设两张影像，病变区域占比小，如果做整张影像的比较，病变区域的特征表示就会被忽略，这就会导致相似度的误差。
发明内容
本发明提供一种眼科影像的实例检索方法，以实现提高眼科影像检索的精度和准确度，提升了用户的体验。
第一方面，本发明实施例提供了一种眼科影像的实例检索方法，该方法包括：
获取当前用户的眼部影像；
根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种；
将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。
可选的，所述获取当前用户的眼部影像之前还包括：
获取样本图像及其案例描述；
建立深度学习模型并使用所述样本图像对所述深度学习模型进行训练，以得到训练好的深度学习模型。
可选的，所述局部特征包括：血管、角膜或房角。
可选的，所述第一深度学习模型包括：特征编码模块、上下文语义提取模块和特征解码模块。
可选的，所述特征编码模块使用预先训练好的特征提取模块来提取局部特征。
可选的，所述上下文语义提取模块通过使用密集链接的空洞卷积操作和多尺度的池化操作对所述局部特征提取高阶特征信息。
可选的，所述特征解码模块将所述编码模型和所述上下文语义提取模块提取的信息融合获取分割结果。
第二方面，本发明实施例还提供了一种眼科影像的实例检索装置，该装置包括：
数据获取模块，用于获取当前用户的眼部影像；
数据提取模块，用于根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种；
数据识别模块，用于将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。
第三方面，本发明实施例还提供了一种服务器，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一所述的眼科影像的实例检索方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如任一所述的眼科影像的实例检索方法。
本发明实施例公开了一种眼科影像的实例检索方法、装置、服务器及存储介质，该方法包括：获取当前用户的眼部影像；根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种；将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。本发明实施例提供的一种眼科影像的实例检索方法，通过提取眼科影像的局部特征，***在深度学习模型中进行识别，输出局部特征的识别结果，解决了现有技术中无法利用眼科影像的局部特征进行定向检索的问题，提高了眼科影像检索的精度和准确度，提升了用户的体验。
附图说明
图1为本发明实施例一提供的一种眼科影像的实例检索方法的流程图；
图2为本发明实施例二提供的一种眼科影像的实例检索方法的流程图；
图3为本发明实施例三中的一种眼科影像的实例检索装置的结构示意图；
图4为本发明实施例四提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一深度学习模型为第二深度学习模型，且类似地，可将第二深度学习模型称为第一深度学习模型。第一深度学习模型和第二深度学习模型两者都是深度学习模型，但其不是同一深度学习模型。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
图1为本发明实施例提供的一种眼科影像的实例检索方法的流程图，本实施例可适用于用户线上进行眼科疾病检索的情况，具体地包括如下步骤：
步骤100、获取当前用户的眼部影像。
在本实施例中，首先获取用户的眼部影像，该眼部影像一般为眼科数字影像，眼科数字影像成像方式包括眼表彩照、眼底彩照、光学相干断层扫描(Optical CoherenceTomography,OCT)、前节光学相干断层扫描(Anterior Segment Optical CoherenceTomography,AS-OCT)、光学相干断层扫描血管造影(Optical Coherence TomographyAngiography,OCTA)、活体角膜共聚焦显微镜(in vivo confocal microscopy,IVCM)、荧光素眼底血管造影(Fundus Fluorescein Angiography,FFA)和吲哚菁绿脉络膜血管造影(Indocyanine Green Angiography,ICGA)等。在本实施例中，所述眼科数字影像包括：眼底图、角膜神经图和OCT图。成像设备通过观察人体内眼部的血管、神经、角膜、结晶、晶状体、虹膜等组织结构的形态输出数字影像，其中眼底镜、裂隙灯、光学相干断层成像(OpticalCoherence Tomography，OCT)。不同成像设备生成的眼科数字影像是不同的，不同分辨率、不同部位，可用于不同的疾病类型诊断。如眼后节光学相干断层扫描在视网膜疾病、黄斑疾病、视神经疾病、青光眼等的临床检查和诊断具有重要价值。
步骤110、根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种。
在本实施例中，眼部影像包括多个局部特征，包括：血管、角膜或房角等眼部特征。第一深度学习模型为基于上下文编码网络(Context-Encoder Network,CE-Net)的深度学习模型，具体地，所述第一深度学习模型包括：特征编码模块、上下文语义提取模块和特征解码模块。
所述特征编码模块使用预先训练好的特征提取模块来提取局部特征。特征编码模块中采用预训练的ResNet-34作为编码器，保留了残差网络中前4个特征提取部分，舍弃了平均池化层和全连接层。ResNet提取特征模块添加了快捷连接机制，从而避免梯度小时，加快网络收敛。特征编码模块主要用于对眼部特征图像的多个局部特征进行标记，用于区别其他局部特征。所述上下文语义提取模块通过使用密集链接的空洞卷积操作和多尺度的池化操作对所述局部特征提取高阶特征信息。上下文语义提取模块由密集空洞卷积模块和残差多尺度池化模块组成。密集空间卷积模块有4个级联分支。残差多尺度池化模块包含了四个不同尺寸的卷积核，四层输出包含具有不同大小的特征输出图。上下文语义提取通过将需要提取的局部特征从标记好的眼部特征图像中提取出来并获得局部特征的高阶特征向量。所述特征解码模块将所述编码模型和所述上下文语义提取模块提取的信息融合获取分割结果。特征解码模块目的是恢复从特征编码器模块和上下文语义模块中提取的高阶特征向量。采用跳跃链接将一些详细的信息从编码器传输到解码器，以弥补由于链接的池或跨卷积操作造成的信息损失，同时，采用一个简单高校的转置卷积解码模块来提高解码性能。
示例性的，以局部特征血管为例，基于上下文编码网络的深度学习模型提取所述眼部影像中的血管特征，需要通过将眼部影像进行二值化统一操作，通过池化卷积计算后提取其中符合血管像素值的像素点，舍弃其像素点，得到只包含血管该局部特征的眼部影像，便于在检索时提高检索精度和检索准确率。
步骤120、将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。
在本实施例中，第二深度学习模型为Triplet模型，通过获取步骤110中的局部特征图像，该局部特征图像中为包含高维特征向量，无法直接进行相似度计算，因此进一步将影像的特征向量送到Triplet网络结构中提取低维的离散哈希码，根据离散哈希码，可以进行检索。新输入一张眼部图片(含有特定病变区域)，经过同样的CE-Net和Triplet两个模型获得哈希码，将其与数据库中已有哈希码的样本进行汉明距离计算，返回相似度最高的样本图像(也含有类似的病变区域)以及该样本图像的案例描述，该案例描述包括了样本图像的病情、诊断方法等等具体治疗过程，通过提取眼部影像局部特征实现了实例检索。
本发明实施例公开了一种眼科影像的实例检索方法，包括：获取当前用户的眼部影像；根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种；将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。本发明实施例提供的一种眼科影像的实例检索方法，通过提取眼科影像的局部特征，***在深度学习模型中进行识别，输出局部特征的识别结果，解决了现有技术中无法利用眼科影像的局部特征进行定向检索的问题，提高了眼科影像检索的精度和准确度，提升了用户的体验。
实施例二
图2为本发明实施例提供的一种眼科影像的实例检索方法的流程图，本实施例可适用于用户线上进行眼科疾病检索的情况，具体地包括如下步骤：
步骤200、获取样本图像及其案例描述。
在本实施例中，获取历史用户的样本图像以及其案例描述并建立数据库，在获取用户当前眼部图像后，根据该眼部图像的需要检索的局部特征对预设深度学习模型进行训练获取训练好的模型，再将用户当前眼部图像输入到训练好的深度学习模型之中，即可输入最接近的样本图像及其案例描述，达到检索的目的。
步骤210、建立深度学习模型并使用所述样本图像对所述深度学习模型进行训练，以得到训练好的深度学习模型。
在本实施例中，深度学习模型包括CE-Net网络和Triplet模型，CE-Net结构分割模型是为了将原始影像的特征映射成突出病变区域的特征，这个特征维度是不变的，提前对影像进行结构分割的目的是挖掘出病变区域的信息。Triplet模型进一步将高维结构特征映射成低维的离散哈希码，可在汉明空间内进行距离计算，判断影像的相似度。一般离散哈希码的长度K要远小于结构特征。
在本实施例中，使用样本图像对Triplet模型进行训练，使Triplet模型从结构特征中学习哈希码用于相似度计算。Triplet模型的结构如上图，同时输入三张图片分别经过三个一样结构的网络，最后用三态损失来训练网络权重，网络权重为三个网络所共享的。其特点是三张图片具有关系的，选择一张图片，然后再分别选择一张相关的和不相关的图片一起训练。相关的和不相关的定义是是否属于同一类，比如都有某种疾病，或者都有同样的病变区域，这需要提前打标签。CE-Net模型的训练也同样需要类别标签，标注出病变区域。这个样本工作是前提工作，因此不特别说明。Triplet模型的三态损失就是利用相关和不相关来设计，如果相关，则哈希码应该接近；如果不相关，则哈希码应该距离远。
步骤220、获取当前用户的眼部影像。
步骤230、根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种。
步骤240、将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。
在本实施例中，通过获取步骤230中的局部特征图像，该局部特征图像中为包含高维特征向量，无法直接进行相似度计算，因此进一步将影像的特征向量送到Triplet网络结构中提取低维的离散哈希码，根据离散哈希码，可以进行检索。新输入一张眼部图片(含有特定病变区域)，经过同样的CE-Net和Triplet两个模型获得哈希码，将其与数据库中已有哈希码的样本进行汉明距离计算，返回相似度最高的样本图像(也含有类似的病变区域)以及该样本图像的案例描述，该案例描述包括了样本图像的病情、诊断方法等等具体治疗过程，通过提取眼部影像局部特征实现了实例检索。
本发明实施例公开了一种眼科影像的实例检索方法，包括：获取样本图像及其案例描述；建立深度学习模型并使用所述样本图像对所述深度学习模型进行训练，以得到训练好的深度学习模型；获取当前用户的眼部影像；根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种；将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。本发明实施例提供的一种眼科影像的实例检索方法，通过提取眼科影像的局部特征，***在深度学习模型中进行识别，输出局部特征的识别结果，解决了现有技术中无法利用眼科影像的局部特征进行定向检索的问题，提高了眼科影像检索的精度和准确度，提升了用户的体验。
实施例三
本发明实施例所提供的眼科影像的实例检索装置可以实行本发明任意实施例所提供的眼科影像的实例检索方法，具备执行方法相应的功能模块和有益效果。图3是本发明实施例中的一种眼科影像的实例检索装置300的结构示意图。参照图3，本发明实施例提供的眼科影像的实例检索装置300具体可以包括：
数据获取模块310，用于获取当前用户的眼部影像；
数据提取模块320，用于根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种；
数据识别模块330，用于将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。
进一步的，所述获取当前用户的眼部影像之前还包括：
获取样本图像及其案例描述；
建立深度学习模型并使用所述样本图像对所述深度学习模型进行训练，以得到训练好的深度学习模型。
进一步的，所述局部特征包括：血管、角膜或房角。
进一步的，所述深度学习模型包括：特征编码模块、上下文语义提取模块和特征解码模块。
进一步的，所述特征编码模块使用预先训练好的特征提取模块来提取局部特征。
进一步的，所述上下文语义提取模块通过使用密集链接的空洞卷积操作和多尺度的池化操作对所述局部特征提取高阶特征信息。
进一步的，所述特征解码模块将所述编码模型和所述上下文语义提取模块提取的信息融合获取分割结果。
本发明实施例公开了一种眼科影像的实例检索装置，包括：数据获取模块，用于获取当前用户的眼部影像；数据提取模块，用于根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种；数据识别模块，用于将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。本发明实施例提供的一种眼科影像的实例检索方法，通过提取眼科影像的局部特征，***在深度学习模型中进行识别，输出局部特征的识别结果，解决了现有技术中无法利用眼科影像的局部特征进行定向检索的问题，提高了眼科影像检索的精度和准确度，提升了用户的体验。
实施例四
图4为本发明实施例提供的一种计算机服务器的结构示意图，如图4所示，该计算机服务器包括存储器410、处理器420，计算机服务器中处理器420的数量可以是一个或多个，图4中以一个处理器420为例；设备中的存储器410、处理器420可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器410作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的眼科影像的实例检索方法对应的程序指令/模块(例如，眼科影像的实例检索装置300中的数据获取模块310、数据提取模块320和数据识别模块330)处理器420通过运行存储在存储器410中的软件程序、指令以及模块，从而执行设备/终端/设备的各种功能应用以及数据处理，即实现上述的眼科影像的实例检索方法。
其中，处理器420用于运行存储在存储器410中的计算机程序，实现如下步骤：
获取当前用户的眼部影像；
根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种；
将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。
在其中一个实施例中，本发明实施例所提供的一种计算机设备，其计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的眼科影像的实例检索方法中的相关操作。
存储器410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例公开了一种眼科影像的实例检索服务器，用于执行以下方法：获取当前用户的眼部影像；根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种；将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。本发明实施例提供的一种眼科影像的实例检索方法，通过提取眼科影像的局部特征，***在深度学习模型中进行识别，输出局部特征的识别结果，解决了现有技术中无法利用眼科影像的局部特征进行定向检索的问题，提高了眼科影像检索的精度和准确度，提升了用户的体验。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种眼科影像的实例检索方法，该方法包括：
获取当前用户的眼部影像；
根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种；
将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种眼科影像的实例检索方法中的相关操作。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例公开了一种眼科影像的实例检索存储介质，用于执行以下方法：获取当前用户的眼部影像；根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设影像特征中多个局部特征中的一种；将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述。本发明实施例提供的一种眼科影像的实例检索方法，通过提取眼科影像的局部特征，***在深度学习模型中进行识别，输出局部特征的识别结果，解决了现有技术中无法利用眼科影像的局部特征进行定向检索的问题，提高了眼科影像检索的精度和准确度，提升了用户的体验。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (6)
1.一种眼科影像的实例检索方法，其特征在于，包括：
获取当前用户的眼部影像；其中，所述眼部影像包括多个局部特征；
根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设特征影像中多个局部特征中的一种；
将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述；
其中，所述第一深度学习模型包括：特征编码模块、上下文语义提取模块和特征解码模块；所述特征编码模块使用预先训练好的特征提取模块来提取局部特征，用于对所述眼部影像的多个局部特征进行标记；所述上下文语义提取模块将需要提取的局部特征从标记好的所述眼部影像中提取出来，并通过使用密集链接的空洞卷积操作和多尺度的池化操作对所述局部特征提取高阶特征信息；所述特征解码模块将所述特征编码模块和所述上下文语义提取模块提取的信息融合获取分割结果。
2.根据权利要求1中所述的一种眼科影像的实例检索方法，其特征在于，所述获取当前用户的眼部影像之前还包括：
获取样本图像及其案例描述；
建立深度学习模型并使用所述样本图像对所述深度学习模型进行训练，以得到训练好的深度学习模型。
3.根据权利要求1中所述的一种眼科影像的实例检索方法，其特征在于，所述局部特征包括：血管、角膜或房角。
4.一种眼科影像的实例检索装置，其特征在于，包括：
数据获取模块，用于获取当前用户的眼部影像；其中，所述眼部影像包括多个局部特征；
数据提取模块，用于根据用户需求使用第一深度学习模型获取所述眼部影像中的预设特征影像，所述预设特征影像为眼部影像中优先突出所述预设特征影像中多个局部特征中的一种；
数据识别模块，用于将所述预设特征影像输入到预先训练好的第二深度学习模型中以获得匹配的样本图像以及案例描述；
其中，所述第一深度学习模型包括：特征编码模块、上下文语义提取模块和特征解码模块；所述特征编码模块使用预先训练好的特征提取模块来提取局部特征，用于对所述眼部影像的多个局部特征进行标记；所述上下文语义提取模块将需要提取的局部特征从标记好的所述眼部影像中提取出来，并通过使用密集链接的空洞卷积操作和多尺度的池化操作对所述局部特征提取高阶特征信息；所述特征解码模块将所述特征编码模块和所述上下文语义提取模块提取的信息融合获取分割结果。
5.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的眼科影像的实例检索方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的眼科影像的实例检索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010249627.6A CN111428737B (zh) | 2020-04-01 | 2020-04-01 | 眼科影像的实例检索方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010249627.6A CN111428737B (zh) | 2020-04-01 | 2020-04-01 | 眼科影像的实例检索方法、装置、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111428737A CN111428737A (zh) | 2020-07-17 |
| CN111428737B true CN111428737B (zh) | 2024-01-19 |
Family
ID=71550455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010249627.6A Active CN111428737B (zh) | 2020-04-01 | 2020-04-01 | 眼科影像的实例检索方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111428737B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112579750A (zh) * | 2020-11-30 | 2021-03-30 | 百度健康(北京)科技有限公司 | 相似病案的检索方法、装置、设备及存储介质 |
| CN113343943B (zh) * | 2021-07-21 | 2023-04-28 | 西安电子科技大学 | 基于巩膜区域监督的眼部图像分割方法 |
| CN113554641B (zh) * | 2021-07-30 | 2022-04-12 | 江苏盛泽医院 | 一种儿科咽部图像采集方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829446A (zh) * | 2019-03-06 | 2019-05-31 | 百度在线网络技术（北京）有限公司 | 眼底图像识别方法、装置、电子设备及存储介质 |
| CN110427509A (zh) * | 2019-08-05 | 2019-11-08 | 山东浪潮人工智能研究院有限公司 | 一种基于深度学习的多尺度特征融合图像哈希检索方法及*** |
| CN110751637A (zh) * | 2019-10-14 | 2020-02-04 | 北京至真互联网技术有限公司 | 糖尿病视网膜病变检测***、方法、设备和训练*** |
| CN110837572A (zh) * | 2019-11-15 | 2020-02-25 | 北京推想科技有限公司 | 图像检索方法、装置、可读存储介质及电子设备 |
-
2020
- 2020-04-01 CN CN202010249627.6A patent/CN111428737B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829446A (zh) * | 2019-03-06 | 2019-05-31 | 百度在线网络技术（北京）有限公司 | 眼底图像识别方法、装置、电子设备及存储介质 |
| CN110427509A (zh) * | 2019-08-05 | 2019-11-08 | 山东浪潮人工智能研究院有限公司 | 一种基于深度学习的多尺度特征融合图像哈希检索方法及*** |
| CN110751637A (zh) * | 2019-10-14 | 2020-02-04 | 北京至真互联网技术有限公司 | 糖尿病视网膜病变检测***、方法、设备和训练*** |
| CN110837572A (zh) * | 2019-11-15 | 2020-02-25 | 北京推想科技有限公司 | 图像检索方法、装置、可读存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111428737A (zh) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tabassum et al. | CDED-Net: Joint segmentation of optic disc and optic cup for glaucoma screening | |
| CN111428737B (zh) | 眼科影像的实例检索方法、装置、服务器及存储介质 | |
| Islam et al. | Applying supervised contrastive learning for the detection of diabetic retinopathy and its severity levels from fundus images | |
| CN111428072A (zh) | 眼科多模态影像的检索方法、装置、服务器及存储介质 | |
| EP3373798B1 (en) | Method and system for classifying optic nerve head | |
| US20210319556A1 (en) | Method and system for analysing images of a retina | |
| Li et al. | Automated feature extraction in color retinal images by a model based approach | |
| KR20190022216A (ko) | 안구영상 분석방법 | |
| CN107563434B (zh) | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 | |
| WO2022166399A1 (zh) | 基于双模态深度学习的眼底疾病辅助诊断方法和装置 | |
| JP7413147B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN111428070A (zh) | 眼科案例的检索方法、装置、服务器及存储介质 | |
| Ju et al. | Leveraging regular fundus images for training UWF fundus diagnosis models via adversarial learning and pseudo-labeling | |
| CN113962311A (zh) | 知识数据和人工智能驱动的眼科多病种识别*** | |
| JP2023016933A (ja) | 眼科装置、眼科装置の制御方法、及びプログラム | |
| Hassan et al. | Exploiting the transferability of deep learning systems across multi-modal retinal scans for extracting retinopathy lesions | |
| CN110503636B (zh) | 参数调整方法、病灶预测方法、参数调整装置及电子设备 | |
| CN116168258A (zh) | 一种目标物分类方法、装置、设备及可读存储介质 | |
| CN111938567B (zh) | 基于深度学习的眼科参数测量方法、***及设备 | |
| CN117237711A (zh) | 一种基于对抗学习的双模态眼底图像分类方法 | |
| Zhou | [Retracted] Design of Intelligent Diagnosis and Treatment System for Ophthalmic Diseases Based on Deep Neural Network Model | |
| CN115170492A (zh) | 一种基于ai技术的白内障患者术后视力智能预测评估*** | |
| Akyol et al. | A decision support system for early-stage diabetic retinopathy lesions | |
| Hatode et al. | Evolution and Testimony of Deep Learning Algorithm for Diabetic Retinopathy Detection | |
| CN115908224A (zh) | 目标检测模型的训练方法、目标检测方法和训练装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |