CN118193770A - 基于深度学习的医学图像检索方法及*** - Google Patents
基于深度学习的医学图像检索方法及*** Download PDFInfo
- Publication number
- CN118193770A CN118193770A CN202410221607.6A CN202410221607A CN118193770A CN 118193770 A CN118193770 A CN 118193770A CN 202410221607 A CN202410221607 A CN 202410221607A CN 118193770 A CN118193770 A CN 118193770A
- Authority
- CN
- China
- Prior art keywords
- medical image
- content
- feature vector
- query
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 354
- 230000001575 pathological effect Effects 0.000 claims abstract description 213
- 230000000007 visual effect Effects 0.000 claims abstract description 102
- 230000007170 pathology Effects 0.000 claims description 160
- 230000003902 lesion Effects 0.000 claims description 55
- 238000000605 extraction Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 32
- 238000003745 diagnosis Methods 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 11
- 230000036285 pathological change Effects 0.000 claims description 7
- 231100000915 pathological change Toxicity 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 28
- 210000004072 lung Anatomy 0.000 description 28
- 201000005202 lung cancer Diseases 0.000 description 28
- 208000020816 lung neoplasm Diseases 0.000 description 28
- 230000008569 process Effects 0.000 description 27
- 239000000284 extract Substances 0.000 description 26
- 238000002591 computed tomography Methods 0.000 description 16
- 238000011282 treatment Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 15
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 238000003058 natural language processing Methods 0.000 description 6
- 206010011224 Cough Diseases 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 5
- 208000024891 symptom Diseases 0.000 description 4
- 206010035664 Pneumonia Diseases 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011269 treatment regimen Methods 0.000 description 3
- 206010008479 Chest Pain Diseases 0.000 description 2
- 210000000621 bronchi Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000008595 infiltration Effects 0.000 description 2
- 238000001764 infiltration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000009533 lab test Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 208000009956 adenocarcinoma Diseases 0.000 description 1
- 208000026935 allergic disease Diseases 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000007119 pathological manifestation Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了基于深度学习的医学图像检索方法及***,包括:首先,通过获取患者的病历及其病理图像,从医学图像信息区块链中提取与患者病历存在关联关系的基础医学图像数据。同时,获取当前病理图像的视觉特征向量和内容特征向量,进一步从医学图像信息区块链中提取与这些特征向量相关的进阶医学图像数据。将这些数据作为待定医学图像数据,获得相应的目标需求病理图像视觉特征向量、内容特征向量以及关联内容。通过综合比较这些特征向量,确定待定医学图像数据与当前患者匹配请求之间的需求匹配系数。最后,根据需求匹配系数对待定医学图像数据进行排序,从而确定目标医学图像数据。如此设计能够更准确地理解图像内容,提高检索的准确性和效率。
Description
技术领域
本发明涉及人工智能技术领域,具体而言,涉及一种基于深度学习的医学图像检索方法及***。
背景技术
当前的医学图像检索方法主要基于关键词和元数据,这种方式会因为标签不准确或缺乏导致检索结果偏离期望。此外,现有的医学图像检索技术往往无法深度理解图像内在内容,对于高度相似但是由于微小差异导致诊断结果不同的病例难以区分。因此,需要一种更加智能且准确的医学图像检索方法。
发明内容
本发明的目的在于提供一种基于深度学习的医学图像检索方法及***。
第一方面,本发明实施例提供一种基于深度学习的医学图像检索方法,包括:
获取包含当前患者病历以及当前病理图像的当前患者匹配请求,从医学图像信息区块链中提取和所述当前患者病历存在关联关系的基础医学图像数据;
获取所述当前病理图像相应的当前病理图像视觉特征向量,以及所述当前病理图像相应的当前病理图像内容特征向量,从所述医学图像信息区块链中提取和所述当前病理图像内容特征向量存在关联关系的进阶医学图像数据;
将所述基础医学图像数据以及所述进阶医学图像数据作为待定医学图像数据,获取所述待定医学图像数据相应的目标需求病理图像视觉特征向量、所述待定医学图像数据相应的目标需求病理图像内容特征向量以及所述待定医学图像数据相应的目标病理关联内容;
基于所述当前患者病历、所述当前病理图像内容特征向量、所述当前病理图像视觉特征向量、所述目标病理关联内容、所述目标需求病理图像内容特征向量,以及所述目标需求病理图像视觉特征向量,确定所述待定医学图像数据与所述当前患者匹配请求之间的需求匹配系数;
根据所述需求匹配系数对所述待定医学图像数据进行基于匹配程度的顺序排列,从基于匹配程度的顺序排列后的待定医学图像数据中确定目标医学图像数据。
第二方面,本发明实施例提供一种服务器***,包括服务器,所述服务器用于执行第一方面所述的方法。
相比现有技术,本发明提供的有益效果包括:采用本发明公开的基于深度学习的医学图像检索方法及***,通过获取患者的病历及其病理图像,从医学图像信息区块链中提取与患者病历存在关联关系的基础医学图像数据。同时,获取当前病理图像的视觉特征向量和内容特征向量,进一步从医学图像信息区块链中提取与这些特征向量相关的进阶医学图像数据。将这些数据作为待定医学图像数据,获得相应的目标需求病理图像视觉特征向量、内容特征向量以及关联内容。通过综合比较这些特征向量,确定待定医学图像数据与当前患者匹配请求之间的需求匹配系数。最后,根据需求匹配系数对待定医学图像数据进行排序,从而确定目标医学图像数据。如此设计能够更准确地理解图像内容,提高检索的准确性和效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍。应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的基于深度学习的医学图像检索方法的步骤流程示意图;
图2为本发明实施例提供的计算机设备的结构示意框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
下面结合附图,对本发明的具体实施方式进行详细说明。
为了解决前述背景技术中的技术问题,图1为本公开实施例提供的基于深度学习的医学图像检索方法的流程示意图,下面对该基于深度学习的医学图像检索方法进行详细介绍。
步骤S201,获取包含当前患者病历以及当前病理图像的当前患者匹配请求,从医学图像信息区块链中提取和所述当前患者病历存在关联关系的基础医学图像数据;
步骤S202,获取所述当前病理图像相应的当前病理图像视觉特征向量,以及所述当前病理图像相应的当前病理图像内容特征向量,从所述医学图像信息区块链中提取和所述当前病理图像内容特征向量存在关联关系的进阶医学图像数据;
步骤S203,将所述基础医学图像数据以及所述进阶医学图像数据作为待定医学图像数据,获取所述待定医学图像数据相应的目标需求病理图像视觉特征向量、所述待定医学图像数据相应的目标需求病理图像内容特征向量以及所述待定医学图像数据相应的目标病理关联内容;
步骤S204,基于所述当前患者病历、所述当前病理图像内容特征向量、所述当前病理图像视觉特征向量、所述目标病理关联内容、所述目标需求病理图像内容特征向量,以及所述目标需求病理图像视觉特征向量,确定所述待定医学图像数据与所述当前患者匹配请求之间的需求匹配系数;
步骤S205,根据所述需求匹配系数对所述待定医学图像数据进行基于匹配程度的顺序排列,从基于匹配程度的顺序排列后的待定医学图像数据中确定目标医学图像数据。
在本发明实施例中,示例性的,服务器接收到一个包含当前患者病历以及当前病理图像的当前患者匹配请求。例如,一个医生在诊治过程中,为了更准确地了解患者的病情,需要将患者的病历信息和一张病理图像(如CT、MRI或X光图像)提交给服务器,请求服务器检索和该患者病历相关联的医学图像数据。服务器从医学图像信息区块链中提取和当前患者病历存在关联关系的基础医学图像数据。这意味着服务器会访问一个存储了医学图像和病历信息的区块链网络,利用区块链技术的不可篡改性和去中心化特性,确保提取到的医学图像数据的真实性和可靠性。这些基础医学图像数据可以包括与当前患者类似病历的其他患者的医学图像。服务器进一步获取当前病理图像相应的视觉特征向量和内容特征向量。视觉特征向量可以包括颜色、纹理、形状等图像的低级特征,而内容特征向量则可以包含通过深度学习模型提取的更高级别的语义信息。同时,服务器还会从医学图像信息区块链中提取和当前病理图像内容特征向量存在关联关系的进阶医学图像数据。这些进阶医学图像数据可以是在视觉或内容上与当前病理图像相似或相关的其他医学图像。服务器将基础医学图像数据和进阶医学图像数据合并作为待定医学图像数据。对于这些数据,服务器会获取它们的目标需求病理图像视觉特征向量、目标需求病理图像内容特征向量以及目标病理关联内容。这些目标需求特征向量和内容可以是根据某种特定的医学需求或标准来定义的。基于当前患者病历、当前病理图像内容特征向量、当前病理图像视觉特征向量、目标病理关联内容、目标需求病理图像内容特征向量以及目标需求病理图像视觉特征向量,服务器会利用一种算法(如深度学习模型)来确定待定医学图像数据与当前患者匹配请求之间的需求匹配系数。这个系数反映了待定医学图像数据与当前患者病历和病理图像的匹配程度。服务器根据需求匹配系数对待定医学图像数据进行基于匹配程度的顺序排列。这意味着与当前患者病历和病理图像更匹配的医学图像数据会被排在前面。最后,服务器从基于匹配程度的顺序排列后的待定医学图像数据中确定目标医学图像数据。这些目标医学图像数据可以是对医生来说最有参考价值的其他患者的医学图像,有助于医生更准确地诊断和治疗当前患者。
为了能够更加清楚的描述本申请实施例提供的方案,下面进行较为详细的说明。
在本发明实施例中,示例性的,当前患者病历指当前正在接受治疗或诊断的患者的医疗记录,包括患者的基本信息、病史、诊断结果、治疗方案等。比如,一个名叫张三的患者因为持续咳嗽到医院就诊,他的病历可以包括年龄、性别、过敏史、以往的疾病记录、家族病史以及本次咳嗽的持续时间、症状等信息。当前病理图像指当前患者接受的医学影像学检查(如X光、CT扫描、MRI等)所产生的图像,这些图像用于辅助医生进行疾病诊断和治疗方案制定。张三因为咳嗽接受了胸部X光检查,所产生的X光图像就是当前病理图像。这张图像可以显示肺部有阴影,提示可能存在感染或其他病变。当前患者匹配请求指一个由医生或医疗***发出的请求,目的是找到与当前患者病历和病理图像相匹配的医学图像数据,以辅助诊断或治疗。医生在查看张三的病历和X光图像后,可能觉得需要更多的相似病例或图像来辅助判断,于是发出一个匹配请求给服务器,要求检索和张三情况相似的医学图像数据。医学图像信息区块链指一个利用区块链技术存储和管理医学图像信息的***。区块链技术确保数据的不可篡改性和安全性,适用于存储敏感且需要高度可信的医疗数据。在这个***中,每次有新的医学图像数据(如CT扫描图像)被添加进来时,都会被加密并存储在一个区块中。这个区块会链接到前一个区块,形成一个不断增长的链条。任何对数据的修改都会立即被***检测到,并被认为是无效的。存在关联关系的基础医学图像数据指与当前患者病历存在某种联系或相似性的医学图像数据。这种联系可以是基于病历中的诊断结果、症状、疾病类型等。如果张三的病历显示他可能患有肺炎,那么服务器会从医学图像信息区块链中提取出所有被诊断为肺炎的患者的医学图像数据作为存在关联关系的基础医学图像数据。这些数据可以用于比较和分析,帮助医生更准确地诊断张三的病情。
此外,当前病理图像视觉特征向量是指通过图像处理技术从图像中提取出的一系列数值化特征,这些特征可以描述图像的视觉属性,如颜色、纹理、形状等。在当前病理图像的上下文中,视觉特征向量可以包括描述病变区域的大小、形状、边缘锐利度等特征。举例说明:例如当前病理图像是一张肺部X光片,服务器会使用图像处理算法来分析这片区域中的病变部分(如肺部阴影),并从中提取出如阴影的面积、边界的平滑度、对比度等视觉特征,然后将这些特征转换成一个数值向量,即视觉特征向量。当前病理图像内容特征向量指通过深度学习或其他机器学习技术从图像中提取出的高层级、抽象的特征,这些特征能够描述图像中的语义内容,如物体类别、场景等。在当前病理图像的情境中,内容特征向量可以编码了病变的类型、严重程度等医学相关信息。对于同一张肺部X光片,服务器会使用预先训练的深度学习模型来分析图像,并提取出描述病变类型(如肺炎、肺癌等)的特征,以及可能的严重程度(如轻度、中度、重度等)。这些特征将被编码成一个数值向量,即内容特征向量。进阶医学图像数据指的是在基础医学图像数据之上,与当前病理图像在视觉或内容上存在更深层次关联关系的医学图像数据。这些数据可以提供了更多关于病变的详细信息或类似病例的参考,例如服务器已经提取了当前病理图像的视觉和内容特征向量,它会在医学图像信息区块链中搜索那些具有相似视觉或内容特征向量的医学图像。这些找到的图像就是进阶医学图像数据,它们可以包含了与当前患者相似的病变类型、位置或疾病进程,从而为医生提供更丰富的诊断依据。存在关联关系指的是进阶医学图像数据与当前病理图像的内容特征向量之间存在某种相似性或相关性。这种关联关系可以是基于图像特征之间的相似性度量(如余弦相似度、欧几里得距离等)来建立的服务器会计算当前病理图像内容特征向量与医学图像信息区块链中存储的其他图像特征向量之间的相似度。那些相似度较高的图像就会被认为与当前病理图像存在关联关系,并被选取作为进阶医学图像数据。通过这种方式,服务器能够筛选出对当前病例最有参考价值的医学图像数据。
此外,基础医学图像数据是指从医学图像信息区块链中初步提取出来的,与当前患者病历存在直接关联关系的医学图像数据。这些数据是基础层级的,可以包含了与当前患者相似的基本病变信息。如果当前患者是一位肺癌患者,基础医学图像数据可以包括其他肺癌患者的CT扫描图像,这些图像已经被确诊并存储在医学图像信息区块链中。进阶医学图像数据是指在基础医学图像数据之上,通过更深入的分析和特征匹配找到的与当前病理图像在视觉或内容上存在更深层次关联关系的医学图像数据。这些数据提供了更具体、更详细的病变信息。对于肺癌患者,进阶医学图像数据可以包括那些具有相似肿瘤大小、位置、形态或浸润程度的其他患者的CT图像。这些数据能够为医生提供更精确的参考。待定医学图像数据是指将基础医学图像数据和进阶医学图像数据合并后形成的一个待筛选和评估的图像数据集。这个数据集里的图像可能与当前患者的病历和病理图像有关,但还需要进一步的分析和确认。待定医学图像数据可以包含了所有与肺癌相关的CT图像,无论它们是基础层级的还是进阶层级的。这些图像将作为一个整体进行后续的处理和分析。目标需求病理图像视觉特征向量是指针对待定医学图像数据中的每一幅图像,通过图像处理技术提取出来的描述其视觉属性的特征向量。这些特征向量能够反映图像的视觉特征,如颜色、纹理、形状等。对于一幅CT图像,目标需求病理图像视觉特征向量可以包括描述肿瘤区域的大小、形状、密度等视觉特征的一系列数值。这些数值被组织成一个向量,用于后续的相似度计算和匹配。目标需求病理图像内容特征向量是指通过深度学习或其他机器学习技术从待定医学图像数据中提取出来的描述图像语义内容的特征向量。这些特征向量能够编码图像中的高层级信息,如病变类型、严重程度等。对于一幅肺癌患者的CT图像,目标需求病理图像内容特征向量可以包含了描述肿瘤类型(如腺癌、鳞癌等)、分期(如早期、晚期等)以及可能的预后信息的高层级特征。这些特征被编码成一个数值向量,用于后续的相似度计算和匹配。目标病理关联内容是指与待定医学图像数据相关联的额外信息,这些信息可以包括患者的基本信息、病史、诊断结果、治疗方案等。这些信息对于理解图像的医学背景和上下文非常重要。对于一幅肺癌患者的CT图像,目标病理关联内容可以包括该患者的年龄、性别、吸烟史、家族病史以及之前的诊断结果和治疗情况等信息。这些信息有助于医生更全面地了解患者的病情和图像的背景信息。
此外,需求匹配系数是一个量化指标,用于衡量待定医学图像数据与当前患者匹配请求之间的相似度或匹配程度。它可以基于多种因素的综合评估,包括病历信息的相似性、图像内容的相似性以及图像视觉特征的相似性等。需求匹配系数可以是通过计算当前患者病历信息与目标病理关联内容之间的文本相似度、当前病理图像特征向量与目标需求病理图像特征向量之间的余弦相似度等多个指标来综合得出的。这个系数越高,表示待定医学图像数据与当前患者的匹配程度越高。基于匹配程度的顺序排列是指根据需求匹配系数的大小对待定医学图像数据进行排序,使得与当前患者匹配程度更高的图像排在前面,便于医生快速找到最相关的医学图像数据。如果有多幅待定医学图像数据,每幅图像都有一个需求匹配系数,那么服务器会按照这些系数从高到低的顺序对图像进行排序,形成一个有序的列表。目标医学图像数据是指在经过基于匹配程度的顺序排列后,从待定医学图像数据中确定的最符合当前患者匹配请求的图像数据。这些数据可以为医生的诊断和治疗提供重要参考。在排序后的待定医学图像数据列表中,排在前面的几幅图像可能被认为是与当前患者最匹配的,因此被选为目标医学图像数据。医生可以进一步查看和分析这些图像,以辅助他们的决策过程。
在本发明实施例中,前述步骤S201可以通过以下示例执行实施。
对所述当前患者病历进行文本提取处理,得到所述当前患者病历相应的病理关键词;
在所述医学图像信息区块链中获取查询特征为关键词特征的查询标识内容对;所述查询标识内容对包括以医学图像编码对应确定的查询标识以及以医学图像关键词对应确定的查询内容;
将包含所述病理关键词的查询内容所相应的查询标识作为目标查询标识,在所述医学图像信息区块链中获取所述目标查询标识相应的所述基础医学图像数据。
在本发明实施例中,示例性的,服务器首先接收并加载当前患者的病历数据。这份病历可以包含了患者的个人信息、主诉、现病史、既往史、家族史、体格检查、初步诊断等多个部分。服务器运行自然语言处理(NLP)算法,对病历文本进行分词、词性标注、实体识别等处理,以提取出与病理相关的关键词。例如,如果当前患者病历中描述了“患者因持续咳嗽、胸痛就诊,CT检查显示右肺上叶有一直径约3厘米的占位性病变,疑似肺癌”,服务器会提取出“咳嗽”、“胸痛”、“右肺上叶”、“占位性病变”、“疑似肺癌”等病理关键词。服务器接着访问医学图像信息区块链,这是一个分布式、去中心化的数据库,存储了大量的医学图像数据及其相关的元数据信息。在区块链中,每个数据块都包含了一定数量的医学图像记录,每个记录都由一个唯一的医学图像编码标识,并附带了与该图像相关的关键词描述。服务器使用步骤一中提取出的病理关键词作为查询特征,在区块链中搜索包含这些关键词的查询标识内容对。查询标识内容对是由医学图像编码(查询标识)和与之对应的医学图像关键词(查询内容)组成的配对数据。服务器从搜索结果中筛选出包含当前患者病历病理关键词的查询内容,并将这些查询内容所对应的医学图像编码标记为目标查询标识。然后,服务器再次访问医学图像信息区块链,根据这些目标查询标识检索出相应的基础医学图像数据。例如,如果服务器在区块链中找到了与“右肺上叶”、“占位性病变”等关键词相匹配的多个医学图像编码,它会将这些编码标记为目标查询标识,并检索出这些编码对应的基础医学图像数据。这些数据可以包括了其他患者的CT扫描图像、X光片、MRI图像等,它们都被存储在区块链的不同数据块中,并通过加密和签名保证了数据的完整性和安全性。最后,服务器将这些基础医学图像数据返回给请求方(如医生的工作站或患者的移动设备),供医生在诊断当前患者时作为参考依据。通过这种方式,医生可以快速获取到与当前患者病历相关的基础医学图像数据,提高诊断的准确性和效率。
在本发明实施例中,前述步骤S201,可以通过以下示例执行实施。
将所述当前患者病历加载至语义识别模型,利用所述语义识别模型得到所述当前患者病历相应的当前患者病历内容特征向量;
在所述医学图像信息区块链中获取查询特征为病历内容特征的查询标识内容对;所述查询标识内容对包括以医学图像编码对应确定的查询标识,以及以病理关联内容特征向量对应确定的查询内容;
获取所述当前患者病历内容特征向量与所述查询内容之间的匹配分值,将匹配分值大于匹配分值阈值的查询内容作为目标查询内容;
将所述目标查询内容相应的查询标识作为目标查询标识,在所述医学图像信息区块链中获取所述目标查询标识相应的所述基础医学图像数据。
在本发明实施例中,示例性的,服务器接收当前患者的病历数据后,将其加载到已训练好的语义识别模型中。这个模型可以是基于深度学习技术构建的,如卷积神经网络(CNN)或长短期记忆网络(LSTM),专门用于理解和表示医学文本数据。通过模型的处理,服务器将当前患者病历转换为一个高维的特征向量,即当前患者病历内容特征向量。这个向量捕捉了病历中的关键信息和语义结构,为后续的相似度匹配提供了基础。例如,如果病历中描述了患者的症状、诊断结果和治疗方案等信息,语义识别模型会将这些信息编码为一个数值向量,每个元素代表病历中某个特定方面的表达强度或相关性。服务器访问医学图像信息区块链,并搜索其中存储的查询标识内容对。这些对是由医学图像编码(查询标识)和与之相关的病理关联内容特征向量(查询内容)组成的。服务器特别关注那些查询特征为病历内容特征的标识内容对。这些查询标识内容对在区块链中以加密和签名的方式存储,保证了数据的完整性和安全性。服务器使用合适的解密和验证机制来获取这些数据。服务器将当前患者病历内容特征向量与从区块链中检索到的查询内容进行相似度计算。相似度计算可以采用余弦相似度、欧几里得距离等方法,衡量两个向量在空间中的接近程度。服务器为每对比较的特征向量计算一个匹配分值,该分值反映了当前患者病历与查询内容之间的相似程度。然后,服务器将这些匹配分值与一个预设的匹配分值阈值进行比较。只有那些匹配分值高于阈值的查询内容才被视为目标查询内容。最后,服务器将从步骤三中确定的目标查询内容对应的医学图像编码标记为目标查询标识。然后,它再次访问医学图像信息区块链,根据这些目标查询标识检索出相应的基础医学图像数据。这些数据可以包括CT扫描图像、MRI图像、X光片等,它们与当前患者的病历存在关联关系,因此可以作为医生进行诊断和治疗的重要参考依据。服务器将这些数据返回给请求方(如医生的工作站或患者的移动设备),以支持后续的医疗决策过程。
在本发明实施例中,前述步骤S202可以通过以下示例执行实施。
将所述当前病理图像加载至病理图像识别模型,利用所述病理图像识别模型得到所述当前病理图像的病理图像识别结果;
提取和所述病理图像识别结果存在关联关系的病理内容识别模型,以及与所述病理图像识别结果存在关联关系的病理视觉特征识别模型;
将所述当前病理图像加载至所述病理内容识别模型,利用所述病理内容识别模型得到所述当前病理图像相应的所述当前病理图像内容特征向量;
将所述当前病理图像加载至所述病理视觉特征识别模型,利用所述病理视觉特征识别模型,提取所述当前病理图像的组织结构特征以及所述当前病理图像的病变特征,对所述当前病理图像的组织结构特征以及所述当前病理图像的病变特征执行深度特征融合操作,得到所述当前病理图像相应的所述当前病理图像视觉特征向量。
在本发明实施例中,示例性的,服务器首先接收当前患者的病理图像数据,这可以是一张数字化的显微镜切片图像、CT扫描图像或其他类型的医学图像。服务器将这张图像加载到一个预先训练好的病理图像识别模型中。这个模型可以是基于深度学习技术构建的,如卷积神经网络(CNN),专门用于分析和理解医学病理图像。通过模型的处理,服务器得到了当前病理图像的病理图像识别结果。这个结果可以是一个概率分布,表示图像中不同病理类型的可能性;或者是一个具体的病理类型标签,如“肺癌”、“乳腺癌”等。这个结果为后续的特征提取和匹配提供了基础。根据病理图像识别结果,服务器从模型库中提取与识别结果相关联的病理内容识别模型和病理视觉特征识别模型。这些模型可以是针对特定病理类型或图像特征进行优化的,以确保更准确地提取和表示图像中的关键信息。例如,如果病理图像识别结果显示当前图像为肺癌切片图像,服务器会选择一个专门用于分析肺癌组织结构的病理内容识别模型和一个针对肺癌病变特征的病理视觉特征识别模型。服务器将当前病理图像加载到提取出的病理内容识别模型中。这个模型会对图像进行更深入的分析,提取出与病理类型、组织结构等相关的内容特征。这些特征被编码为一个高维的特征向量,即当前病理图像内容特征向量。这个向量捕捉了图像中的关键病理信息,为后续的图像匹配和诊断提供了依据。最后,服务器将当前病理图像加载到病理视觉特征识别模型中。这个模型专注于提取图像中的视觉特征,如纹理、形状、颜色等,这些特征对于描述病变区域的组织结构和外观至关重要。模型首先分别提取当前病理图像的组织结构特征和病变特征,这些特征可以包括细胞的排列方式、血管的形态、病变区域的大小和形状等。然后,服务器执行深度特征融合操作,将这些特征融合成一个更全面的视觉特征向量,即当前病理图像视觉特征向量。这个向量不仅包含了图像中的基本视觉属性,还捕捉了不同特征之间的相互作用和关系,为后续的图像相似度匹配提供了更丰富的信息。
在本发明实施例中,所述病理内容识别模型包括关键病理内容识别模型、细节病理内容识别模型以及全局病理内容识别模型;前述将所述当前病理图像加载至所述病理内容识别模型,利用所述病理内容识别模型得到所述当前病理图像相应的所述当前病理图像内容特征向量的步骤,可以通过以下示例执行实施。
将所述当前病理图像加载至所述关键病理内容识别模型,利用所述关键病理内容识别模型提取所述当前病理图像的关键内容特征,得到所述关键内容特征向量;
将所述当前病理图像加载至所述细节病理内容识别模型,利用所述细节病理内容识别模型提取所述当前病理图像的细节内容特征,得到所述细节内容特征向量;
将所述当前病理图像加载至所述全局病理内容识别模型,利用所述全局病理内容识别模型提取所述当前病理图像的全局内容特征,得到所述全局内容特征向量;
将所述关键内容特征向量、所述全局内容特征向量以及所述细节内容特征向量,作为所述当前病理图像内容特征向量。
在本发明实施例中,示例性的,服务器首先将当前病理图像加载到关键病理内容识别模型中。这个模型被专门训练用于识别图像中的关键病理内容,如病变区域、异常细胞等。通过模型的处理,服务器提取出图像中的关键内容特征,这些特征可以是与病变类型、严重程度等密切相关的关键信息。这些关键内容特征被编码为一个特征向量,即关键内容特征向量。接下来,服务器将当前病理图像加载到细节病理内容识别模型中。这个模型专注于捕捉图像中的细节信息,如细胞的形态、核的***情况等。这些细节信息对于病理诊断和鉴别诊断至关重要。通过模型的处理,服务器提取出图像中的细节内容特征,并将其编码为一个特征向量,即细节内容特征向量。然后,服务器将当前病理图像加载到全局病理内容识别模型中。这个模型从全局的角度分析图像,提取出与整个图像相关的内容特征,如图像的纹理、颜色分布等。这些全局特征有助于描述图像的整体属性和风格。通过模型的处理,服务器得到全局内容特征向量。最后,服务器将关键内容特征向量、全局内容特征向量和细节内容特征向量进行组合或融合,形成一个更全面的当前病理图像内容特征向量。这个向量综合了图像中的关键信息、细节信息和全局信息,为后续的图像匹配和诊断提供了丰富的基础数据。通过这样的处理流程,服务器能够准确地提取和表示当前病理图像的内容特征,为后续的医学图像分析和诊断提供有力的支持。
在本发明实施例中,前述步骤S202可以通过以下示例执行实施。
在所述医学图像信息区块链中获取查询特征为内容特征的查询标识内容对;所述查询标识内容对包括以医学图像编码对应确定的查询标识,以及以需求病理图像内容特征向量对应确定的查询内容;
根据所述当前病理图像内容特征向量以及所述查询标识内容对,从所述医学图像信息区块链中提取和所述当前病理图像内容特征向量存在关联关系的所述进阶医学图像数据。
在本发明实施例中,示例性的,服务器首先访问医学图像信息区块链,这是一个安全、不可篡改的数据存储网络,其中保存了大量的医学图像数据及其相关信息。服务器在区块链中搜索查询特征为内容特征的查询标识内容对。这些查询标识内容对由医学图像编码(作为查询标识)和与之相关的需求病理图像内容特征向量(作为查询内容)组成。例如,服务器可以找到一个查询标识内容对,其中查询标识是一个特定的医学图像编码,而查询内容是一个描述某种病理类型的内容特征向量。服务器接下来将当前病理图像的内容特征向量与从区块链中检索到的查询标识内容对中的查询内容进行相似度匹配。相似度匹配可以采用余弦相似度、欧几里得距离等方法,衡量两个特征向量在空间中的接近程度。服务器找到与当前病理图像内容特征向量相似度高的查询标识内容对后,将这些对应的医学图像编码标记为目标查询标识。然后,它再次访问医学图像信息区块链,根据这些目标查询标识检索出相应的进阶医学图像数据。进阶医学图像数据可以包括更高分辨率的病理图像、三维重建图像、多模态融合图像等,它们提供了比原始病理图像更丰富、更深入的信息。这些数据可以用于医生的进一步诊断、治疗方案的制定以及疾病的预后评估等。例如,如果当前病理图像显示一个疑似肿瘤的区域,服务器可能从区块链中提取出该区域的高分辨率图像和三维重建图像,以便医生更准确地判断肿瘤的大小、位置和浸润程度。通过这样的处理流程,服务器能够有效地从医学图像信息区块链中提取与当前病理图像内容特征向量存在关联关系的进阶医学图像数据,为医生的诊断和治疗提供有力的支持。
在本发明实施例中,所述当前病理图像内容特征向量包括关键内容特征向量、全局内容特征向量以及细节内容特征向量;所述需求病理图像内容特征向量包括需求关键内容特征向量、需求全局内容特征向量以及需求细节内容特征向量;所述查询标识内容对包括查询关键标识内容对、查询全局标识内容对以及查询细节标识内容对;所述查询关键标识内容对包括以所述医学图像编码对应确定的关键查询标识,以及以所述需求关键内容特征向量对应确定的查询关键内容;所述查询细节标识内容对包括以所述医学图像编码对应确定的查询细节标识,以及以所述需求细节内容特征向量对应确定的查询细节内容;所述查询全局标识内容对包括以所述医学图像编码对应确定的查询全局标识,以及以所述需求全局内容特征向量对应确定的查询全局内容;前述根据所述当前病理图像内容特征向量以及所述查询标识内容对,从所述医学图像信息区块链中提取和所述当前病理图像内容特征向量存在关联关系的所述进阶医学图像数据的步骤,可以通过以下示例执行实施。
获取所述关键内容特征向量以及所述查询关键内容之间的第一匹配分值,将第一匹配分值大于第一匹配分值阈值的查询关键内容作为目标查询关键内容,将所述目标查询关键内容相应的关键查询标识作为目标关键查询标识,在所述医学图像信息区块链中获取所述目标关键查询标识相应的关键医学图像数据;
获取所述全局内容特征向量以及所述查询全局内容之间的第二匹配分值,将第二匹配分值大于第二匹配分值阈值的查询全局内容作为目标查询全局内容,将所述目标查询全局内容相应的查询全局标识作为目标查询全局标识,在所述医学图像信息区块链中获取所述目标查询全局标识相应的全局医学图像数据;
获取所述细节内容特征向量以及所述查询细节内容之间的第三匹配分值,将第三匹配分值大于第三匹配分值阈值的查询细节内容作为目标查询细节内容,将所述目标查询细节内容相应的查询细节标识作为目标查询细节标识,在所述医学图像信息区块链中获取所述目标查询细节标识相应的细节医学图像数据;
将所述关键医学图像数据、所述细节医学图像数据以及所述全局医学图像数据作为所述进阶医学图像数据。
在本发明实施例中,示例性的,服务器首先处理当前病理图像的关键内容特征向量。它使用一种相似度度量方法(如余弦相似度)来计算当前病理图像的关键内容特征向量与从医学图像信息区块链中检索到的各个查询关键内容之间的匹配分值。这些查询关键内容是预先存储在区块链中的,与特定的医学图像编码相关联。例如,如果当前病理图像的关键内容特征向量与某个查询关键内容的相似度很高,那么它们之间的匹配分值就会很高。服务器将所有计算出的第一匹配分值与一个预设的第一匹配分值阈值进行比较。那些匹配分值高于阈值的查询关键内容被视为与目标病理图像高度相关,因此被选定为目标查询关键内容。接着,服务器从医学图像信息区块链中检索与这些目标查询关键内容相关联的关键医学图像数据。这些关键医学图像数据可以包括更高分辨率的病理图像切片、特定区域的放大图像等,它们为医生提供了关于病变区域的更深入信息。服务器以类似的方式处理当前病理图像的全局内容特征向量。它计算全局内容特征向量与从区块链中检索到的各个查询全局内容之间的第二匹配分值。这些查询全局内容同样与特定的医学图像编码相关联。服务器将计算出的第二匹配分值与一个预设的第二匹配分值阈值进行比较,选择那些匹配分值高于阈值的查询全局内容作为目标查询全局内容。然后,它从医学图像信息区块链中检索与这些目标查询全局内容相关联的全局医学图像数据。这些数据可以包括整个病理切片的概览图像、不同染色方法下的图像等,它们提供了病变在更大范围内的上下文信息。服务器继续处理当前病理图像的细节内容特征向量,计算它与从区块链中检索到的各个查询细节内容之间的第三匹配分值。这些查询细节内容关注于图像的细微特征,如细胞的形态、结构等。服务器将第三匹配分值与一个预设的第三匹配分值阈值进行比较,选择匹配分值高于阈值的查询细节内容作为目标查询细节内容。然后,它从医学图像信息区块链中检索与这些目标查询细节内容相关联的细节医学图像数据。这些数据可以包括高倍镜下的细胞图像、特定染色标记的图像等,它们为医生提供了关于病变细胞级别的详细信息。最后,服务器将获取到的关键医学图像数据、全局医学图像数据和细节医学图像数据整合在一起,形成一个全面的进阶医学图像数据集。这个数据集不仅包含了原始病理图像的信息,还提供了多层次的额外数据和分析结果,有助于医生进行更准确的诊断和治疗决策。
在本发明实施例中,服务器接收到一张肺部CT扫描图像,该图像已被编码为特定的医学图像编码(如DICOM格式)。同时,服务器还接收到与该图像关联的病理内容,包括诊断报告、医生注释、患者病史等信息。服务器对接收到的病理关联内容进行文本提取处理,使用自然语言处理技术(NLP)识别并提取出与肺癌相关的关键词,如“肺癌”、“肿瘤大小”、“病变位置”等。服务器将医学图像编码作为查询标识,将提取出的肺癌相关关键词作为查询内容,构建查询特征为关键词特征的查询标识内容对。例如,查询标识为“DICOM_12345”,查询内容为“肺癌,肿瘤大小,病变位置”。除了关键词特征外,服务器还需要处理病理关联内容的深层特征。为此,服务器利用深度学习技术,如卷积神经网络(CNN)或循环神经网络(RNN),对病理关联内容进行深度分析,提取出其内在的特征表示,即病理关联内容特征向量。这个特征向量是高维空间中的一个点,它包含了原始文本的语义、结构和上下文等信息。服务器将医学图像编码作为查询标识,将提取出的病理关联内容特征向量作为查询内容,构建查询特征为病历内容特征的查询标识内容对。与关键词特征的查询方式不同,基于病历内容特征的查询更加侧重于文本内容的整体理解和匹配。当医生或***需要根据特定的病理特征(如肺癌类型、病变程度等)检索相似的医学图像时,服务器可以利用这些构建好的查询标识内容对来快速定位到相关的医学图像和病历信息。通过比较查询内容与数据库中医学图像和病历信息的特征向量的相似度,服务器能够返回最匹配的结果供医生参考。
在本发明实施例中,前述步骤S203可以通过以下示例执行实施。
将所述待定医学图像数据相应的医学图像编码作为待定医学图像数据标编码;
在所述医学图像信息区块链中,提取和所述待定医学图像数据标编码存在映射关系的所述目标需求病理图像视觉特征向量、与所述待定医学图像数据标编码存在映射关系的目标需求关键内容特征向量、与所述待定医学图像数据标编码存在映射关系的目标需求全局内容特征向量、与所述待定医学图像数据标编码存在映射关系的目标需求细节内容特征向量,以及与所述待定医学图像数据标编码存在映射关系的所述目标病理关联内容;
将所述目标需求关键内容特征向量、所述目标需求全局内容特征向量以及所述目标需求细节内容特征向量,作为所述目标需求病理图像内容特征向量。
在本发明实施例中,示例性的,服务器接收到一份待定医学图像数据,这份数据可以来自于医院的医学影像***、病理实验室或其他医疗相关设备。这份数据附带有一个唯一的医学图像编码,用于在医学图像信息***中唯一标识这张图像。服务器将这个医学图像编码记录下来,作为待定医学图像数据标编码,以便后续在医学图像信息区块链中进行检索和映射。服务器访问医学图像信息区块链,这是一个分布式、不可篡改的数据存储网络,其中保存了大量的医学图像及其相关的元数据和特征向量。服务器使用之前记录的待定医学图像数据标编码,在区块链中检索与该编码存在映射关系的各种数据。这些数据包括:目标需求病理图像视觉特征向量:这是描述图像视觉特性的向量,可以包括颜色、纹理、形状等特征,有助于对图像进行视觉上的分类和识别。目标需求关键内容特征向量:这是描述图像中关键病理内容的特征向量,可以关注于病变区域、异常细胞等关键信息。目标需求全局内容特征向量:这是描述图像整体内容和风格的特征向量,可以包括图像的布局、结构等全局性特征。目标需求细节内容特征向量:这是描述图像中细节信息的特征向量,可以关注于细胞的形态、结构等细微特征。目标病理关联内容:这是与待定医学图像相关联的其他信息,可以包括诊断报告、病史记录、实验室检测结果等,有助于医生进行综合分析和诊断。
在本发明实施例中,所述待定医学图像数据的总数量为至少两个,至少两个待定医学图像数据包括第一待定医学图像数据;所述目标病理关联内容包括所述第一待定医学图像数据相应的第一目标病理关联内容;所述目标需求病理图像内容特征向量包括所述第一待定医学图像数据相应的第一目标需求病理图像内容特征向量;所述目标需求病理图像视觉特征向量包括所述第一待定医学图像数据相应的第一目标需求病理图像视觉特征向量;前述步骤S204可以通过以下示例执行实施。
获取所述当前患者病历以及所述第一目标病理关联内容之间的匹配分值,将所述匹配分值作为所述第一待定医学图像数据相应的文本匹配分值;
获取所述当前病理图像内容特征向量以及所述第一目标需求病理图像内容特征向量之间的匹配分值,将所述匹配分值作为所述第一待定医学图像数据相应的内容匹配分值;
获取所述当前病理图像视觉特征向量以及所述第一目标需求病理图像视觉特征向量之间的匹配分值,将所述匹配分值作为所述第一待定医学图像数据相应的视觉匹配分值;
对所述文本匹配分值、所述内容匹配分值以及所述视觉匹配分值执行加权平均运算,得到所述第一待定医学图像数据与所述当前患者匹配请求之间的需求匹配系数;
根据每个待定医学图像数据分别相应的需求匹配系数,对所述至少两个待定医学图像数据进行基于匹配程度的顺序排列。
在本发明实施例中,示例性的,在本场景中,服务器需要处理至少两个待定医学图像数据,并根据它们与当前患者的匹配程度进行排序。这些待定医学图像数据可以来自于医院的医学影像存档***,或者是医生为当前患者考虑的其他可能相关的医学图像。服务器将利用当前患者的病历信息、当前病理图像的特征向量以及从医学图像信息区块链中获取的目标病理关联内容、目标需求病理图像内容特征向量和目标需求病理图像视觉特征向量来确定每个待定医学图像数据与当前患者匹配请求的匹配程度。服务器首先获取当前患者的病历信息,这可以包括患者的病史、诊断记录、实验室检查结果等文本信息。然后,服务器将当前患者的病历信息与从医学图像信息区块链中获取的第一待定医学图像数据相应的第一目标病理关联内容进行匹配。匹配过程可以涉及文本相似度计算、关键词提取等技术,以量化病历信息与目标病理关联内容之间的相关性。计算得到的匹配分值被记录为第一待定医学图像数据相应的文本匹配分值。服务器接着处理当前病理图像的内容特征向量。它使用一种相似度度量方法(如余弦相似度)来计算当前病理图像的内容特征向量与从医学图像信息区块链中获取的第一待定医学图像数据相应的第一目标需求病理图像内容特征向量之间的匹配分值。这个匹配分值反映了当前病理图像与第一待定医学图像在内容层面上的相似度。类似地,服务器也处理当前病理图像的视觉特征向量。它计算当前病理图像的视觉特征向量与第一待定医学图像数据相应的第一目标需求病理图像视觉特征向量之间的匹配分值。这个匹配分值反映了当前病理图像与第一待定医学图像在视觉层面上的相似度,如颜色、纹理、形状等视觉特征的相似程度。服务器将前面计算得到的文本匹配分值、内容匹配分值和视觉匹配分值进行加权平均运算。加权平均运算可以根据每个匹配分值的重要性和可靠性赋予不同的权重,以综合评估第一待定医学图像数据与当前患者匹配请求之间的整体匹配程度。运算结果即为第一待定医学图像数据的需求匹配系数。最后,服务器对每个待定医学图像数据重复上述步骤,计算它们各自的需求匹配系数。然后,服务器根据这些需求匹配系数对所有的待定医学图像数据进行排序,从高到低排列出与当前患者匹配请求匹配程度最高的医学图像数据。这样,医生就可以根据排序结果快速找到与当前患者最相关的医学图像数据,为诊断和治疗提供有力支持。
在本发明实施例中,所述当前病理图像内容特征向量包括关键内容特征向量、全局内容特征向量以及细节内容特征向量;所述第一目标需求病理图像内容特征向量包括第一目标需求关键内容特征向量、第一目标需求全局内容特征向量以及第一目标需求细节内容特征向量;前述获取所述当前病理图像内容特征向量以及所述第一目标需求病理图像内容特征向量之间的匹配分值,将所述匹配分值作为所述第一待定医学图像数据相应的内容匹配分值的步骤,可以通过以下示例执行实施。
获取所述关键内容特征向量以及所述第一目标需求关键内容特征向量之间的匹配分值,将所述匹配分值作为所述第一待定医学图像数据相应的关键内容匹配分值;
获取所述全局内容特征向量以及所述第一目标需求全局内容特征向量之间的匹配分值,将所述匹配分值作为所述第一待定医学图像数据相应的全局内容匹配分值;
获取所述细节内容特征向量以及所述第一目标需求细节内容特征向量之间的匹配分值,将所述匹配分值作为所述第一待定医学图像数据相应的细节内容匹配分值;
将所述关键内容匹配分值、所述全局内容匹配分值以及所述细节内容匹配分值作为所述内容匹配分值。
在本发明实施例中,示例性的,服务器需要评估当前病理图像与第一待定医学图像在内容层面上的匹配程度。为了更全面地分析图像内容,服务器将病理图像的内容特征向量分为关键内容特征向量、全局内容特征向量和细节内容特征向量。相应地,从医学图像信息区块链中获取的第一目标需求病理图像内容特征向量也包括第一目标需求关键内容特征向量、第一目标需求全局内容特征向量和第一目标需求细节内容特征向量。服务器首先处理当前病理图像的关键内容特征向量。关键内容特征向量通常包含图像中最重要的病理信息,如病变区域的位置、大小等。服务器使用相似度度量算法计算当前病理图像的关键内容特征向量与第一待定医学图像的第一目标需求关键内容特征向量之间的匹配分值。这个匹配分值反映了两者在关键病理内容上的相似程度。接下来,服务器处理当前病理图像的全局内容特征向量。全局内容特征向量描述了图像的整体结构和布局,包括不同组织或细胞的分布等。服务器同样使用相似度度量算法计算当前病理图像的全局内容特征向量与第一待定医学图像的第一目标需求全局内容特征向量之间的匹配分值。这个匹配分值反映了两者在图像整体内容上的相似程度。然后,服务器处理当前病理图像的细节内容特征向量。细节内容特征向量关注于图像中的细微结构和纹理信息,如细胞的形态、细胞核的细节等。服务器计算当前病理图像的细节内容特征向量与第一待定医学图像的第一目标需求细节内容特征向量之间的匹配分值。这个匹配分值反映了两者在图像细节内容上的相似程度。最后,服务器将前面计算得到的关键内容匹配分值、全局内容匹配分值和细节内容匹配分值进行整合。这些匹配分值共同构成了第一待定医学图像数据相应的内容匹配分值,用于评估当前病理图像与第一待定医学图像在内容层面上的整体匹配程度。服务器可以根据具体需求对这些匹配分值进行加权平均或其他形式的综合处理,以得到一个更全面的内容匹配分值。
在本发明实施例中,还提供以下实施方式。
获取医学影像,提取所述医学影像中的至少两张医学影像截图,对所述至少两张医学影像截图分别进行数据清洗操作,得到目标医学影像截图;
获取所述目标医学影像截图相应的医学影像截图编码,将所述医学影像截图编码作为医学图像编码;
获取所述目标医学影像截图相应的医学影像截图描述,将所述医学影像截图描述作为病理关联内容,根据所述医学图像编码以及所述病理关联内容构建查询特征为文字描述特征的查询标识内容对,将查询特征为文字描述特征的查询标识内容对存储于所述医学图像信息区块链;
获取所述目标医学影像截图相应的需求病理图像内容特征向量,以及所述目标医学影像截图相应的需求病理图像视觉特征向量;
将所述医学图像编码作为查询内容,将所述需求病理图像内容特征向量作为查询标识,构建查询特征为内容特征的查询标识内容对,将查询特征为内容特征的查询标识内容对存储于所述医学图像信息区块链;
将所述需求病理图像视觉特征向量以及所述医学图像编码构建映射关系并保存于所述医学图像信息区块链。
在本发明实施例中,示例性的,服务器需要处理医学影像数据,并将处理后的数据以及相关的特征向量和信息存储到医学图像信息区块链中。这涉及到从医学影像中提取截图、数据清洗、生成查询标识内容对以及保存映射关系等步骤。服务器首先获取医学影像,这些影像可以来自于医院的影像存档***或其他医疗数据源。然后,服务器使用图像处理技术从医学影像中提取至少两张医学影像截图。这些截图可以包含了医生或研究人员感兴趣的特定区域或病理表现。提取出的医学影像截图可以包含噪声、伪影或其他不需要的信息。因此,服务器对这些截图进行数据清洗操作,以去除这些干扰因素,提高图像质量。数据清洗可以包括去噪、增强对比度、调整亮度等步骤,最终得到目标医学影像截图。服务器获取每张目标医学影像截图的唯一编码(医学影像截图编码),这个编码用于在后续步骤中标识和检索图像。同时,服务器还获取与这些截图相关的描述信息(医学影像截图描述),这些描述可以包括病变类型、位置、严重程度等关键信息,对于医生和研究人员具有重要价值。服务器将医学影像截图编码作为医学图像编码,并将医学影像截图描述作为病理关联内容。然后,它根据这些编码和描述构建查询特征为文字描述特征的查询标识内容对。这些查询标识内容对允许用户通过输入描述性文本来检索相关的医学影像截图。最后,服务器将这些查询标识内容对存储到医学图像信息区块链中,确保数据的完整性和可追溯性。为了支持更高级的图像检索功能,服务器还获取目标医学影像截图相应的需求病理图像内容特征向量和视觉特征向量。这些特征向量是通过深度学习或其他机器学习算法从图像中提取的高维表示,用于量化图像在内容和视觉上的特性。内容特征向量可以关注于图像的语义信息,而视觉特征向量则关注于图像的视觉外观和纹理等细节。服务器将医学图像编码作为查询内容,将需求病理图像内容特征向量作为查询标识,构建查询特征为内容特征的查询标识内容对。这些查询标识内容对允许用户通过输入与图像内容相似的特征向量来检索相关的医学影像截图。然后,服务器将这些查询标识内容对也存储到医学图像信息区块链中。最后,服务器将需求病理图像视觉特征向量与医学图像编码之间建立映射关系,并将这个映射关系保存到医学图像信息区块链中。这样,当用户输入一个视觉特征向量时,服务器可以使用这个映射关系快速找到与之匹配的医学影像截图编码,进而检索到相应的图像。这个步骤提高了图像检索的效率和准确性。
在本发明实施例中,所述至少两张医学影像截图包括第一医学影像截图;前述对所述至少两张医学影像截图分别进行数据清洗操作,得到目标医学影像截图的步骤,可以通过以下示例执行实施。
获取所述第一医学影像截图以及第二医学影像截图之间的匹配分值;所述第二医学影像截图包括所述至少两张医学影像截图中除了所述第一医学影像截图之外的医学影像截图;
若所述匹配分值等于或大于匹配分值阈值,则将所述第一医学影像截图作为冗余医学影像截图,从所述至少两张医学影像截图中丢弃所述冗余医学影像截图,得到中间医学影像截图;
对所述中间医学影像截图进行无效数据判断处理,得到所述中间医学影像截图的无效局部图像,对所述中间医学影像截图中的所述无效局部图像进行移除处理,得到所述目标医学影像截图。
在本发明实施例中,示例性的,服务器需要对从医学影像中提取的至少两张截图进行处理,包括第一医学影像截图和其他截图(统称为第二医学影像截图)。处理的目的是去除冗余和无效的截图及数据,以确保后续分析和存储的数据质量。服务器首先获取第一医学影像截图与第二医学影像截图(即除了第一截图之外的其他截图)之间的匹配分值。这个匹配分值是通过比较两张截图在内容、结构或其他特征上的相似度来计算的。如果两张截图非常相似或完全相同,它们的匹配分值将会很高。服务器设定了一个匹配分值阈值,用于判断两张截图是否足够相似以至于可以认为其中一张是冗余的。如果第一医学影像截图与任何一张第二医学影像截图的匹配分值等于或大于这个阈值,服务器就会将第一医学影像截图标记为冗余医学影像截图,并从至少两张医学影像截图的集合中将其丢弃。这一步的目的是减少数据冗余,提高后续处理的效率。在移除了冗余的截图之后,服务器对剩余的截图(现在称为中间医学影像截图)进行进一步的处理。这一步的目的是识别并移除这些截图中的无效数据。无效数据可以是由于图像采集过程中的误差、伪影或其他原因导致的图像质量不佳、信息丢失或误导性内容。服务器使用图像处理和分析算法来检测中间医学影像截图中的无效数据。这些算法可以包括噪声检测、边缘检测、区域分割等技术,用于识别图像中的异常区域或特征。一旦检测到无效数据,服务器就会将这些区域标记为无效局部图像。最后,服务器对中间医学影像截图中的无效局部图像进行移除处理。移除的方式可以包括裁剪、替换或修复等,具体取决于无效数据的类型和严重程度。经过这一步处理后,服务器得到了最终的目标医学影像截图,这些截图已经去除了冗余和无效数据,可以用于后续的医学图像分析、存储和检索等操作。
在本发明实施例中,前述获取所述目标医学影像截图相应的医学影像截图描述的步骤,可以通过以下示例执行实施。
获取所述医学影像配置的医学影像描述内容,将所述医学影像描述内容作为第一医学影像截图描述;
对所述目标医学影像截图中的生理结构信息进行分析,得到生理结构描述,将所述生理结构描述作为第二医学影像截图描述;
提取所述目标医学影像截图中的诊断备注信息,将所述诊断备注信息作为第三医学影像截图描述;
将所述第一医学影像截图描述、所述第二医学影像截图描述以及所述第三医学影像截图描述作为所述医学影像截图描述。
在本发明实施例中,示例性的,在这个场景中,服务器需要为目标医学影像截图生成相应的医学影像截图描述。这些描述信息对于后续的医学图像检索、分析和理解至关重要。服务器通过结合医学影像的固有描述、生理结构分析和诊断备注信息来综合生成全面且准确的描述。服务器首先访问医学影像的配置文件或数据库,从中提取与该医学影像相关的固有描述内容。这些内容可以包括影像类型、采集设备信息、患者***、扫描区域等基本信息。这些信息构成了第一医学影像截图描述,为后续的描述提供了基础框架。接下来,服务器利用图像处理和分析技术对目标医学影像截图进行深度解析。通过识别图像中的不同组织、器官和解剖结构,服务器能够生成关于这些生理结构的详细描述。例如,它可以识别出心脏的大小、形状、位置以及与之相邻的血管和肺部等结构。这些生理结构描述构成了第二医学影像截图描述,为医生或研究人员提供了关于患者解剖结构的详细信息。除了固有的描述和生理结构分析外,服务器还提取目标医学影像截图中的诊断备注信息。这些备注可以由医生在审查图像时添加,用于记录异常发现、疑似病变或需要进一步关注的区域等信息。诊断备注信息通常包含丰富的临床见解和专业知识,对于后续的图像解释和决策支持具有重要价值。服务器将这些诊断备注信息整理为第三医学影像截图描述。最后,服务器将第一医学影像截图描述(固有描述)、第二医学影像截图描述(生理结构描述)和第三医学影像截图描述(诊断备注信息)进行综合整合。通过合并这些信息,服务器生成了全面且详细的医学影像截图描述。这个描述不仅包含了图像的基本信息和结构特征,还融入了医生的专业见解和诊断信息,为后续的医学图像应用提供了有力的支持。
在本发明实施例中,所述文字描述特征包括关键词特征以及病历内容特征;前述根据所述医学图像编码以及所述病理关联内容构建查询特征为文字描述特征的查询标识内容对的步骤,可以通过以下示例执行实施。
对所述病理关联内容进行文本提取处理,得到所述病理关联内容相应的医学图像关键词,将所述医学图像编码作为查询标识,将所述医学图像关键词作为查询内容,构建查询特征为所述关键词特征的查询标识内容对;
获取所述病理关联内容相应的病理关联内容特征向量,将所述医学图像编码作为查询标识,将所述病理关联内容特征向量作为查询内容,构建查询特征为所述病历内容特征的查询标识内容对。
在本发明实施例中,示例性的,服务器需要处理与医学图像相关的文字描述信息,并根据这些信息构建两种不同特征的查询标识内容对:一种是基于关键词特征的,另一种是基于病历内容特征的。这些查询标识内容对将用于后续的医学图像检索和分析。服务器首先对获取的病理关联内容进行文本提取处理。病理关联内容可以包含丰富的文本信息,如诊断报告、病历记录、医生注释等。通过文本提取技术,服务器能够从中识别并提取出与医学图像紧密相关的关键词。这些关键词可以包括疾病名称、症状描述、解剖部位、病理变化等,它们构成了医学图像关键词。接下来,服务器将医学图像编码作为查询标识,将提取出的医学图像关键词作为查询内容,构建查询特征为关键词特征的查询标识内容对。这意味着,当用户或***需要根据关键词检索医学图像时,可以使用这些查询标识内容对来快速定位到相关的医学图像。关键词特征的引入使得检索过程更加直观和高效。除了关键词特征外,服务器还需要处理病理关联内容的深层特征。为此,服务器利用自然语言处理(NLP)或深度学习技术,对病理关联内容进行深度分析,提取出其内在的特征表示,即病理关联内容特征向量。这个特征向量是高维空间中的一个点,它包含了原始文本的语义、结构和上下文等信息,用于量化文本内容的特性。最后,服务器将医学图像编码作为查询标识,将提取出的病理关联内容特征向量作为查询内容,构建查询特征为病历内容特征的查询标识内容对。与关键词特征的查询方式不同,基于病历内容特征的查询更加侧重于文本内容的整体理解和匹配。这种查询方式在处理复杂、模糊的查询请求时具有更高的准确性和灵活性。通过以上步骤,服务器成功地将医学图像与其相关的文字描述信息进行了紧密结合,为后续的图像检索和分析提供了强有力的支持。
在本发明实施例中,所述需求病理图像内容特征向量包括需求关键内容特征向量、需求全局内容特征向量以及需求细节内容特征向量;前述获取所述目标医学影像截图相应的需求病理图像内容特征向量,以及所述目标医学影像截图相应的需求病理图像视觉特征向量的步骤,可以通过以下示例执行实施。
将所述目标医学影像截图加载至病理图像识别模型,利用所述病理图像识别模型得到所述目标医学影像截图的截图类别信息;
将所述目标医学影像截图加载至与所述截图类别信息存在关联关系的关键特征抽取模型,利用所述关键特征抽取模型提取所述目标医学影像截图的关键内容特征,得到所述需求关键内容特征向量;
将所述目标医学影像截图加载至与所述截图类别信息存在关联关系的细节特征抽取模型,利用所述细节特征抽取模型提取所述目标医学影像截图的细节内容特征,得到所述需求细节内容特征向量;
将所述目标医学影像截图加载至与所述截图类别信息存在关联关系的全局特征抽取模型,利用所述全局特征抽取模型提取所述目标医学影像截图的全局内容特征,得到所述需求全局内容特征向量;
将所述目标医学影像截图加载至与所述截图类别信息存在关联关系的视觉特征抽取模型,利用所述视觉特征抽取模型,提取所述目标医学影像截图的组织结构特征以及所述目标医学影像截图的病变特征,对所述目标医学影像截图的组织结构特征以及所述目标医学影像截图的病变特征执行深度特征融合操作,得到所述需求病理图像视觉特征向量。
在本发明实施例中,示例性的,服务器需要处理目标医学影像截图,并提取出多种特征向量,包括需求关键内容特征向量、需求全局内容特征向量、需求细节内容特征向量以及需求病理图像视觉特征向量。这些特征向量将用于后续的图像分析和理解。服务器首先将目标医学影像截图加载至一个预先训练好的病理图像识别模型中。这个模型经过大量的医学影像数据训练,能够准确地识别出截图的类别信息,如病变类型、组织部位等。通过这一步,服务器获取了目标医学影像截图的截图类别信息。接下来,服务器根据截图类别信息,将目标医学影像截图加载至与之存在关联关系的关键特征抽取模型中。这个模型专注于提取图像中的关键内容特征,如重要的病变区域、关键解剖结构等。通过这一步处理,服务器得到了需求关键内容特征向量,这个向量集中反映了图像中最重要和最具代表性的信息。除了关键内容特征外,服务器还需要关注图像中的细节信息。因此,它将目标医学影像截图加载至与截图类别信息存在关联关系的细节特征抽取模型中。这个模型能够捕捉到图像中的细微变化和细节结构,如细胞的形态、纹理变化等。通过这一步处理,服务器得到了需求细节内容特征向量,为后续的精细分析提供了基础。为了全面理解医学影像截图的内容,服务器还需要提取全局内容特征。它将目标医学影像截图加载至与截图类别信息存在关联关系的全局特征抽取模型中。这个模型能够从整体上把握图像的结构和布局,提取出反映图像全局信息的特征。通过这一步处理,服务器得到了需求全局内容特征向量,这个向量有助于把握图像的整体特征和上下文信息。最后,服务器将目标医学影像截图加载至与截图类别信息存在关联关系的视觉特征抽取模型中。这个模型能够提取出图像的组织结构特征和病变特征,这些特征反映了图像的视觉属性和病变表现。为了充分利用这些特征,服务器对组织结构特征和病变特征执行深度特征融合操作,将它们融合成一个更全面、更具代表性的特征向量——需求病理图像视觉特征向量。这个向量综合了图像的多种视觉信息,为后续的图像分析和识别提供了有力的支持。
在一种更为详细的实施方式中,服务器需要处理一张目标医学影像截图,这张截图是一张肺部CT扫描图像,显示了一个疑似肺癌的病变区域。服务器的目标是提取出这张截图的多种特征向量,以便后续的图像分析和理解。服务器首先将肺部CT扫描图像加载至一个预先训练好的病理图像识别模型中。这个模型经过大量的肺部CT图像数据训练,能够准确地识别出图像的类别信息。在这个例子中,模型识别出该截图属于“肺部CT图像,疑似肺癌”的类别。接下来,服务器根据截图类别信息,将肺部CT扫描图像加载至与之存在关联关系的关键特征抽取模型中。这个模型专注于提取图像中的关键内容特征,如病变区域的位置、大小和形状等。在这个例子中,关键特征抽取模型成功地提取出了疑似肺癌病变区域的位置和大小信息,生成了需求关键内容特征向量。
关键内容特征向量提取:
输入:肺部CT扫描图像,显示疑似肺癌病变区域。
处理:通过关键特征抽取模型,识别并提取病变区域的位置(如坐标信息)、大小(如直径、面积)和形状(如圆形、不规则形)等关键特征。
输出:需求关键内容特征向量,包含了病变区域的位置、大小和形状等关键信息。
除了关键内容特征外,服务器还需要关注图像中的细节信息。在这个例子中,细节特征抽取模型能够捕捉到疑似肺癌病变区域的细微变化和细节结构,如病变区域的纹理、边缘特征和内部的密度变化等。这些细节信息对于医生的诊断和后续的治疗计划至关重要。通过这一步处理,服务器得到了需求细节内容特征向量。
细节内容特征向量提取:
输入:肺部CT扫描图像的疑似肺癌病变区域。
处理:通过细节特征抽取模型,分析病变区域的纹理特征(如粗糙度、平滑度)、边缘特征(如清晰度、模糊度)和密度变化(如均匀性、非均匀性)等细节信息。
输出:需求细节内容特征向量,包含了病变区域的纹理、边缘和密度等细节信息。
为了全面理解医学影像截图的内容,服务器还需要提取全局内容特征。在这个例子中,全局特征抽取模型能够从整体上把握肺部CT扫描图像的结构和布局,提取出反映图像全局信息的特征,如肺部的整体形态、大小和结构等。这些全局信息有助于医生对病变区域进行定位和定性分析。通过这一步处理,服务器得到了需求全局内容特征向量。
全局内容特征向量提取:
输入:完整的肺部CT扫描图像。
处理:通过全局特征抽取模型,分析整个肺部的形态(如正常形态、异常形态)、大小(如肺容量)和结构(如支气管分布、血管分布)等全局特征。
输出:需求全局内容特征向量,包含了肺部的整体形态、大小和结构等全局信息。
最后,服务器将肺部CT扫描图像加载至与截图类别信息存在关联关系的视觉特征抽取模型中。这个模型能够提取出图像的组织结构特征和病变特征,如肺部的正常组织结构和疑似肺癌的病变表现等。为了充分利用这些特征,服务器对组织结构特征和病变特征执行深度特征融合操作,将它们融合成一个更全面、更具代表性的特征向量——需求病理图像视觉特征向量。这个向量综合了图像的多种视觉信息,为后续的图像分析和识别提供了有力的支持。
视觉特征向量提取与深度特征融合:
输入:肺部CT扫描图像及其疑似肺癌病变区域。
处理1:通过视觉特征抽取模型,提取肺部的正常组织结构特征(如支气管形态、肺实质纹理)和疑似肺癌的病变特征(如病变区域的形态、密度和边缘特征)。
处理2:对提取到的组织结构特征和病变特征执行深度特征融合操作,如通过神经网络模型进行特征融合和降维处理,生成一个综合的特征向量。
输出:需求病理图像视觉特征向量,包含了肺部的正常组织结构和疑似肺癌的病变特征等全面信息。
本发明实施例提供一种计算机设备100,计算机设备100包括处理器及存储有计算机指令的非易失性存储器,计算机指令被处理器执行时,计算机设备100执行前述的基于深度学习的医学图像检索方法。如图2所示,图2为本发明实施例提供的计算机设备100的结构框图。计算机设备100包括基于深度学习的医学图像检索方法、存储器111、处理器112及通信单元113。为实现数据的传输或交互,存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接。例如,可通过一条或多条通讯总线或信号线实现这些元件相互之间电性连接。
出于说明目的,前面的描述是参考具体实施例而进行的。但是,上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导,众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用,从而使本领域技术人员最佳地利用本公开,并利用具有不同修改的各种实施例以适于预期的特定应用。
Claims (10)
1.基于深度学习的医学图像检索方法,其特征在于,包括:
获取包含当前患者病历以及当前病理图像的当前患者匹配请求,从医学图像信息区块链中提取和所述当前患者病历存在关联关系的基础医学图像数据;
获取所述当前病理图像相应的当前病理图像视觉特征向量,以及所述当前病理图像相应的当前病理图像内容特征向量,从所述医学图像信息区块链中提取和所述当前病理图像内容特征向量存在关联关系的进阶医学图像数据;
将所述基础医学图像数据以及所述进阶医学图像数据作为待定医学图像数据,获取所述待定医学图像数据相应的目标需求病理图像视觉特征向量、所述待定医学图像数据相应的目标需求病理图像内容特征向量以及所述待定医学图像数据相应的目标病理关联内容;
基于所述当前患者病历、所述当前病理图像内容特征向量、所述当前病理图像视觉特征向量、所述目标病理关联内容、所述目标需求病理图像内容特征向量,以及所述目标需求病理图像视觉特征向量,确定所述待定医学图像数据与所述当前患者匹配请求之间的需求匹配系数;
根据所述需求匹配系数对所述待定医学图像数据进行基于匹配程度的顺序排列,从基于匹配程度的顺序排列后的待定医学图像数据中确定目标医学图像数据。
2.根据权利要求1所述的方法,其特征在于,所述从医学图像信息区块链中提取和所述当前患者病历存在关联关系的基础医学图像数据,包括:
对所述当前患者病历进行文本提取处理,得到所述当前患者病历相应的病理关键词;
在所述医学图像信息区块链中获取查询特征为关键词特征的查询标识内容对;所述查询标识内容对包括以医学图像编码对应确定的查询标识以及以医学图像关键词对应确定的查询内容;
将包含所述病理关键词的查询内容所相应的查询标识作为目标查询标识,在所述医学图像信息区块链中获取所述目标查询标识相应的所述基础医学图像数据。
3.根据权利要求1所述的方法,其特征在于,所述从医学图像信息区块链中提取和所述当前患者病历存在关联关系的基础医学图像数据,包括:
将所述当前患者病历加载至语义识别模型,利用所述语义识别模型得到所述当前患者病历相应的当前患者病历内容特征向量;
在所述医学图像信息区块链中获取查询特征为病历内容特征的查询标识内容对;所述查询标识内容对包括以医学图像编码对应确定的查询标识,以及以病理关联内容特征向量对应确定的查询内容;
获取所述当前患者病历内容特征向量与所述查询内容之间的匹配分值,将匹配分值大于匹配分值阈值的查询内容作为目标查询内容;
将所述目标查询内容相应的查询标识作为目标查询标识,在所述医学图像信息区块链中获取所述目标查询标识相应的所述基础医学图像数据。
4.根据权利要求1所述的方法,其特征在于,所述获取所述当前病理图像相应的当前病理图像视觉特征向量,以及所述当前病理图像相应的当前病理图像内容特征向量,包括:
将所述当前病理图像加载至病理图像识别模型,利用所述病理图像识别模型得到所述当前病理图像的病理图像识别结果;
提取和所述病理图像识别结果存在关联关系的病理内容识别模型,以及与所述病理图像识别结果存在关联关系的病理视觉特征识别模型;所述病理内容识别模型包括关键病理内容识别模型、细节病理内容识别模型以及全局病理内容识别模型;
将所述当前病理图像加载至所述关键病理内容识别模型,利用所述关键病理内容识别模型提取所述当前病理图像的关键内容特征,得到所述关键内容特征向量;
将所述当前病理图像加载至所述细节病理内容识别模型,利用所述细节病理内容识别模型提取所述当前病理图像的细节内容特征,得到所述细节内容特征向量;
将所述当前病理图像加载至所述全局病理内容识别模型,利用所述全局病理内容识别模型提取所述当前病理图像的全局内容特征,得到所述全局内容特征向量;
将所述关键内容特征向量、所述全局内容特征向量以及所述细节内容特征向量,作为所述当前病理图像内容特征向量;
将所述当前病理图像加载至所述病理视觉特征识别模型,利用所述病理视觉特征识别模型,提取所述当前病理图像的组织结构特征以及所述当前病理图像的病变特征,对所述当前病理图像的组织结构特征以及所述当前病理图像的病变特征执行深度特征融合操作,得到所述当前病理图像相应的所述当前病理图像视觉特征向量。
5.根据权利要求1所述的方法,其特征在于,所述从所述医学图像信息区块链中提取和所述当前病理图像内容特征向量存在关联关系的进阶医学图像数据,包括:
在所述医学图像信息区块链中获取查询特征为内容特征的查询标识内容对;所述查询标识内容对包括以医学图像编码对应确定的查询标识,以及以需求病理图像内容特征向量对应确定的查询内容;所述当前病理图像内容特征向量包括关键内容特征向量、全局内容特征向量以及细节内容特征向量;所述需求病理图像内容特征向量包括需求关键内容特征向量、需求全局内容特征向量以及需求细节内容特征向量;所述查询标识内容对包括查询关键标识内容对、查询全局标识内容对以及查询细节标识内容对;所述查询关键标识内容对包括以所述医学图像编码对应确定的关键查询标识,以及以所述需求关键内容特征向量对应确定的查询关键内容;所述查询细节标识内容对包括以所述医学图像编码对应确定的查询细节标识,以及以所述需求细节内容特征向量对应确定的查询细节内容;所述查询全局标识内容对包括以所述医学图像编码对应确定的查询全局标识,以及以所述需求全局内容特征向量对应确定的查询全局内容;
获取所述关键内容特征向量以及所述查询关键内容之间的第一匹配分值,将第一匹配分值大于第一匹配分值阈值的查询关键内容作为目标查询关键内容,将所述目标查询关键内容相应的关键查询标识作为目标关键查询标识,在所述医学图像信息区块链中获取所述目标关键查询标识相应的关键医学图像数据;
获取所述全局内容特征向量以及所述查询全局内容之间的第二匹配分值,将第二匹配分值大于第二匹配分值阈值的查询全局内容作为目标查询全局内容,将所述目标查询全局内容相应的查询全局标识作为目标查询全局标识,在所述医学图像信息区块链中获取所述目标查询全局标识相应的全局医学图像数据;
获取所述细节内容特征向量以及所述查询细节内容之间的第三匹配分值,将第三匹配分值大于第三匹配分值阈值的查询细节内容作为目标查询细节内容,将所述目标查询细节内容相应的查询细节标识作为目标查询细节标识,在所述医学图像信息区块链中获取所述目标查询细节标识相应的细节医学图像数据;
将所述关键医学图像数据、所述细节医学图像数据以及所述全局医学图像数据作为所述进阶医学图像数据。
6.根据权利要求1所述的方法,其特征在于,所述获取所述待定医学图像数据相应的目标需求病理图像视觉特征向量、所述待定医学图像数据相应的目标需求病理图像内容特征向量以及所述待定医学图像数据相应的目标病理关联内容,包括:
将所述待定医学图像数据相应的医学图像编码作为待定医学图像数据标编码;
在所述医学图像信息区块链中,提取和所述待定医学图像数据标编码存在映射关系的所述目标需求病理图像视觉特征向量、与所述待定医学图像数据标编码存在映射关系的目标需求关键内容特征向量、与所述待定医学图像数据标编码存在映射关系的目标需求全局内容特征向量、与所述待定医学图像数据标编码存在映射关系的目标需求细节内容特征向量,以及与所述待定医学图像数据标编码存在映射关系的所述目标病理关联内容;
将所述目标需求关键内容特征向量、所述目标需求全局内容特征向量以及所述目标需求细节内容特征向量,作为所述目标需求病理图像内容特征向量。
7.根据权利要求1所述的方法,其特征在于,所述待定医学图像数据的总数量为至少两个,至少两个待定医学图像数据包括第一待定医学图像数据;所述目标病理关联内容包括所述第一待定医学图像数据相应的第一目标病理关联内容;所述目标需求病理图像内容特征向量包括所述第一待定医学图像数据相应的第一目标需求病理图像内容特征向量;所述目标需求病理图像视觉特征向量包括所述第一待定医学图像数据相应的第一目标需求病理图像视觉特征向量;
所述基于所述当前患者病历、所述当前病理图像内容特征向量、所述当前病理图像视觉特征向量、所述目标病理关联内容、所述目标需求病理图像内容特征向量,以及所述目标需求病理图像视觉特征向量,确定所述待定医学图像数据与所述当前患者匹配请求之间的需求匹配系数,根据所述需求匹配系数对所述待定医学图像数据进行基于匹配程度的顺序排列,包括:
获取所述当前患者病历以及所述第一目标病理关联内容之间的匹配分值,将所述匹配分值作为所述第一待定医学图像数据相应的文本匹配分值;所述当前病理图像内容特征向量包括关键内容特征向量、全局内容特征向量以及细节内容特征向量;所述第一目标需求病理图像内容特征向量包括第一目标需求关键内容特征向量、第一目标需求全局内容特征向量以及第一目标需求细节内容特征向量;
获取所述关键内容特征向量以及所述第一目标需求关键内容特征向量之间的匹配分值,将所述匹配分值作为所述第一待定医学图像数据相应的关键内容匹配分值;
获取所述全局内容特征向量以及所述第一目标需求全局内容特征向量之间的匹配分值,将所述匹配分值作为所述第一待定医学图像数据相应的全局内容匹配分值;
获取所述细节内容特征向量以及所述第一目标需求细节内容特征向量之间的匹配分值,将所述匹配分值作为所述第一待定医学图像数据相应的细节内容匹配分值;
将所述关键内容匹配分值、所述全局内容匹配分值以及所述细节内容匹配分值作为所述内容匹配分值;
获取所述当前病理图像视觉特征向量以及所述第一目标需求病理图像视觉特征向量之间的匹配分值,将所述匹配分值作为所述第一待定医学图像数据相应的视觉匹配分值;
对所述文本匹配分值、所述内容匹配分值以及所述视觉匹配分值执行加权平均运算,得到所述第一待定医学图像数据与所述当前患者匹配请求之间的需求匹配系数;
根据每个待定医学图像数据分别相应的需求匹配系数,对所述至少两个待定医学图像数据进行基于匹配程度的顺序排列。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取医学影像,提取所述医学影像中的至少两张医学影像截图,所述至少两张医学影像截图包括第一医学影像截图;
获取所述第一医学影像截图以及第二医学影像截图之间的匹配分值;所述第二医学影像截图包括所述至少两张医学影像截图中除了所述第一医学影像截图之外的医学影像截图;
若所述匹配分值等于或大于匹配分值阈值,则将所述第一医学影像截图作为冗余医学影像截图,从所述至少两张医学影像截图中丢弃所述冗余医学影像截图,得到中间医学影像截图;
对所述中间医学影像截图进行无效数据判断处理,得到所述中间医学影像截图的无效局部图像,对所述中间医学影像截图中的所述无效局部图像进行移除处理,得到所述目标医学影像截图;
获取所述目标医学影像截图相应的医学影像截图编码,将所述医学影像截图编码作为医学图像编码;
获取所述医学影像配置的医学影像描述内容,将所述医学影像描述内容作为第一医学影像截图描述;
对所述目标医学影像截图中的生理结构信息进行分析,得到生理结构描述,将所述生理结构描述作为第二医学影像截图描述;
提取所述目标医学影像截图中的诊断备注信息,将所述诊断备注信息作为第三医学影像截图描述;
将所述第一医学影像截图描述、所述第二医学影像截图描述以及所述第三医学影像截图描述作为所述医学影像截图描述,将所述医学影像截图描述作为病理关联内容,根据所述医学图像编码以及所述病理关联内容构建查询特征为文字描述特征的查询标识内容对,将查询特征为文字描述特征的查询标识内容对存储于所述医学图像信息区块链;
获取所述目标医学影像截图相应的需求病理图像内容特征向量,以及所述目标医学影像截图相应的需求病理图像视觉特征向量;
将所述医学图像编码作为查询内容,将所述需求病理图像内容特征向量作为查询标识,构建查询特征为内容特征的查询标识内容对,将查询特征为内容特征的查询标识内容对存储于所述医学图像信息区块链;
将所述需求病理图像视觉特征向量以及所述医学图像编码构建映射关系并保存于所述医学图像信息区块链。
9.根据权利要求8所述的方法,其特征在于,所述文字描述特征包括关键词特征以及病历内容特征;
所述根据所述医学图像编码以及所述病理关联内容构建查询特征为文字描述特征的查询标识内容对,包括:
对所述病理关联内容进行文本提取处理,得到所述病理关联内容相应的医学图像关键词,将所述医学图像编码作为查询标识,将所述医学图像关键词作为查询内容,构建查询特征为所述关键词特征的查询标识内容对;
获取所述病理关联内容相应的病理关联内容特征向量,将所述医学图像编码作为查询标识,将所述病理关联内容特征向量作为查询内容,构建查询特征为所述病历内容特征的查询标识内容对;
所述需求病理图像内容特征向量包括需求关键内容特征向量、需求全局内容特征向量以及需求细节内容特征向量;
所述获取所述目标医学影像截图相应的需求病理图像内容特征向量,以及所述目标医学影像截图相应的需求病理图像视觉特征向量,包括:
将所述目标医学影像截图加载至病理图像识别模型,利用所述病理图像识别模型得到所述目标医学影像截图的截图类别信息;
将所述目标医学影像截图加载至与所述截图类别信息存在关联关系的关键特征抽取模型,利用所述关键特征抽取模型提取所述目标医学影像截图的关键内容特征,得到所述需求关键内容特征向量;
将所述目标医学影像截图加载至与所述截图类别信息存在关联关系的细节特征抽取模型,利用所述细节特征抽取模型提取所述目标医学影像截图的细节内容特征,得到所述需求细节内容特征向量;
将所述目标医学影像截图加载至与所述截图类别信息存在关联关系的全局特征抽取模型,利用所述全局特征抽取模型提取所述目标医学影像截图的全局内容特征,得到所述需求全局内容特征向量;
将所述目标医学影像截图加载至与所述截图类别信息存在关联关系的视觉特征抽取模型,利用所述视觉特征抽取模型,提取所述目标医学影像截图的组织结构特征以及所述目标医学影像截图的病变特征,对所述目标医学影像截图的组织结构特征以及所述目标医学影像截图的病变特征执行深度特征融合操作,得到所述需求病理图像视觉特征向量。
10.一种服务器***,其特征在于,包括服务器,所述服务器用于执行权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410221607.6A CN118193770A (zh) | 2024-02-28 | 2024-02-28 | 基于深度学习的医学图像检索方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410221607.6A CN118193770A (zh) | 2024-02-28 | 2024-02-28 | 基于深度学习的医学图像检索方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118193770A true CN118193770A (zh) | 2024-06-14 |
Family
ID=91393896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410221607.6A Pending CN118193770A (zh) | 2024-02-28 | 2024-02-28 | 基于深度学习的医学图像检索方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118193770A (zh) |
-
2024
- 2024-02-28 CN CN202410221607.6A patent/CN118193770A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109166105B (zh) | 人工智能医学影像的肿瘤恶性风险分层辅助诊断*** | |
Yousef et al. | A holistic overview of deep learning approach in medical imaging | |
Ali et al. | A systematic review of automated melanoma detection in dermatoscopic images and its ground truth data | |
US10504197B2 (en) | Clinical decision support systems and methods | |
RU2533500C2 (ru) | Система и способ для объединения клинических признаков и признаков изображений для диагностики с применением компьютера | |
JP6807820B2 (ja) | 画像検索装置、方法およびプログラム | |
US20220051771A1 (en) | Report generating system and methods for use therewith | |
JP2011118543A (ja) | 症例画像検索装置、方法およびプログラム | |
CN112101451A (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
CN113743463B (zh) | 一种基于影像数据和深度学习的肿瘤良恶性识别方法和*** | |
US20230112591A1 (en) | Machine learning based medical data checker | |
WO2020110519A1 (ja) | 類似度決定装置、方法およびプログラム | |
US20220037019A1 (en) | Medical scan artifact detection system and methods for use therewith | |
CN111128348A (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
CN110992312B (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
WO2023274599A1 (en) | Methods and systems for automated follow-up reading of medical image data | |
CN118193770A (zh) | 基于深度学习的医学图像检索方法及*** | |
KR102360615B1 (ko) | 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 | |
CN111265234A (zh) | 一种肺部纵膈***的性质判定方法及*** | |
Thool et al. | Artificial Intelligence in Medical Imaging Data Analytics using CT Images | |
Khattar et al. | A Review on Preprocessing, Segmentation and Classification Techniques for Detection of Skin Cancer | |
CN114926477B (zh) | 一种基于深度学习的脑肿瘤多模态mri影像分割方法 | |
Xu et al. | Clinical-Inspired Framework for Automatic Kidney Stone Recognition and Analysis on Transverse CT Images | |
US20230401697A1 (en) | Radiogenomics for cancer subtype feature visualization | |
Vankdothu et al. | Brain MRI Images for Tumour Detection Using Storage Optimisation Technique Check for updates |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |