CN117237351A - 一种超声图像分析方法以及相关装置 - Google Patents
一种超声图像分析方法以及相关装置 Download PDFInfo
- Publication number
- CN117237351A CN117237351A CN202311512020.2A CN202311512020A CN117237351A CN 117237351 A CN117237351 A CN 117237351A CN 202311512020 A CN202311512020 A CN 202311512020A CN 117237351 A CN117237351 A CN 117237351A
- Authority
- CN
- China
- Prior art keywords
- image
- clinical information
- result
- segmentation
- prompt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003703 image analysis method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 75
- 201000010099 disease Diseases 0.000 claims abstract description 55
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 55
- 238000003745 diagnosis Methods 0.000 claims abstract description 49
- 229940079593 drug Drugs 0.000 claims abstract description 21
- 239000003814 drug Substances 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims description 144
- 238000012545 processing Methods 0.000 claims description 66
- 238000002604 ultrasonography Methods 0.000 claims description 47
- 230000003902 lesion Effects 0.000 claims description 42
- 238000010191 image analysis Methods 0.000 claims description 34
- 238000005520 cutting process Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 18
- 230000002452 interceptive effect Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 18
- 230000004807 localization Effects 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 14
- 239000010410 layer Substances 0.000 description 99
- 238000005516 engineering process Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 16
- 238000003709 image segmentation Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000013461 design Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 206010019799 Hepatitis viral Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000009533 lab test Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 208000019423 liver disease Diseases 0.000 description 2
- 230000003908 liver function Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000004962 physiological condition Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 201000001862 viral hepatitis Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请公开了一种超声图像分析方法以及相关装置,应用于人工智能领域。本申请提供的方法能够对超声图像进行病灶区域分割,获得病灶定位结果,再获取超声图像对应的目标对象的个人信息和病史作为第一临床信息,该目标对象当前的药物使用记录和检测结果作为第二临床信息,然后将病灶定位结果、第一临床信息和第二临床信息输入到多层感知机中,以分析出疾病诊断结果。通过上述方式,结合目标对象以前的临床信息和当前的临床信息来分析病灶定位结果,避免个体差异的影响,提高诊断结果的准确度。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种超声图像分析方法以及相关装置。
背景技术
在现代医学诊断中,超声技术已成为一种关键的、非侵入性的工具,尤其是在肝脏疾病的检测和定位方面。然而,超声图像往往受到各种因素的干扰,例如机器的质量、操作者的经验和病人的生理条件,导致图像可能出现复杂和模糊的场景。
当前卷积神经网络为代表的前馈式深度神经网络实现了深层非线性网络的特征学习,从而获得数据的各类特征,来分析获得目标检测、分割、特征提取、病灶识别等分析结果,但是,不同目标对象其器官外观尺寸或形态上存在差异性,即使是同一个个体其医学影像在不同的断层所表现出的尺寸和形状也会有区别,因此超声图像分割诊断效果不稳定。
发明内容
本申请实施例提供了一种超声图像分析方法以及相关装置,结合目标对象以前的临床信息和当前的临床信息来分析病灶定位结果,避免个体差异的影响,提高诊断结果的准确度。
有鉴于此,本申请一方面提供一种超声图像分析方法,包括:
对目标对象的超声图像进行病灶区域分割,以获得病灶定位结果;
获取第一临床信息和第二临床信息,第一临床信息包括目标对象的个人信息和病史,第二临床信息包括目标对象当前的药物使用记录和检测结果;
根据多层感知机对病灶定位结果、第一临床信息和第二临床信息进行分析,以获得疾病诊断结果。
本申请另一方面提供一种超声图像分析装置,包括:
分割单元,用于对目标对象的超声图像进行病灶区域分割,以获得病灶定位结果;
获取单元,用于获取第一临床信息和第二临床信息,第一临床信息包括目标对象的个人信息和病史,第二临床信息包括目标对象当前的药物使用记录和检测结果;
分析单元,用于根据多层感知机对病灶定位结果、第一临床信息和第二临床信息进行分析,以获得疾病诊断结果。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
分割单元具体用于,根据图像提示符对超声图像进行病灶区域分割,以获得病灶定位结果,图像提示符为在超声图像上的人工病灶位置标注。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,图像提示符包括提示点和提示框中的至少一种;
分割单元具体用于:
根据提示点和提示框中的至少一种对超声图像进行病灶区域分割,以获得病灶定位结果。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,分割单元具体用于:
获取超声图像上的图像提示符;
根据图像提示符对超声图像进行切割,以获得感兴趣图像;
将感兴趣图像分成多个小块,并进行信息编码;
对编码后的多个小块进行图像切割,以获得病灶定位结果。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,分割单元具体用于:
将编码后的多个小块经过多个分割编码模块处理,以输出第一分割编码数据和第二分割编码数据,第一分割编码数据和第二分割编码数据在对提示点所在小块的关注度不同;
将第一分割编码数据经过多层感知机处理,生成整合数据;
将第二分割编码数据经过卷积层处理,以生成卷积数据;
将整合数据和卷积数据进行点积操作,以获得病灶定位结果。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
分割单元具体用于:
将提示点所在小块经过归一化和自注意力处理后,与提示点所在小块进行残差连接,以获得第一残差结果,提示点所在小块为分割编码模块的第一输入;
将第一残差结果与多个小块进行归一化和交叉注意力处理,以获得第一交叉结果,多个小块为分割编码模块的第二输入;
将第一交叉结果经过归一化和多层感知机处理后,与第一交叉结果进行残差连接,以获得第二残差结果,第二残差结果为下一个分割编码模块的第一输入,第一分割编码数据包括最后一个分割编码模块的第二残差结果;
将第二残差结果进行归一化和交叉注意力处理,以获得第二交叉结果,第二交叉结果为下一个分割编码模块的第二输入,第二分割编码数据包括最后一个分割编码模块的第二交叉结果。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,分析单元具体用于:
对病灶定位结果进行图像数据分类,以获得疾病分类概率;
根据多层感知机对疾病分类概率、第一临床信息和第二临床信息进行分析,以获得疾病诊断结果。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
获取单元还用于:
获取对超声图像的编辑指令;
装置还包括确定单元,确定单元用于:
根据编辑指令确定图像提示符。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
获取单元具体用于:
从数据库中提取第一临床信息;
基于输入数据确定第二临床信息。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
装置还包括展示单元,展示单元用于:
展示交互窗口;
获取单元还用于,获取交互窗口上的编辑数据作为输入数据。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
获取单元具体用于:
从数据库中提取第一临床信息和第二临床信息。
本申请的另一方面提供了一种计算机设备,包括:
存储器、收发器、处理器以及总线***;
其中,存储器用于存储程序;
处理器用于执行存储器中的程序,包括执行上述各方面的方法;
总线***用于连接存储器以及处理器,以使存储器以及处理器进行通信。
本申请的另一方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面的方法。
本申请的另一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方面所提供的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
对超声图像进行病灶区域分割,获得病灶定位结果,再获取超声图像对应的目标对象的个人信息和病史作为第一临床信息,该目标对象当前的药物使用记录和检测结果作为第二临床信息,然后将病灶定位结果、第一临床信息和第二临床信息输入到多层感知机中,以分析出疾病诊断结果。通过上述方式,结合目标对象以前的临床信息和当前的临床信息来分析病灶定位结果,避免个体差异的影响,提高诊断结果的准确度。
附图说明
图1为本申请实施例中一种实施环境的示意图;
图2为本申请实施例中一种超声图像分析方法的流程示意图;
图3为本申请实施例中一种对超声图像进行病灶区域分割的示意图;
图4为本申请实施例中一种根据图像提示符对超声图像进行病灶区域分割的流程图;
图5为本申请实施例中一种病灶区域分割流程示意图;
图6为本申请实施例中一种图像分割示意图;
图7为本申请实施例中另一种图像切割示意图;
图8为本申请实施例中一种病疾病诊断的示意图;
图9为本申请实施例中一种多层感知机的示意图;
图10为本申请实施例中一种超声图像分析装置的结构示意图;
图11为本申请实施例中一种计算机设备的结构示意图。
实施方式
本申请实施例提供了一种超声图像分析方法以及相关装置,用于结合目标对象以前的临床信息和当前的临床信息来分析病灶定位结果,避免个体差异的影响,提高诊断结果的准确度。
下面结合附图,对本申请的实施例进行描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本申请,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本申请同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本申请的主旨。
可以理解的是,在本申请的具体实施方式中,涉及到个人信息、病史等相关的数据,当本申请实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
在现代医学诊断中,超声技术已成为一种关键的、非侵入性的工具,尤其是在肝脏疾病的检测和定位方面。然而,超声图像往往受到各种因素的干扰,例如机器的质量、操作者的经验和病人的生理条件,导致图像可能出现复杂和模糊的场景。目前,随着深度学习和医学影像技术的发展,将深度学习技术应用于医学图像已成为一个相对热门的研究领域。将深度学习技术和医学影像相结合构建病灶的自动化检测、分割和诊断***,在一定程度上能够有效提升相关医生的工作效率。
当前卷积神经网络为代表的前馈式深度神经网络实现了深层非线性网络的特征学习,从而获得数据的各类特征,来分析获得目标检测、分割、特征提取、病灶识别等分析结果,但是,不同目标对象其器官外观尺寸或形态上存在差异性,即使是同一个个体其医学影像在不同的断层所表现出的尺寸和形状也会有区别,因此超声图像分割诊断效果不稳定。
基于此,本申请实施例提供一种优化的超声图像分析方式,在对目标对象的超声图像进行病灶区域分割获得病灶定位结果后,还可以获取该目标对象的个人信息和病史作为第一临床信息,该目标对象当前的药物使用记录和检测结果作为第二临床信息,然后将病灶定位结果、第一临床信息和第二临床信息输入到多层感知机中,以分析出疾病诊断结果。与此同时,本申请提供的方案在病灶区域分割的基础上,结合目标对象以前的临床信息和当前的临床信息来分析病灶定位结果,避免个体差异的影响,提高诊断结果的准确度。
本申请实施例应用于人工智能(artificial intelligence,AI)领域,人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互***、机电一体化等。其中,预训练模型又称大模型、基础模型,经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例涉及的病灶区域分割,是计算机视觉技术(computer vision, CV)在图像分割领域的相关应用。计算机视觉技术是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。大模型技术为计算机视觉技术发展带来重要变革,swin-transformer,ViT,V-MOE,MAE等视觉领域的预训练模型经过微调(fine tune)可以快速、广泛适用于下游具体任务。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例的多层感知机是机器学习(machine learning, ML)/深度学习的应用,机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络(artificial neural network,ANN)、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果,融合了以上技术。
其中,多层感知机(multi-layer perceptron)也叫人工神经网络,是由单层感知机推广而来,最主要的特点是由多个神经元层。一般将多层感知机的第一层称为输入层,最后一层称为输出层,中间的层称为隐藏层,多层感知机没有规定隐藏层的数量,它中间可以有多个隐藏层,最简单的MLP只含一个隐藏层,即三层的结构,可以根据实际处理需求选择合适的隐藏层层数,且对隐藏层和输出层中每层神经元的个数也没有限制。
图1示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中包括计算机设备110和服务器120。其中,计算机设备110与服务器120之间通过通信网络进行数据通信,可选地,通信网络可以是有线网络也可以是无线网络,且该通信网络可以是局域网、城域网以及广域网中的至少一种。
计算机设备110是具有超声图像分析需求的电子设备,该电子设备可以是智能手机、平板电脑或个人计算机等等,本实施例并此不作限定。在一些实施例中,计算机设备110中运行有具有超声图像分析功能的应用程序。该应用程序可为社交类应用程序、图像检索类应用程序以及图片存储类应用程序。当需要对目标图像集合(如医学图像、动物图像、人物图像等)进行分析时,例如可将超声图像集合或超声图像输入应用程序,从而将超声图像集合或目标图像上传至服务器120,由服务器120进行超声图像分析,基于超声图像进行病灶区域分割,确定病灶定位结果,再确定超声图像所属的目标对象对应的第一临床信息和第二临床信息,以将病灶定位结果、第一临床信息和第二临床信息输入到多层感知机中,由多层感知机输出疾病诊断结果。
服务器120可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一些实施例中,服务器120用于为计算机设备110中安装的应用程序提供超声图像分析服务。可选的,服务器120中设置有超声图像分析模块,用于对计算机设备110发送的图像进行分类。
当然,在其他可能的实施方式中,超声图像分析模块也可以部署在计算机设备110侧,由计算机设备110在本地实现超声图像分析,无需借助服务器120,本实施例对此不作限定。为了方便表述,下述各个实施例以超声图像分析方法由计算机设备执行为例进行说明。
可选的,部署有超声图像分析模块的服务器可以是一个分布式***中的一个节点,其中,该分布式***可以为区块链***,该区块链***可以是由该多个节点通过网络通信的形式连接形成的分布式***。其中,节点之间可以组成点对点网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链***中的一个节点。其中,节点包括硬件层、中间层、操作***层和应用层。
请参考图2,其示出了本申请一个示例性实施例提供的超声图像分析方法的流程示意图。本实施例以该方法用于计算机设备为例进行说明,该方法包括如下步骤。
步骤201.对目标对象的超声图像进行病灶区域分割,以获得病灶定位结果。
在一个或多个实施例中,可以收集各个目标对象的超声图像,对其进行预处理,得到符合后续处理的待分割图像,将待分割图像进行病灶区域分割,得到病灶定位结果,该病灶定位结果可以包括病灶分类、病灶位置坐标以及病灶分割轮廓等。
其中,预处理的方式可以是归一化、图像增强、去噪处理,以尽可能去除超声图像的干扰因素。病灶区域分割是采用神经网络的方式准确分离出超声图像中的病变区域。
步骤202.获取第一临床信息和第二临床信息,第一临床信息包括目标对象的个人信息和病史,第二临床信息包括目标对象当前的药物使用记录和检测结果。
在一个或多个实施例中,基于需要进行分析的超声图像,可以确定该超声图像所属的目标对象,本申请实施例中的目标对象可以是患者或其他需要分析的对象,则可以获取该目标对象的第一临床信息和第二临床信息,其中,该第一临床信息为该目标对象的基础临床信息,如个人信息和病史等,具体可以是其出现的症状、完整的病史、身高、体重、生活习惯以及过去的医疗记录等。第二临床信息为该目标对象更深入的临床信息,如当前的药物使用记录和检测结果等,具体可以是药物使用记录、体格检查结果、肝功能的实验室测试数据以及针对病毒性肝炎的相关标志物检测结果等。
其中,第一临床信息和第二临床信息的采集时间分别也可以在步骤201执行,此处不作限定。
步骤203.根据多层感知机对病灶定位结果、第一临床信息和第二临床信息进行分析,以获得疾病诊断结果。
在一个或多个实施例中,在获得病灶定位结果、第一临床信息和第二临床信息之后,计算机设备可以将病灶定位结果、第一临床信息和第二临床信息输入到多层感知机中进行决策,以输出疾病诊断结果。多层感知机通过三个隐藏层对病灶定位结果、第一临床信息和第二临床信息进行连续转换,并利用修正线性单元(rectified linear unit,ReLU)函数激活函数引入非线性。隐藏层的值由输入层决定,通过线性回归的特性可知,隐藏层受输入层中的特征影响,而对于输出层,隐藏层又可以看作是新的输入层,是考虑了输入层特征之间影响而得到的输入层,通过隐藏层的加入,可以克服线性回归的局限性。
本申请实施例通过对超声图像进行病灶区域分割,获得病灶定位结果,再获取超声图像对应的目标对象的个人信息和病史作为第一临床信息,该目标对象当前的药物使用记录和检测结果作为第二临床信息,然后将病灶定位结果、第一临床信息和第二临床信息输入到多层感知机中,以分析出疾病诊断结果。通过上述方式,结合目标对象以前的临床信息和当前的临床信息来分析病灶定位结果,避免个体差异的影响,提高诊断结果的准确度。
可选地,在上述图2对应的各个实施例的基础上,本申请实施例提供的另一个可选实施例中,对目标对象的超声图像进行病灶区域分割,以获得病灶定位结果具体包括:
根据图像提示符对超声图像进行病灶区域分割,以获得病灶定位结果,图像提示符为在超声图像上的人工病灶位置标注。
在一个或多个实施例中,介绍了一种病灶区域分割的方式。在对超声图像进行病灶区域分割之前,还可以对超声图像进行标注,计算机设备可以提供平台获取人工在超声图像上标注的病灶位置,该病灶位置以图像提示符的形式指示,即超声图像中图像提示符的位置为人工划分的病灶位置。
其次,本申请实施例中,提供了一种病灶区域分割的方式。通过上述方式,超声图像预先通过图像提示符的形式进行人工标注,这一独特功能赋予医生更大的控制权和灵活性。在超声扫描中,由于各种原因,有些部分可能比其他部分更难以识别。此时,医生可以通过手动提示功能,向模型提供关键的信息和方向,它有助于指导后续的自动分割算法更准确地定位和区分目标病灶,使其更加准确地进行分割,这大大增强了模型在处理模糊和复杂图像时的鲁棒性。
可选地,在上述图2对应的各个实施例的基础上,本申请实施例提供的另一个可选实施例中,图像提示符包括提示点和提示框中的至少一种;根据图像提示符对超声图像进行病灶区域分割,以获得病灶定位结果具体包括:
根据提示点和提示框中的至少一种对超声图像进行病灶区域分割,以获得病灶定位结果。
在一个或多个实施例中,介绍了一种标注图像提示符的方式。图像提示符的形式包括提示点和提示框中的至少一种,即医生可以通过提示点在超声图像上指示病灶区域,也可以通过提示框在超声图像上指示病灶区域,还可以同时通过提示点和提示框在超声图像上指示病灶区域,计算机设备可以依据医生指示的提示点和/或提示框对超声图像进行病灶区域分割,来确定病灶定位结果。
其中,通过提示点和提示框中的至少一种的灵活的标定方式,可以适应各种复杂的病灶形态和大小,具体的如下所述:
提示点:这种方式适用于小至中等大小的病灶或者形态相对规则的病灶,小至中等大小的病灶或者形态相对规则的病灶的规格可以通过预设范围圈定或协商规定,此处不作限定。通过在超声图像上选择并标记病灶的关键位置,可以为算法提供一个大致的病灶位置和方向信息,从而进行更精确的分割。该关键位置可以通过至少一个提示点指示,一个提示点指示的方式可以通过圈定该提示点周围预设大小的区域作为医生认定的病灶区域,两个以上提示点的方式为该至少两个提示点周围预设大小的区域结合的区域作为医生认定的病灶区域。
提示框:当病灶具有较大的面积或不规则的形态时,使用提示框是进行分割是非常有意义的,不但引入了医疗专家的先验知识,还可以使得分割更精确,较大的面积或不规则的形态的规格可以通过预设范围圈定或协商规定,此处不作限定。通过在图像上绘制一个矩形框,围绕目标病灶,可以为算法提供一个初步的病灶区域定位,进一步帮助模型缩小搜索范围并提高分割效率。
提示点和的组合:这是一种更为细致和灵活的标定方式。首先在病灶的某个关键位置放置提示点,然后使用提示框进一步定义该区域。提供不同层级的病灶关注度,这种组合方法可以为算法提供更多的上下文信息,尤其是在处理具有多个病灶或邻近病灶的图像时,提高分割效率。
示例性的,基于提示点和提示框中的至少一种的方式对超声图像进行病灶区域分割的示意图可以参照图3所示,图3示出了原始图像、输入图像提示符和病灶区域分割结果三个过程,原始图像输入图像提示符后的图示示例性的可以如图3所示,只通过提示点指示病灶区域的方式:在超声图像的关键位置标记两个提示点来圈定病灶区域;只通过提示框指示病灶区域的方式:在超声图像的关键位置绘制一个提示框来圈定病灶区域;同时通过提示点和提示框指示病灶区域的方式:在超声图像的关键位置标记一个提示点,再通过提示框为该提示点限定范围;通过两个提示框分层级提示病灶区域的方式;通过两个提示点指示,再通过提示框为提示点限定范围的方式。
其次,本申请实施例中,提供了一种标注图像提示符的方式。通过上述方式,使用提示点和提示框中的至少一种对超声图像进行病灶区域标注,可以基于病灶大小或形状灵活地使用不同的图像提示符进行标注,可以适应各种复杂的病灶,提高超声图像标注的灵活度和适应度。
可选地,在上述图2对应的各个实施例的基础上,本申请实施例提供的另一个可选实施例中,根据图像提示符对超声图像进行病灶区域分割,以获得病灶定位结果具体包括:
获取超声图像上的图像提示符;
根据图像提示符对超声图像进行切割,以获得感兴趣图像;
将感兴趣图像分成多个小块,并进行信息编码;
对编码后的多个小块进行图像切割,以获得病灶定位结果。
在一个或多个实施例中,介绍了一种病灶区域分割的方式。基于医生在超声图像上标注的图像提示符,可以先对超声图像进行粗切割,这是一种根据人工先验经验初步进行图像处理方式,用于将关注的区域与其他不相关的图像部分区分开来。这通常是图像分割算法的第一步,可以加速后续的处理并提高准确性。假设该图像提示符使用了提示框进行标注,则粗切割的方式可以是在原始图像上确定提示框的位置。提示框的四个角点坐标(例如左上、右上、左下和右下)为感兴趣区域的界限。使用提示框的坐标信息,从原始图像中提取出一个子图像,即提示框内的内容,该子图像即感兴趣图像。假设该图像提示符只使用了提示点进行标注,则粗切割的方式可以是在原始图像上确定提示点的位置,基于该提示点的位置划分预设范围的区域作为感兴趣区域,则该感兴趣区域中的图像为感兴趣图像。该感兴趣图像包含了我们想要分析和处理的主要信息。感兴趣图像内的内容还可以利用阈值处理或其他图像处理技巧,进一步提升图像质量或将不相关的背景部分与关注位置进一步区分开。在获得感兴趣图像之后,还可以感兴趣图像分成多个小块,并将分割后得小块进行位置编码,记录每个小块的位置。其中,计算机设备分割小块并进行信息编码的方式可以通过embedding操作执行,即将感兴趣图像分成N*N个小块,小块也可以称为token,每个token的像素值为W/N*H/N(W为感兴趣图像的宽,H为感兴趣图像的高),然后将每个token的W/N*H/N的像素拉直成一个向量,以对感兴趣图像实现降维。再将信息编码后的多个小块输入到图像切割模块中进行病灶区域分割,即可确定病灶定位结果。
示例性的,根据图像提示符对超声图像进行病灶区域分割的流程图可以参照图4所示,步骤401.获取原始超声图像;步骤402.获取超声图像上的图像提示符,计算机设备提供输入接口,由人工绘制图像提示符;步骤403.计算机设备根据图像提示符对超声图像进行粗分割,以获得感兴趣图像;步骤404.对感兴趣图像分成多个小块,并进行信息编码,可以通过embedding操作对多个小块进行编码降维;步骤405.将编码后的多个小块输入到图像切割模块中进行病灶区域分割,确定病灶定位结果。
其中,以提示框进行标注为例,病灶区域分割流程可以如图5所示,原始超声图像可以直接输入到图像分割模块中,以输出图像分割结果,也可以先经过提示框对应的粗切割,生成感兴趣图像,再将感兴趣图像通过embedding操作分成多个小块,将该多个小块输入到图像分割模块中进行图像分割,输出图像分割结果。
其次,本申请实施例中,提供了一种病灶区域分割的方式。通过上述方式,先对超声图像基于图像提示符切割感兴趣图像,再将感兴趣图像分成多个小块并进行信息编码,然后在对信息编码后的多个小块进行图像分割,通过切割感兴趣图像,将关注的区域与其他不相关的图像部分区分开来,加速后续的处理并提高准确性,且减少计算资源的使用,将感兴趣图像进行信息编码,可以对感兴趣图像进行降维,进一步减少资源的使用。
可选地,在上述图2对应的各个实施例的基础上,本申请实施例提供的另一个可选实施例中,对编码后的多个小块进行图像切割,以获得病灶定位结果具体包括:
将编码后的多个小块经过多个分割编码模块处理,以输出第一分割编码数据和第二分割编码数据,第一分割编码数据和第二分割编码数据在对提示点所在小块的关注度不同;
将第一分割编码数据经过多层感知机处理,生成整合数据;
将第二分割编码数据经过卷积层处理,以生成卷积数据;
将整合数据和卷积数据进行点积操作,以获得病灶定位结果。
在一个或多个实施例中,介绍了一种图像切割的方式。在获得信息编码后的多个小块后,可以将编码后的多个小块输入到多个分割编码模块中进行处理,此处以图像提示符包括提示点为例进行解释,若图像提示符只包括提示框,则关注度是对提示框的关注。分割编码模块可以基于提示点所在的小块和总共的多个小块作为输入,基于对提示点所在小块的自注意力机制,生成对提示点所在小块的关注度不同的第一分割编码数据和第二分割编码数据,其中,第一分割编码数据对提示点所在小块的关注度高于第二分割编码数据对提示点所在小块的关注度。计算机设备可以将第一分割编码数据输入到多层感知机中进行整合,该多层感知机可以设置多个,以生成对小块的整合结果,该整合结果可以称为整合数据。计算机设备可以将第二分割编码数据输入到卷积层中进行卷积,以生成对小块的卷积结果,该卷积结果可以称为卷积数据。最终,将这整合数据和卷积数据进行点积操作,从而融合它们的特征,这样,可以得到最终的肝脏病灶区域的病灶定位结果。
示例性的,请参阅图6所示的图像分割示意图,该图像分割结构包括多个(N个)分割编码模块,图6中多个分割编码模块结构一致,仅示出一个分割编码模块,第一分割编码模块的输入为经过信息编码后的多个小块以及该多个小块中包括提示点的小块,第一分割编码模块的输出再经过第二个分割编码模块处理,直至最后一个分割编码模块输出对提示点所在小块的关注度不同的第一分割编码数据和第二分割编码数据,再将第一分割编码数据经过多层感知机处理,生成整合数据,图6中的多层感知机为三层的多层感知机,且第一分割数据在输入到多层感知机之前,还可以先依次经过归一化层(Layer Norm)、交叉注意力层(Cross-attention)和另一层归一化层。将第二分割数据经过卷积层处理,以生成卷积数据,图6中卷积层可以为Transformer架构的卷积层(Conv trans),且Conv trans可以设置多个。将这第一分割数据和第二分割数据进行点积操作,从而融合它们的特征,以输出病灶定位结果。
其次,本申请实施例中,提供了一种图像切割的方式。通过上述方式,多个小块经过分割编码模块输出对提示点所在小块的关注度不同的第一分割编码数据和第二分割编码数据,再对经过多层感知机的第一分割编码数据和经过卷积层的第二分割编码数据进行点积处理,生成病灶定位结果,该多个小块和提示点所在小块被视为两个不同的输入序列,并通过交叉注意力机制相互影响,从而更好地捕捉提示点所在小块与所有小块之间的依赖关系。
可选地,在上述图2对应的各个实施例的基础上,本申请实施例提供的另一个可选实施例中,将编码后的多个小块经过多个分割编码模块,输出第一分割编码数据和第二分割编码数据具体包括:
将提示点所在小块经过归一化和自注意力处理后,与提示点所在小块进行残差连接,以获得第一残差结果,提示点所在小块为分割编码模块的第一输入;
将第一残差结果与多个小块进行归一化和交叉注意力处理,以获得第一交叉结果,多个小块为分割编码模块的第二输入;
将第一交叉结果经过归一化和多层感知机处理后,与第一交叉结果进行残差连接,以获得第二残差结果,第二残差结果为下一个分割编码模块的第一输入,第一分割编码数据包括最后一个分割编码模块的第二残差结果;
将第二残差结果进行归一化和交叉注意力处理,以获得第二交叉结果,第二交叉结果为下一个分割编码模块的第二输入,第二分割编码数据包括最后一个分割编码模块的第二残差结果。
在一个或多个实施例中,介绍了一种分割编码的方式。每个分割编码模块具有两个输入,可以称为第一输入和第二输入,多个小块分成两个不同的输入,即多个小块和提示点所在小块,相应的,则第一个分割编码模块的第一输入为提示点所在小块,第一个分割编码模块的第二输入为多个小块。可以理解的是,多个小块包括所有小块,该提示点所在小块包含于该图像小块。计算机设备可以将提示点所在小块进行归一化处理,再经过自注意力(Self Attention)处理,其中,自注意力机制主要用于捕捉输入序列中不同位置的关联性,计算机设备可以将自注意力处理的输出再结合原始的提示点所在的小块进行残差连接,生成第一残差结果,即第一残差结果保留了原始信息。接下来需要将第一残差结果与多个小块结合,即先将第一残差结果和该多个小块经过归一化处理,然后实施交叉注意力处理,以获得第一交叉结果。交叉注意力机制是一种扩展自注意力机制的技术,通过引入额外的输入序列来融合两个不同来源的信息,以实现更准确的建模。对于第一交叉结果,还可以在经过归一化处理和多层感知机处理,并将多层感知机处理结果结合第一交叉结果进行残差连接,生成保留第一交叉结果信息的第二残差结果。该第二残差结果可以再结合原始的多个小块的信息进行归一化处理和交叉注意力处理,以融合原始的多个小块的信息。其中,第二残差结果可以作为多个分割编码模块中下一个分割编码模块的第一输入,第二交叉结果可以作为该下一个分割编码模块的第二输入,相应的,最后一个分割编码模块的第二残差结果可以作为第一分割编码数据,该最后一个分割编码模块的第二交叉结果可以作为第二分割编码数据。
示例性的,请参阅图7所示的另一种图像切割示意图,以图6为基础,图7中多个分割编码模块结构一致,图7中仅示出一个分割编码模块,第一分割编码模块的输入为经过信息编码后的多个小块以及该多个小块中包括提示点的小块,提示点所在小块先经过归一化层和自注意力层,然后与原始的提示点所在小块进行残差连接,生成第一残差结果,将第一残差结果与原始的多个小块输入到归一化层,再经过交叉注意力层处理,输出第一交叉结果。第一交叉结果经过归一化层和多层感知机处理后,再与第一交叉结果进行残差连接,生成第二残差结果,第二残差结果与原始的多个小块再经过归一化层和交叉注意力层,生成第二交叉结果,第二残差结果作为下一个分割编码模块的第一输入,第二交叉结果作为下一个分割编码模块的第二输入,由于图7中仅示出一个分割编码模块,则示例性的可以将图7中的第二残差结果作为第一分割编码数据,第二交叉数据作为第二分割编码数据。
其次,本申请实施例中,提供了另一种图像切割的方式。通过上述方式,将提示点所在小块进行自注意力处理,以及与完整的多个小块的信息进行交叉注意力处理,且通过残差连接处理保留提示点小块的信息,实现分割编码模块更准确的建模。
可选地,在上述图2对应的各个实施例的基础上,本申请实施例提供的另一个可选实施例中,根据多层感知机对病灶定位结果、第一临床信息和第二临床信息进行分析,以获得疾病诊断结果具体包括:
对病灶定位结果进行图像数据分类,以获得疾病分类概率;
根据多层感知机对疾病分类概率、第一临床信息和第二临床信息进行分析,以获得疾病诊断结果。
在一个或多个实施例中,介绍了一种病疾病诊断的方式。计算机设备在获得病灶定位结果后,则可以基于该病灶定位结果进行图像数据分类,即对病灶定位结果指示的病灶进行疾病分类,确定患者患病的概率分布,该概率分布可以称为疾病分类概率。计算机设备可以基于多层感知机的多层结构,结构使得网络可以学习并表示高度复杂的数据模式,将对疾病分类概率、第一临床信息和第二临床信息输入到该多层感知机中进行处理,从而对疾病进行准确的预测,输出疾病诊断结果。其中,疾病分类概率即对病灶所对应的疾病的可能性的分布概率,而疾病诊断结果是结合临床信息,获得功能性和生物学信息,为疾病诊断提供了一个更全面的诊断视角,并输出的更新的该病灶所对应的疾病的可能性的分布概率。再由医生对疾病诊断结果作进一步的抉择。
示例性的,病疾病诊断的示意图可以参照图8所示,计算机设备已获得的信息为病灶定位结果、第一临床信息和第二临床信息,其中,图8中将第一临床信息和第二临床信息统一称为临床信息。则步骤801.计算机设备可以将病灶定位结果输入到图像分类网络中进行分类,输出疾病分类概率;步骤802.计算机设备将疾病分类概率与临床信息输入到多层感知机中进行决策,生成疾病诊断结果。图像分类可以使用TransFormer模块进行多模态数据处理,即该图像分类网络可以以Swim Transformer为例。
示例性的,多层感知机的示意图可以参照图9所示,多层感知机通过三个隐藏层对输入数据进行连续转换,并利用ReLU激活函数引入非线性。经过这些隐藏层处理后,数据进入输出层,并使用Softmax函数输出预测每种疾病的概率。这种结构使得网络可以学习并表示高度复杂的数据模式,从而对疾病进行准确的预测。
其次,本申请实施例中,提供了一种疾病诊断的方式。通过上述方式,使用多层感知机,对基于病灶定位结果进行图像数据分类生成的疾病分类结果,结合第一临床信息和第二临床信息生成疾病诊断结果,通过融合图像分割与病患的临床信息,医生不仅可以从图像中获取结构性信息,还可以从临床数据中获得功能性和生物学信息,为医生提供了一个更全面的诊断视角,有助于减少误诊和漏诊,这不仅可以提高患者的治疗效果,还可以降低由于诊断错误导致的医疗成本。
可选地,在上述图2对应的各个实施例的基础上,本申请实施例提供的另一个可选实施例中,在根据图像提示符对超声图像进行病灶区域分割,以获得病灶定位结果之前,该方法还包括:
获取对超声图像的编辑指令;
根据编辑指令确定图像提示符。
在一个或多个实施例中,介绍了一种标注图像提示符的方式。计算机设备在进行病灶区域分割前,还可以将超声图像发送给医生标注,可以理解的是,计算机设备也可以直接在显示界面展示超声图像以提供标注途径,此处不作限定,基于医生对该超声图像的编辑指令,在该超声图像上展示编辑结果,该编辑结果可以是医生对病灶区域的提示框圈定或者提示点标定等,基于医生的确定指令,计算机设备可以相应确定图像提示符。其中,一个超声图像可以经由多个医生标注,计算机设备在确定多个标注结果不同时,返回给医生确认,此处不作限定。
其次,本申请实施例中,提供了一种标注图像提示符的方式。通过上述方式,基于医生的编辑指令确定该超声图像的图像提示符,人为手动提示功能为模型提供了关键信息,使其能够在面对不确定和复杂的图像数据时仍然保持高效和稳定。
可选地,在上述图2对应的各个实施例的基础上,本申请实施例提供的另一个可选实施例中,获取第一临床信息和第二临床信息具体包括:
从数据库中提取第一临床信息;
基于输入数据确定第二临床信息。
在一个或多个实施例中,介绍了一种获取临床信息的方式。医院的数据库可以管理患者的个人信息和病史,计算机设备的数据库可以通过接口连接医院的数据库,即从医院的数据库提取患者的个人信息和病史作为第一临床信息,第二临床信息是患者当前的药物使用记录和检测结果,可以由医生直接输入到计算机设备,由计算机设备基于输入数据确定第二临床信息。其中,第一临床信息也可以设置输入接口,该输入接口可以通过多种方法来全面了解患者的个人情况和健康状况。主要目的是收集患者的标准化信息,本申请实施例采用标准化问卷形式收集,但不限于此。即通过多年临床医生的诊断经验,设计一个问卷。此问卷包括开放式问题(需要患者自由发挥回答)和封闭式问题(提供选项供患者选择)两部分。封闭式问题有助于收集定量数据,而开放式问题可以提供更详细的信息。封闭式问题包括患者的个人信息(如姓名、性别、年龄)、疾病史、症状描述、药物使用、饮食习惯、生活方式等。开放式问题需要患者自由发挥回答。封闭式问题有助于收集定量数据,而开放式问题可以提供更详细的信息。
其次,本申请实施例中,提供了一种获取临床信息的方式。通过上述方式,通过数据库提取第一临床信息,通过输入接口获取医生输入数据来确定第二临床信息,基于患者临床信息的不同时期临床信息提供不同的采集方式,提高临床信息采集的灵活性。
可选地,在上述图2对应的各个实施例的基础上,本申请实施例提供的另一个可选实施例中,在基于输入数据确定第二临床信息之前,该方法还包括:
展示交互窗口;
获取交互窗口上的编辑数据作为输入数据。
在一个或多个实施例中,介绍了一种获取输入数据的方式。基于医生对患者的药物使用及检查,即医生已知药物使用记录和检查结果,可以通过输入接口指示计算机设备展示交互窗口,然后将药物使用记录和检查结果作为第二临床信息编辑到该交互窗口中,则计算机设备可以将交互窗口上的编辑数据作为输入数据。其中,第二临床数据主要涉及更深入的临床信息,包括药物使用记录、体格检查结果、肝功能的实验室测试数据以及针对病毒性肝炎的相关标志物检测结果等,具有需要输入的患者必要的数据,则在交互窗口配置预先设定的模板和格式要求,例如特定的日期格式、数值范围限制等。
其次,本申请实施例中,提供了一种获取输入数据的方式。通过上述方式,计算机设备展示交互窗口,并响应于医生在该交互窗口上的编辑,将编辑数据作为输入数据,交互窗口提供了数据输入模板,完整、准确的临床数据是诊断和治疗的关键,它提供了关于患者病情和治疗反应的深入了解。同时为后续模型预测诊断提供判断依据,为帮助识别疾病模式、评估治疗方法的效果、提高医疗服务的质量等提供了支持。
可选地,在上述图2对应的各个实施例的基础上,本申请实施例提供的另一个可选实施例中,获取第一临床信息和第二临床信息具体包括:
从数据库中提取第一临床信息和第二临床信息。
在一个或多个实施例中,介绍了一种获取临床信息的方式。由于医生对患者的药物使用以及身体检查流程也可以基于医院***下发,则医院***也保留有该患者的药物使用记录以及检查结果,计算机设备可以直接从医院数据库中提取第一临床信息和第二临床信息。
其次,本申请实施例中,提供了一种获取临床信息的方式。通过上述方式,直接从数据库提取第一临床信息和第二临床信息,提供了另外的临床信息获取方式,提高了信息获取的灵活性。
下面对本申请中的报警处理装置进行详细描述,请参阅图10,图10为本申请实施例中超声图像分析装置一个实施例示意图,超声图像分析装置100包括:
分割单元1001,用于对目标对象的超声图像进行病灶区域分割,以获得病灶定位结果;
获取单元1002,用于获取第一临床信息和第二临床信息,第一临床信息包括目标对象的个人信息和病史,第二临床信息包括目标对象当前的药物使用记录和检测结果;
分析单元1003,用于根据多层感知机对病灶定位结果、第一临床信息和第二临床信息进行分析,以获得疾病诊断结果。
本申请实施例中,对超声图像进行病灶区域分割,获得病灶定位结果,再获取超声图像对应的目标对象的个人信息和病史作为第一临床信息,该目标对象当前的药物使用记录和检测结果作为第二临床信息,然后将病灶定位结果、第一临床信息和第二临床信息输入到多层感知机中,以分析出疾病诊断结果。通过上述方式,结合目标对象以前的临床信息和当前的临床信息来分析病灶定位结果,避免个体差异的影响,提高诊断结果的准确度。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的超声图像分析装置100的另一实施例中,分割单元1001具体用于,根据图像提示符对超声图像进行病灶区域分割,以获得病灶定位结果,图像提示符为在超声图像上的人工病灶位置标注。
本申请实施例中,提供了一种超声图像分析装置。通过上述装置,超声图像预先通过图像提示符的形式进行人工标注,这一独特功能赋予医生更大的控制权和灵活性。医生可以通过手动提示功能,向模型提供关键的信息和方向,它有助于指导后续的自动分割算法更准确地定位和区分目标病灶,使其更加准确地进行分割,这大大增强了模型在处理模糊和复杂图像时的鲁棒性。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的超声图像分析装置100的另一实施例中,图像提示符包括提示点和提示框中的至少一种;
分割单元1001具体用于:
根据提示点和提示框中的至少一种对超声图像进行病灶区域分割,以获得病灶定位结果。
本申请实施例中,提供了一种超声图像分析装置。通过上述装置,使用提示点和提示框中的至少一种对超声图像进行病灶区域标注,可以基于病灶大小或形状灵活地使用不同的图像提示符进行标注,可以适应各种复杂的病灶,提高超声图像标注的灵活度和适应度。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的超声图像分析装置100的另一实施例中,分割单元1001具体用于:
获取超声图像上的图像提示符;
根据图像提示符对超声图像进行切割,以获得感兴趣图像;
将感兴趣图像分成多个小块,并进行信息编码;
对编码后的多个小块进行图像切割,以获得病灶定位结果。
本申请实施例中,提供了一种超声图像分析装置。通过上述装置,先对超声图像基于图像提示符切割感兴趣图像,再将感兴趣图像分成多个小块并进行信息编码,然后在对信息编码后的多个小块进行图像分割,通过切割感兴趣图像,将关注的区域与其他不相关的图像部分区分开来,加速后续的处理并提高准确性,且减少计算资源的使用,将感兴趣图像进行信息编码,可以对感兴趣图像进行降维,进一步减少资源的使用。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的超声图像分析装置100的另一实施例中,分割单元1001具体用于:
将编码后的多个小块经过多个分割编码模块处理,以输出第一分割编码数据和第二分割编码数据,第一分割编码数据和第二分割编码数据在对提示点所在小块的关注度不同;
将第一分割编码数据经过多层感知机处理,生成整合数据;
将第二分割编码数据经过卷积层处理,以生成卷积数据;
将整合数据和卷积数据进行点积操作,以获得病灶定位结果。
本申请实施例中,提供了一种超声图像分析装置。通过上述装置,多个小块经过分割编码模块输出对提示点所在小块的关注度不同的第一分割编码数据和第二分割编码数据,再对经过多层感知机的第一分割编码数据和经过卷积层的第二分割编码数据进行点积处理,生成病灶定位结果,该多个小块和提示点所在小块被视为两个不同的输入序列,并通过交叉注意力机制相互影响,从而更好地捕捉提示点所在小块与所有小块之间的依赖关系。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的超声图像分析装置100的另一实施例中,分割单元1001具体用于:
将提示点所在小块经过归一化和自注意力处理后,与提示点所在小块进行残差连接,以获得第一残差结果,提示点所在小块为分割编码模块的第一输入;
将第一残差结果与多个小块进行归一化和交叉注意力处理,以获得第一交叉结果,多个小块为分割编码模块的第二输入;
将第一交叉结果经过归一化和多层感知机处理后,与第一交叉结果进行残差连接,以获得第二残差结果,第二残差结果为下一个分割编码模块的第一输入,第一分割编码数据包括最后一个分割编码模块的第二残差结果;
将第二残差结果进行归一化和交叉注意力处理,以获得第二交叉结果,第二交叉结果为下一个分割编码模块的第二输入,第二分割编码数据包括最后一个分割编码模块的第二交叉结果。
本申请实施例中,提供了一种超声图像分析装置。通过上述装置,将提示点所在小块进行自注意力处理,以及与完整的多个小块的信息进行交叉注意力处理,且通过残差连接处理保留提示点小块的信息,实现分割编码模块更准确的建模。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的超声图像分析装置100的另一实施例中,分析单元1003具体用于:
对病灶定位结果进行图像数据分类,以获得疾病分类概率;
根据多层感知机对疾病分类概率、第一临床信息和第二临床信息进行分析,以获得疾病诊断结果。
本申请实施例中,提供了一种超声图像分析装置。通过上述装置,使用多层感知机,对基于病灶定位结果进行图像数据分类生成的疾病分类结果,结合第一临床信息和第二临床信息生成疾病诊断结果,通过融合图像分割与病患的临床信息,医生不仅可以从图像中获取结构性信息,还可以从临床数据中获得功能性和生物学信息,为医生提供了一个更全面的诊断视角,有助于减少误诊和漏诊,这不仅可以提高患者的治疗效果,还可以降低由于诊断错误导致的医疗成本。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的超声图像分析装置100的另一实施例中,获取单元1002还用于:
获取对超声图像的编辑指令;
装置100还包括确定单元1004,确定单元1004用于:
根据编辑指令确定图像提示符。
本申请实施例中,提供了一种超声图像分析装置。通过上述装置,基于医生的编辑指令确定该超声图像的图像提示符,人为手动提示功能为模型提供了关键信息,使其能够在面对不确定和复杂的图像数据时仍然保持高效和稳定。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的超声图像分析装置100的另一实施例中,获取单元1002具体用于:
从数据库中提取第一临床信息;
基于输入数据确定第二临床信息。
本申请实施例中,提供了一种超声图像分析装置。通过上述装置,通过数据库提取第一临床信息,通过输入接口获取医生输入数据来确定第二临床信息,基于患者临床信息的不同时期临床信息提供不同的采集方式,提高临床信息采集的灵活性。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的超声图像分析装置100的另一实施例中,装置100还包括展示单元1005,展示单元1005用于:
展示交互窗口;
获取单元1002还用于,获取交互窗口上的编辑数据作为输入数据。
本申请实施例中,提供了一种超声图像分析装置。通过上述装置,计算机设备展示交互窗口,并响应于医生在该交互窗口上的编辑,将编辑数据作为输入数据,交互窗口提供了数据输入模板,完整、准确的临床数据是诊断和治疗的关键,它提供了关于患者病情和治疗反应的深入了解。同时为后续模型预测诊断提供判断依据,为帮助识别疾病模式、评估治疗方法的效果、提高医疗服务的质量等提供了支持。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的超声图像分析装置100的另一实施例中,获取单元1002具体用于:
从数据库中提取第一临床信息和第二临床信息。
本申请实施例中,提供了一种超声图像分析装置。通过上述装置,直接从数据库提取第一临床信息和第二临床信息,提供了另外的临床信息获取方式,提高了信息获取的灵活性。
图11是本申请实施例提供的一种计算机设备结构示意图,该计算机设备300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以***处理器(centralprocessing units,CPU)322(例如,一个或一个以上处理器)和存储器332,一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中,存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对计算机设备中的一系列指令操作。更进一步地,中央处理器322可以设置为与存储介质330通信,在计算机设备300上执行存储介质330中的一系列指令操作。
计算机设备300还可以包括一个或一个以上电源326,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出接口358,和/或,一个或一个以上操作***341,例如Windows ServerTM,Mac OS XTM,UnixTM, LinuxTM,FreeBSDTM等等。
上述实施例中由计算机设备所执行的步骤可以基于该图11所示的计算机设备结构。
本申请实施例中还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现前述各个实施例描述方法的步骤。
本申请实施例中还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,实现前述各个实施例描述方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所展示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元展示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.一种超声图像分析方法,其特征在于,包括:
对目标对象的超声图像进行病灶区域分割,以获得病灶定位结果;
获取第一临床信息和第二临床信息,所述第一临床信息包括所述目标对象的个人信息和病史,所述第二临床信息包括所述目标对象当前的药物使用记录和检测结果;
根据多层感知机对所述病灶定位结果、所述第一临床信息和所述第二临床信息进行分析,以获得疾病诊断结果。
2.根据权利要求1所述的方法,其特征在于,所述对目标对象的超声图像进行病灶区域分割,以获得病灶定位结果包括:
根据图像提示符对超声图像进行病灶区域分割,以获得所述病灶定位结果,所述图像提示符为在所述超声图像上的人工病灶位置标注。
3.根据权利要求2所述的方法,其特征在于,所述图像提示符包括提示点和提示框中的至少一种;
根据图像提示符对超声图像进行病灶区域分割,以获得所述病灶定位结果包括:
根据所述提示点和所述提示框中的至少一种对超声图像进行病灶区域分割,以获得所述病灶定位结果。
4.根据权利要求2或3所述的方法,其特征在于,所述根据图像提示符对超声图像进行病灶区域分割,以获得所述病灶定位结果包括:
获取所述超声图像上的所述图像提示符;
根据所述图像提示符对所述超声图像进行切割,以获得感兴趣图像;
将所述感兴趣图像分成多个小块,并进行信息编码;
对编码后的所述多个小块进行图像切割,以获得所述病灶定位结果。
5.根据权利要求4所述的方法,其特征在于,所述对编码后的所述多个小块进行图像切割,以获得所述病灶定位结果包括:
将编码后的所述多个小块经过多个分割编码模块处理,以输出第一分割编码数据和第二分割编码数据,所述第一分割编码数据和所述第二分割编码数据在对所述提示点所在小块的关注度不同;
将所述第一分割编码数据经过多层感知机处理,生成整合数据;
将所述第二分割编码数据经过卷积层处理,以生成卷积数据;
将所述整合数据和所述卷积数据进行点积操作,以获得所述病灶定位结果。
6.根据权利要求5所述的方法,其特征在于,所述将编码后的所述多个小块经过多个分割编码模块,输出第一分割编码数据和第二分割编码数据包括:
将所述提示点所在小块经过归一化和自注意力处理后,与所述提示点所在小块进行残差连接,以获得第一残差结果,所述提示点所在小块为所述分割编码模块的第一输入;
将所述第一残差结果与所述多个小块进行归一化和交叉注意力处理,以获得第一交叉结果,所述多个小块为所述分割编码模块的第二输入;
将所述第一交叉结果经过归一化和多层感知机处理后,与所述第一交叉结果进行残差连接,以获得第二残差结果,所述第二残差结果为下一个所述分割编码模块的第一输入,所述第一分割编码数据包括最后一个所述分割编码模块的第二残差结果;
将所述第二残差结果进行归一化和交叉注意力处理,以获得第二交叉结果,所述第二交叉结果为下一个所述分割编码模块的第二输入,所述第二分割编码数据包括最后一个所述分割编码模块的第二交叉结果。
7.根据权利要求1所述的方法,其特征在于,所述根据多层感知机对所述病灶定位结果、所述第一临床信息和所述第二临床信息进行分析,以获得疾病诊断结果包括:
对所述病灶定位结果进行图像数据分类,以获得疾病分类概率;
根据所述多层感知机对所述疾病分类概率、所述第一临床信息和所述第二临床信息进行分析,以获得所述疾病诊断结果。
8.根据权利要求2所述的方法,其特征在于,在根据图像提示符对超声图像进行病灶区域分割,以获得所述病灶定位结果之前,所述方法还包括:
获取对所述超声图像的编辑指令;
根据所述编辑指令确定所述图像提示符。
9.根据权利要求1所述的方法,其特征在于,所述获取第一临床信息和第二临床信息包括:
从数据库中提取所述第一临床信息;
基于输入数据确定所述第二临床信息。
10.根据权利要求9所述的方法,其特征在于,在基于输入数据确定所述第二临床信息之前,所述方法还包括:
展示交互窗口;
获取所述交互窗口上的编辑数据作为所述输入数据。
11.根据权利要求1所述的方法,其特征在于,获取第一临床信息和第二临床信息包括:
从数据库中提取所述第一临床信息和所述第二临床信息。
12.一种超声图像分析装置,其特征在于,包括:
分割单元,用于对目标对象的超声图像进行病灶区域分割,以获得病灶定位结果;
获取单元,用于获取第一临床信息和第二临床信息,第一临床信息包括目标对象的个人信息和病史,第二临床信息包括目标对象当前的药物使用记录和检测结果;
分析单元,用于根据多层感知机对病灶定位结果、第一临床信息和第二临床信息进行分析,以获得疾病诊断结果。
13.一种计算机设备,其特征在于,包括:存储器、收发器、处理器以及总线***;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括执行如权利要求1至11中任一项所述的方法;
所述总线***用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
14.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至11中任一项所述的方法。
15.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上执行时,所述计算机执行如权利要求1至11中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311512020.2A CN117237351B (zh) | 2023-11-14 | 2023-11-14 | 一种超声图像分析方法以及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311512020.2A CN117237351B (zh) | 2023-11-14 | 2023-11-14 | 一种超声图像分析方法以及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117237351A true CN117237351A (zh) | 2023-12-15 |
CN117237351B CN117237351B (zh) | 2024-04-26 |
Family
ID=89084689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311512020.2A Active CN117237351B (zh) | 2023-11-14 | 2023-11-14 | 一种超声图像分析方法以及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117237351B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117522877A (zh) * | 2024-01-08 | 2024-02-06 | 吉林大学 | 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000134622A (ja) * | 1998-10-23 | 2000-05-12 | Matsushita Electric Ind Co Ltd | データ処理装置 |
US20140200452A1 (en) * | 2013-01-15 | 2014-07-17 | Samsung Electronics Co., Ltd. | User interaction based image segmentation apparatus and method |
CN107582097A (zh) * | 2017-07-18 | 2018-01-16 | 中山大学附属第医院 | 一种基于多模态超声组学的智能辅助决策*** |
CN113592797A (zh) * | 2021-07-21 | 2021-11-02 | 山东大学 | 基于多数据融合及深度学习的乳腺结节风险等级预测*** |
CN114219755A (zh) * | 2021-11-02 | 2022-03-22 | 佛山市第四人民医院(佛山市结核病防治所) | 基于图像和临床数据的肺结核智能检测方法及*** |
CN115457261A (zh) * | 2022-08-05 | 2022-12-09 | 厦门大学 | 医学图像小病灶分割方法、存储介质和电子设备 |
CN115908805A (zh) * | 2022-11-17 | 2023-04-04 | 上海大学 | 基于卷积增强交叉自注意力变形器的u型图像分割网络 |
CN116152266A (zh) * | 2023-03-30 | 2023-05-23 | 华中科技大学 | 一种穿刺针超声图像的分割方法、装置和*** |
CN116616816A (zh) * | 2023-06-12 | 2023-08-22 | 周天远 | 一种能够自动记录并指导扫查的超声诊断方法和*** |
-
2023
- 2023-11-14 CN CN202311512020.2A patent/CN117237351B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000134622A (ja) * | 1998-10-23 | 2000-05-12 | Matsushita Electric Ind Co Ltd | データ処理装置 |
US20140200452A1 (en) * | 2013-01-15 | 2014-07-17 | Samsung Electronics Co., Ltd. | User interaction based image segmentation apparatus and method |
CN107582097A (zh) * | 2017-07-18 | 2018-01-16 | 中山大学附属第医院 | 一种基于多模态超声组学的智能辅助决策*** |
CN113592797A (zh) * | 2021-07-21 | 2021-11-02 | 山东大学 | 基于多数据融合及深度学习的乳腺结节风险等级预测*** |
CN114219755A (zh) * | 2021-11-02 | 2022-03-22 | 佛山市第四人民医院(佛山市结核病防治所) | 基于图像和临床数据的肺结核智能检测方法及*** |
CN115457261A (zh) * | 2022-08-05 | 2022-12-09 | 厦门大学 | 医学图像小病灶分割方法、存储介质和电子设备 |
CN115908805A (zh) * | 2022-11-17 | 2023-04-04 | 上海大学 | 基于卷积增强交叉自注意力变形器的u型图像分割网络 |
CN116152266A (zh) * | 2023-03-30 | 2023-05-23 | 华中科技大学 | 一种穿刺针超声图像的分割方法、装置和*** |
CN116616816A (zh) * | 2023-06-12 | 2023-08-22 | 周天远 | 一种能够自动记录并指导扫查的超声诊断方法和*** |
Non-Patent Citations (1)
Title |
---|
唐思源 等: "基于卷积神经网络的胰腺癌检测方法的研究", 软件, vol. 41, no. 05, 15 May 2020 (2020-05-15), pages 87 - 90 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117522877A (zh) * | 2024-01-08 | 2024-02-06 | 吉林大学 | 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法 |
CN117522877B (zh) * | 2024-01-08 | 2024-04-05 | 吉林大学 | 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117237351B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
WO2020215985A1 (zh) | 医学影像分割方法、装置、电子设备和存储介质 | |
WO2020215984A1 (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
WO2020151536A1 (zh) | 一种脑部图像分割方法、装置、网络设备和存储介质 | |
US10733727B2 (en) | Application of deep learning for medical imaging evaluation | |
CN110211087B (zh) | 可分享的半自动糖尿病眼底病变标注方法 | |
CN110689025B (zh) | 图像识别方法、装置、***及内窥镜图像识别方法、装置 | |
CN109544518B (zh) | 一种应用于骨骼成熟度评估的方法及其*** | |
CN108446730A (zh) | 一种基于深度学习的ct肺结节检测方法 | |
CN110390674A (zh) | 图像处理方法、装置、存储介质、设备以及*** | |
CN117237351B (zh) | 一种超声图像分析方法以及相关装置 | |
CN113662664B (zh) | 一种基于仪器追踪的外科手术质量客观自动化评估方法 | |
CN110427994A (zh) | 消化道内镜图像处理方法、装置、存储介质、设备及*** | |
CN113724185B (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
CN112686899B (zh) | 医学图像分析方法和装置、计算机设备及存储介质 | |
CN113822323A (zh) | 脑部扫描图像的识别处理方法、装置、设备及存储介质 | |
Gaber et al. | Comprehensive assessment of facial paralysis based on facial animation units | |
CN116703837B (zh) | 一种基于mri图像的肩袖损伤智能识别方法及装置 | |
Hasan et al. | Dental impression tray selection from maxillary arch images using multi-feature fusion and ensemble classifier | |
WO2020099941A1 (en) | Application of deep learning for medical imaging evaluation | |
CN114974522A (zh) | 医学影像处理方法、装置、电子设备及存储介质 | |
CN113077894A (zh) | 基于图卷积神经网络的皮肤诊断***、方法、设备及介质 | |
CN112614092A (zh) | 脊柱检测方法和装置 | |
CN112967246A (zh) | 用于临床决策支持***的x射线影像辅助装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |