CN109242865A - 基于多图谱的医学图像自动分区***、方法、装置及存储介质 - Google Patents
基于多图谱的医学图像自动分区***、方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109242865A CN109242865A CN201811126495.7A CN201811126495A CN109242865A CN 109242865 A CN109242865 A CN 109242865A CN 201811126495 A CN201811126495 A CN 201811126495A CN 109242865 A CN109242865 A CN 109242865A
- Authority
- CN
- China
- Prior art keywords
- image
- network model
- training
- sample image
- picture portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种多图谱的医学图像自动分区方法、***、装置及存储介质。所述方法包括以下至少一个操作。可以获取样本图像,以及所述样本图像的解剖图谱。可以获取图像分区网络模型,所述图像分区网络模型为深度学习模型。可以用所述训练完备的图像分区网络模型处理待测图像,确定待测图像的图像分区结果。可以用所述训练完备的图像分区网络模型处理待测图像,确定待测图像的图像分区结果。本发明将深度卷积神经网络引入多图谱的医学图像自动分区操作中,采用多类别多样本训练后的神经网络鲁棒性好,分区耗时短,准确率高。
Description
技术领域
本发明涉及图像处理技术领域,更具体的,涉及一种基于深度卷积神经网络的医学图像自动分区方法、***、装置及存储介质。
背景技术
人体的内部的各个器官和/或组织,对人体的生理活动起着无可替代的作用。其中任何一个出现病变都会对人体健康造成危害。例如,脊柱对人体具有支撑、负重、减震、保护和运动等功能,若脊柱承受负荷过多,出现弯曲或突出等症状,则会对人体造成损伤。人的脊柱由相似的多块椎骨连接而成,分为五大类-颈椎、胸椎、腰椎、骶骨和尾骨。每一类椎骨都有着不同的功能。又例如,作为神经***的最高级部分,大脑是意识、精神、语言、学习、记忆和智能等高级神经活动的物质基础。人的大脑解剖结构具有相似性,其表面有很多下凹的沟或裂,沟、裂间***的部分称为回,沟与回的位置、形态均有规律可循。同时,人体各项功能在大脑结构中均有定位,从而实现大脑对人体生理活动的控制。因此,大脑可以按解剖结构或功能划分为多个区,各个区对人的语言、运动、记忆等起着不同作用。对于人体的器官和/或组织的精确分区,在对人体健康状态的监测,以及对疾病的诊断、预防和治疗均有重要意义。理论上,精确的分割必须由具有丰富解剖学经验的专业医学相关人员才能完成,但随着医学成像科技的发展,医学成像设备,例如,磁共振(MRI),的扫描层数大幅上升,这使得人工手动分割变得极其耗时。随着计算机硬件和图像处理技术的不断发展,利用计算机进行大脑图像自动分割成为一种可行的策略,大大降低医生的工作量,同时降低了人工干预的主观判断误差,提高了分割的精确度。
分割效率低和分割精度不高是目前基于计算机的自动图像分割所面临的主要问题。图像分割本质上为映射问题,即将待分割图像映射至已分割好的模板图像上,映射的过程中需进行配准操作,由于精确的配准操作通常十分耗时,因此自动分割的速度一般较慢;以往研究中提出的基于模糊聚类的分割方法等,由于其原理上的局限性,通常难以实现分割精度上的大幅提升;近年来提出的基于人工智能(AI)的分割方法,通常采用单一图谱作为先验信息,在实际临床应用中,面对多种不同的疾病,仅仅建立一个统一模板无法满足对分割精度的要求。
传统的图谱法结构分区主要包含4个步骤,分别为:1)模板空间图谱获取,2)图像配准,3)模板图谱变换。模板空间图谱获取是指针对模板图像,根据临床先验知识以及划分指标,手动将模板图像(磁共振影像等)分割为不同的区域。图像配准是指利用配准方法,将模板图像映射到需要分割的图像上。模板图谱变换是指对于分割好的模板空间图谱,利用前述映射过程生成的变形场,将模板空间的图谱变换至每个待分区图像空间中,从而获得原始输入图像的分割结果。近来发展的多图谱方法则将多个个体图像作为模板,通过上述方法获取基于不同模板的大脑分区图谱,通过融合,多数投票等策略,得到最终待分区样本的分区图谱。
传统的图谱法结构分区,在目前的临床、科研应用中已经取得了一定的效果,但是在整个处理流程中依然存在需要进一步完善的地方。首先,传统的图谱法分区流程的操作关键是图像映射(包括图像配准和图像逆变换)的精确性,图像映射的效果在很大程度上决定了分割结果的好坏,只有达到较高程度精确性的配准方法才可用于分割,这对本身涉及复杂计算的配准操作而言是一个挑战。同时,非线性配准操作通常非常耗时(约1小时),难以实现图像分区全流程的高效自动化,造成极大的时间成本损耗。另一方面,传统分割方法通常以单个模板的脑图谱作为分割依据,因此模板图谱的质量对最终分割结果有直接影响,图谱本身某些区域的低精度分割甚至误分割,将会使待分割图像的分割结果出现相同甚至更严重的错误。此外,若分割操作只被用于研究单一的病理特性,则某种疾病的某个病例的分割结果基本就可以作为一个统一的参考图谱,但在研究不同疾病、或患病群体与正常群体在待分割样本中并存时,由于解剖结构各异,由单一模板的分区结果作为统一的参考图谱很难满足分区准确性的要求。
发明内容
为了解决上述问题,本发明提供的技术方案如下:
一种基于多图谱的医学图像自动分区的方法。所述方法可以包括以下至少一个操作。可以获取样本图像,以及所述样本图像的解剖图谱。可以获取图像分区网络模型,所述图像分区网络模型为深度学习模型。可以用所述样本图像以及所述样本图像的解剖图谱训练所述图像分区网络模型,获取训练完备的图像分区网络模型。可以用所述训练完备的图像分区网络模型处理待测图像,确定待测图像的图像分区结果。
在本发明中,所述图像分区网络模型为卷积神经网络模型
在本发明中,所述图像分区网络模型可以基于以下至少一个操作获得。可以将多个样本图像划分为训练集和测试集。可以利用所述训练集中的样本图像及其分割图像对初始图像分区网络模型训练后得到中间图像分区网络模型。可以将测试集中的样本图像输入至所述中间图像分区网络模型,获得所述样本图像的预测分割图像。可以确定所述预测分割图像的分割区域和所述样本图像的分割图像的分割区域的重叠率。可以判定所述重叠率大于第一阈值的分割区域的个数是否大于第二阈值。可以响应于所述重叠率大于所述阈值的判定,将所述中间图像分区网络模型指定为所述图像分区网络模型。
在本发明中,所述图像分区网络模型为以下其中一种:V-Net、U-Net、GAN或以上任意一种与SEBlock相结合的结合模型。
在本发明中,所述SEBlock构成所述图像分区网络模型中的3×3卷积层的旁路。
一种基于多图谱的医学图像自动分区的***。所述***包括获取模块、训练模块和确定模块。所述获取模块用于获取样本图像以及所述样本图像的解剖图谱;以及用于获取图像分区网络模型,所述图像分区网络模型为深度学习模型。所述训练模块用于利用所述样本图像以及所述样本图像的解剖图谱训练所述图像分区网络模型,获取训练完备的图像分区网络模型。所述确定模块用于利用所述训练完备的图像分区网络模型处理待测图像,确定待测图像的图像分区结果。
一种大基于多图谱的医学图像自动分区装置,所述装置包括处理器以及存储器;所述存储器用于存储指令,所述指令被所述处理器执行时,导致所述装置实现如上述任一项基于多图谱的医学图像自动分区方法对应的操作。
一种计算机可读存储介质,其特征在于,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机运行如上述任一项基于多图谱的医学图像自动分区方法对应的操作。
附加的特征将在下面的描述中部分地阐述,并且对于本领域技术人员来说,通过查阅以下内容和附图将变得显而易见,或者可以通过实例的产生或操作来了解。本发明的特征可以通过实践或使用以下详细实例中阐述的方法、工具和组合的各个方面来实现和获得。
附图说明
根据示例性实施例可以进一步描述本申请。参考附图可以详细描述所述示例性实施例。所述实施例并非限制性的示例性实施例,其中相同的附图标记代表附图的几个视图中相似的结构,并且其中:
图1是根据本发明的一些实施例所示的一个示例性医学图像自动分区***的示意图;
图2是根据本发明的一些实施例所示的一个示例性计算设备的示例性硬件组件和/或软件组件的示意图;
图3是根据本发明的一些实施例所示的一个示例性移动设备的示例性硬件组件和/或软件组件的示意图;
图4是根据本发明的一些实施例所示的一个示例性处理设备的框图;
图5是根据本发明的一些实施例所示的确定医学图像分区结果的示例性流程图;
图6是根据本发明的一些实施例所示的训练图像分区网络模型的示例性流程图;
图7是根据本发明的一些实施例所示的示例性深度神经网络的结构示意图;
图8是根据本发明的一些实施例所示的示例性下采样模组的结构示意图;
图9是根据本发明的一些实施例所示的示例性上采样模组的结构示意图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在车辆客户端和/或服务器上。所述模块仅是说明性的,并且所述***和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
在一个方面,本发明涉及确定大脑结构分区的***和方法。可以使用利用经过多类别多样本训练后的深度卷积神经网络对目标图像进行分割处理。
图1是根据本发明的一些实施例所示的一种医学图像自动分区***100的示意图。例如,医学图像自动分区***100可以是一对患者进行成像扫描的平台。医学图像自动分区***100可以包括一个成像设备110、一个网络120、一个或一个以上终端130、一个处理设备140和一个存储设备150。医学图像自动分区***100中的各个部件可以以多种方式相连接。例如,成像设备110可以与处理设备140通过网络120连接,也可以与处理设备140直接连接(如图1中成像设备110和处理设备140之间的点状虚线箭头所示的双向连接)。又例如,存储设备150可以与处理设备直接或通过网络120连接。又例如,终端130可以与处理设备140通过网络120连接,也可以与处理设备140直接连接(如图1中终端130和处理设备140之间的点状虚线箭头所示的双向连接)。
成像设备110可以扫描位于扫描区域115内的扫描对象并生产与所述扫描对象相关联的一系列数据。所述扫描对象被放置在扫描床116上用于扫描。所述扫描对象可以包括生物对象(例如,人体,动物等),非生物对象(例如,体模)等。在一些实施例中,所述成像设备110可以是计算机断层扫描成像***(CT)、正电子放射断层成像***(PET)、磁共振成像***(MRI)、单光子发射计算机断层扫描成像***(SPECT)、发射计算机断层成像***(ECT)、超声成像***(UI)等或其任意组合(例如,PET-CT成像***、PET-MRI成像***等)。在一些实施例中,成像设备110可以对扫描对象进行扫描后获取其对应的医学图像。
网络120可以促进信息和/或数据的交换。在一些实施例中,医学图像自动分区***100中的一个或多个部件(例如,成像设备110、终端130、处理设备140和存储设备150等)可以通过网络120向医学图像自动分区***100中的其他部件发送信息和/或数据。例如,处理设备140可以通过网络120从存储设备150处获取数据(例如,样本图像)。在一些实施例中,网络120可以是有线网络或无线网络中的任意一种,或其组合。例如,网络140可以包括电缆网络、有线网络、光纤网络、远程通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、公共开关电话网络(PSTN)、蓝牙网络、ZigBee网络、近场通讯(NFC)网络等或上述举例的任意组合。在一些实施例中,网络140可以包括一个或多个网络接入点。
终端130可以包括一个或一个以上带有数据获取功能的设备,例如,智能移动设备120-1、平板电脑120-2、笔记本电脑120-3等。在一些实施例中,智能移动设备120-1可以包括但不限于智能手机、个人数码助理(Personal Digital Assistance,PDA)、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备、显示增强设备等或其任意组合。在一些实施例中,终端130可以是处理设备140的一部分。在一些实施例中,终端130可以移除。
处理设备140可以处理从成像设备110、终端130和/或存储设备150出获得的数据和/或信息。例如,处理设备140可以获取扫描对象的原始医学图像,例如,从成像设备110处。在一些实施例中,处理设备140可以获得所述原始医学图像的目标图像。在一些实施例中,处理设备140可以基于所述目标图像和多个样本图像及其对应的分割图像,确定所述目标图像的分割图像。在一些实施例中,处理设备140可以是一个单个的服务器或者一个服务器群组。所述服务器群可以是集中式的或分布式的(例如,处理设备140可以是一个分布式的***)。在一些实施例中,处理设备140可以是本地的或远程的。在一些实施例中,处理设备140可以通过网络120访问存储在存储设备150和/或终端120中的信息和/或数据。处理设备140也可以直接存储在存储设备150和/或终端120中的信息和/或数据。在一些实施例中,存储在存储设备150和/或终端120中的信息和/或数据。可以在一个云平台上实现。仅仅举个例子,所述云平台可以包括私有云、公共云、混合云、社区云、分布云、云之间、多重云等或上述举例的任意组合。在一些实施例中,存储在存储设备150和/或终端120中的信息和/或数据。可以在与本申请图2或图3所示的计算设备上实现。例如,存储在存储设备150和/或终端120中的信息和/或数据。可以在如图2所示的一个计算设备200上实现,包括计算设备200中的一个或多个部件。再例如,存储在存储设备150和/或终端120中的信息和/或数据。可以在如图3所示的一个移动设备300上实现,包括计算设备300中的一个或多个部件。
存储设备150可以存储数据和/或指令。在一些实施例中,存储设备130可以存储从成像设备110、终端130和处理设备140处获得的数据。在一些实施例中,存储设备150可以存储供处理设备140执行或使用的数据和/或指令,处理设备140可以通过执行或使用所述数据和/或指令以实现本申请描述的示例性方法。在一些实施例中,存储设备150可以包括大容量存储器、可移动存储器、挥发性读写存储器、只读存储器(ROM)等或上述举例的任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态硬盘等。示例性的可移动存储器可以包括闪存盘、软盘、光盘、记忆卡、压缩硬盘、磁带等。示例性的挥发性只读存储器可以包括随机存储器(RAM)。示例性的随机存储器可以包括动态随机存储器(DRAM)、双数据率同步动态随机存储器(DDRSDRAM)、静态随机存储器(SRAM)、可控硅随机存储器(T-RAM)和零电容存储器(Z-RAM)等。示例性的只读存储器可以包括掩蔽型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、压缩硬盘只读存储器(CD-ROM)和数字多功能硬盘只读存储器等。在一些实施例中,存储设备150可以在一个云平台上实现。仅仅举个例子,所述云平台可以包括私有云、公共云、混合云、社区云、分布云、云之间、多重云等或上述举例的任意组合。
在一些实施例中,存储设备150可以与网络120连接以实现与医学图像自动分区***100中的一个或多个部件(例如,成像设备110、终端130、处理设备140等)之间的通信。医学图像自动分区***100的一个或一个以上部件可以通过网络120访问存储在存储设备150中的数据或指令。在一些实施例中,存储设备150可以直接与医学图像自动分区***100的一个或一个以上部件(例如,成像设备110、处理设备140等)连接或通信。在一些实施例中,存储设备150可以是处理设备140的一部分。
图2是根据本发明的一些实施例所示的一种示例性计算设备200的示意图。终端130、处理设备140和/或存储设备150可以在计算设备200上实现。例如,处理设备140可以在计算设备200上实现并被配置为实现本申请中所披露的功能。如图2所示,计算装置200可包括处理器210、存储器220、输入/输出(I/O)230和通信端口240。
处理器210可以执行计算机指令(例如,程序代码)并可以根据申请中描述的技术执行服务器140的功能。所述计算机指令可以用于执行本申请中描述的特定功能,所述计算机指令可以包括例如程序、对象、组件、数据结构、程序、模块和功能。例如,处理器210可以处理从医学图像自动分区***100的任何组件获取的目标图像和/或样本图像。在一些实施例中,处理器210可以包括一个或多个硬件处理器,例如微控制器、微处理器、精简指令集计算机(reduced instruction set computer(RISC))、特定应用集成电路(applicationspecific integrated circuit(ASIC))、应用程序特定的指令集处理器(application-specific instruction-set processor(ASIP))、中央处理单元(central processingunit(CPU))、图形处理单元(graphics processing unit(GPU))、物理处理单元(physicsprocessing unit(PPU))、数字信号处理器(digital signal processor(DSP))、现场可编程门阵列(field programmable gate array(FPGA))、先进的RISC机器(advanced RISCmachine(ARM))、可编程逻辑器件(programmable logic device(PLD))、能够执行一个或多个功能的任何电路或处理器等其中一种或几种的组合。
仅用于说明,在计算设备200中仅描述一个处理器。然而,需要说明的是,计算装置200也可以包括多个处理器。由本申请中描述一个处理器执行的操作和/或方法也可以由多个处理器共同或分别执行。例如,如果本申请中描述的计算设备200的处理器执行操作A和操作B,应当理解的是,操作A和操作B也可以由计算装置中的200中的两个或两个以上不同处理器共同或分别执行(例如,第一处理器执行操作A和第二处理器执行操作B,或第一处理器和第二处理器共同执行操作A和B)。
存储器220可以存储从成像设备110、终端130、处理设备140、存储设备150和/或医学图像自动分区***100的任何其它组件获取的数据/信息。在一些实施例中,存储器220可包括大容量存储器、可移除存储器、易失性读写存储器、只读存储器(ROM)等其中一种或几种的组合。大容量存储可以包括磁盘、光盘、固态硬盘、移动存储等。可移除存储器可以包括闪存驱动器、软盘、光盘、存储卡、ZIP磁盘、磁带等。易失性读写存储器可以包括随机存取存储器(RAM)。RAM可以包括动态随机存储器(DRAM)、双数据率同步动态随机存取存储器(DDRSDRAM)、静态随机存取存储器(SRAM)、可控硅随机存取存储器(t-ram)、零电容随机存取存储器(Z-RAM)等。ROM可以包括掩模只读存储器(MROM)、可编程的只读存储器(PROM)、可擦除可编程只读存储器(EPROM),电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)、数字多功能光盘的光盘等。在一些实施例中,存储器220可以存储一个或多个程序和/或指令,用于执行本申请中描述的示例性方法。例如,存储器220可以存储程序,所述程序可以用于处理设备140确定图像的形变类型。
输入/输出230可以输入和/或输出信号、数据、信息等。在一些实施例中,输入/输出230可以实现成像设备110与处理设备140之间的数据通信。在一些实施例中,输入/输出230可以包括输入设备和输出设备。输入设备可以包括键盘、鼠标、触摸屏、麦克风等其中一种或几种的组合。输出装置可以包括显示装置、扬声器、打印机、投影仪等其中一种或几种的组合。所述显示装置可以包括液晶显示器(LCD)、发光二极管(LED)显示器、平板显示器、弧形屏幕、电视装置、阴极射线管(CRT)、触摸屏等其中一种或几种的组合。
通信端口240可以连接网络(例如,网络120),以便于数据通信。通信端口240可以在处理设备140和成像设备110、终端130和/或存储设备150之间建立连接。所述连接可以是有线连接、无线连接、任何能够实现数据传输和/或接收的连接等其中一种或几种的组合。所述有线连接可以包括例如电缆、光缆、电话线等其中一种或几种的组合。所述无线连接可以包括,例如,蓝牙TM链接、Wi-FiTM链接、WiMAXTM链路、无线局域网链接、ZigBeeTM链接、移动网络链接(例如,3G、4G、5G等)其中一种或几种的组合。在一些实施例中,通信端口240可以是和/或包括标准化通信端口,如RS232、RS485等。
图3是根据本发明的一些实施例所示的一个示例性的移动设备300的示例性硬件和/或软件的示意图。终端130可以在移动设备300上实现。如图3所示,移动设备300可以包括一个通讯单元310、一个显示单元320、一个图形处理器330、一个处理器340、一个输入/输出单元350、一个内存360和一个存储单元390。移动设备300中还可以包括一个总线或者一个控制器。在一些实施例中,移动操作***370和一个或多个应用程序380可以从存储单元390加载到内存360中,并由处理器340执行。例如,图像处理程序和/或与数据获取相关的程序可以被加载到内存360中有处理器340执行。在一些实施例中,应用程序380可以接收和显示与处理设备140有关的图像形变类型确定或其他信息的信息。输入/输出单元350可以实现与医学图像自动分区***100的交互,并将交互相关信息通过网络120提供给医学图像自动分区***100中的其他部件,如处理设备140。
为了实现本申请中描述的各种模块、单元及其功能,计算机硬件平台可以用作这里提到的一个或多个元件的硬件平台。一个拥有用户界面元件的计算机可以用于实现个人计算机(PC)或者其它任何形式的工作站或终端设备。通过合适的编程,一个计算机也可以充当一台服务器。
图4是根据本发明的一些实施例所示的示例性处理设备400的框图。如图所示,处理设备400可以包括获取模块410、训练模块420以及确定模块430。
获取模块410可以获取样本图像以及所述样本图像的解剖图像。所述样本图像是利用成像设备110对扫描对象(例如,患者)的扫描部位进行扫描后得到的医学图像。所述扫描部位可以是人体各个组织和/或器官,例如,上皮组织、***、肌肉组织、神经组织、大脑、心脏、肝脏、脾脏、肺、肾脏、胃、胆囊、胰脏、骨架等。所述原始医学图像可以包括但不限于,MRI图像(T1或T2加权图像)、CT图像、PET图像、超声图像、DR图像等。在一些实施例中,所述样本图像可以包括扫描部位的不同类别的医学图像。例如,所述样本图像可以包括患病样本图像和正常样本图像。在一些实施例中,所述样本图像的解剖图谱可以是根据扫描部位中的器官和/或组织的结构和/或功能进行分区后的图谱。仅仅作为示例,作为样本图像的大脑图像的解剖图谱可以是将大脑各个不同结构,例如,中央前回、额中回、中央沟盖、嗅皮质、脑岛、后扣带回、海马、杏仁核、楔叶、中央后回、顶上回、丘脑等,进行分区后的图谱,也可以是将具备不同的功能大脑区域,例如控制精神功能的前额叶、控制思维功能的后额叶、控制体觉功能的顶叶、控制听觉功能的颞叶、控制视觉功能的枕叶等,进行分区后的图谱。在一些实施例中,所述样本图像及其解剖图谱可以是经过进行一系列处理后具有一个统一标准的图像。所述处理可以包括旋转、重采样、尺寸调整、去头骨、图像非均匀校正、直方图匹配、灰度归一化等或其任意组合。关于样本图像及其解剖图谱的详细描述可以参考本申请图5部分。
在一些实施例中,获取模块410可以获取图像分区网络模型。所述图像分区网络模型可以是深度学习模型,包括但不限于无监督预训练网络、卷积神经网络、循环神经网络、递归神经网络等或其任意组合。在一些实施例中,所述图像分区网络图像分区网络模型可以是深度卷积神经网络模型。包括但不限于V-Net、U-Net、GAN(Generative AdversarialNetwork,生成对抗网络)、以上任意一种与SEBlock相结合的结合模型等。
训练模块420可以利用所述样本图像以及所述样本图像的解剖图谱训练所述图像分区网络模型,获取训练完备的图像分区网络模型。训练模块420可以将样本图像作为图像分区网络模型的输入,将样本图像的解剖图谱作为正确标准(Ground Truth),对模型进行训练以得到训练完备的图像分区网络模型。训练模块420可以将样本图像划分为训练集和测试集,利用训练集中的样本对图像分区网络模型进行训练,利用测试集中的样本对图像分区网络模型进行检测。当满足预设条件时,例如,图像分区网络模型对进行测试的样本图像输出的预测解剖图谱中的分割区域与样本图像的解剖图谱中的相对应的分割区域的重叠率大于一阈值(例如,第一阈值),且重叠率大于该阈值的分割区域的个数大于另一阈值(例如,第二阈值),模型训练可以停止。关于图像分区网络模型的训练可以参考本申请图6部分。关于图像分区网络模型的训练可以参考本说明书其他地方的描述(例如,图6),在此不再赘述。
确定模块430利用训练完备的图像分区网络模型处理待测图像,确定待测图像的图像分区结果。确定模块430可以首先对待测图像进行预处理,使其与用于训练图像分区网络模型的样本图像具有相同参数的图像,并将经过预处理后的待测图像输入至训练完备的图像分区网络模型,直接自动获取所述图像分区结果。
应当理解,图4所示的***及其模块可以利用各种方式来实现。例如,在一些实施例中,***及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中,硬件部分可以利用专用逻辑来实现;软件部分则可以存储在存储器中,由适当的指令执行***,例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和***可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的***及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用例如由各种类型的处理器所执行的软件实现,还可以由上述硬件电路和软件的结合(例如,固件)来实现。
需要注意的是,以上描述,仅为描述方便,并不能把本申请限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该***的原理后,可以在不背离这一原理的情况下,对实施上述方法和***的应用领域进行形式和细节上的各种修正和改变。然而,这些变化和修改不脱离本申请的范围。
可以理解的是,本申请中涉及的处理设备400(或医学图像自动分区***100)可以用于对扫描对象(例如,患者)的组织、器官和/或***的医学扫描图像进行自动分区,从而辅助用户(例如,医生)对扫描对象进行判别诊断。需要注意,处理设备400(或医学图像自动分区***100)并不能直接输出针对于扫描对象的判别诊断结果。
图5是根据本发明的一些实施例所示的确定医学图像分区结果的示例性流程图。在一些实施例中,流程500可以通过处理逻辑来执行,该处理逻辑可以包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(运行在处理设备上以执行硬件模拟的指令)等或其任意组合。图5所示的确定医学图像分区结果的流程500中的一个或多个操作可以通过图1所示的医学图像自动分区***100实现。例如,流程500可以以指令的形式存储在存储设备150中,并由处理设备140执行调用和/或执行(例如,图2所示的计算设备200的处理器220、图3所示的移动设备300的中央处理器340)。
在510中,可以获取样本图像以及所述样本图像的解剖图像。操作510可以由获取模块410执行。所述样本图像是利用成像设备110对扫描对象(例如,患者)的扫描部位进行扫描后得到的医学图像。所述扫描部位可以是人体各个组织和/或器官,例如,上皮组织、***、肌肉组织、神经组织、大脑、心脏、肝脏、脾脏、肺、肾脏、胃、胆囊、胰脏、骨架等。所述原始医学图像可以包括但不限于MRI图像(T1或T2加权图像)、CT图像、PET图像、超声图像、DR图像、PET-MRI图像、PET-CT图像等。所述样本图像可以基于扫描后得到的数据进行图像重建后得到。所述样本图像可以是二维图像,也可以是三维图像,在此不做具体限定。
在一些实施例中,所述样本图像可以包括扫描部位的不同类别的医学图像。例如,所述样本图像可以包括患病样本图像和正常样本图像。以大脑为例,所述患病样本图像可以包括神经性病变疾病样本图像、脑血管疾病样本图像、脑部肿瘤疾病样本图像等或其他样本图像,比如脑积水、脑震荡、锥体外***疾病、颅脑外伤、癫痫等。所述神经性病变疾病样本图像可以包括患有阿兹海默症(Alzheimer disease,AD)的患者的脑部结构图像、患有稳定型轻度认知障碍(stable Mild Cognitive Impairment,sMCI)的患者的脑部结构图像、患有进展型轻度认知障碍(progressive Mild Cognitive Impairment,pMCI)的患者的脑部结构图像、患有帕金森病(Parkinson’s Disease,PD)的患者的脑部结构图像等。所述脑血管疾病样本图像可以包括患有脑动脉粥样硬化的患者的脑部结构图像、患有脑部血栓的患者的脑部结构图像、患有脑动脉炎的患者的脑部结构图像、患有脑动脉瘤的患者的脑部结构图像、患有颅内血管畸形的患者的脑部结构图像、患有脑动静脉瘘的患者的脑部结构图像、患有脑动脉损伤的患者的脑部结构图像等。所述正常样本图像可以是指未患脑部疾病的正常人的脑部结构图像。又例如,所述样本图像可以是从不同类别的群体的脑部图像进行抽样得到的,比如,从不同年龄、不同人种、不同脑部疾病等,中进行抽样得到所述样本图像。
在一些实施例中,所述样本图像的解剖图谱可以是根据扫描部位中的器官和/或组织的结构和/或功能进行分区后的图谱。仅仅作为示例,作为样本图像的大脑图像的解剖图谱可以是将大脑各个不同结构,例如,中央前回、额中回、中央沟盖、嗅皮质、脑岛、后扣带回、海马、杏仁核、楔叶、中央后回、顶上回、丘脑等,进行分区后的图谱,也可以是将具备不同的功能大脑区域,例如控制精神功能的前额叶、控制思维功能的后额叶、控制体觉功能的顶叶、控制听觉功能的颞叶、控制视觉功能的枕叶等,进行分区后的图谱。在一些实施例中,所述解剖图像中的各个不同结构分区和/或功能分区可以被不同的标识进行了区分。每个分区也可以被称为分割区域。例如,假定一张人脑部MR影像,则人脑的各个不同结构部分,比如,中央前回、中央沟盖、脑岛、海马、杏仁核、楔叶、丘脑等,都被不同颜色环绕或填充以突出显示其轮廓,或被不同的颜色所填充以进行区分。通过颜色轮廓和/或颜色填充可以分辨出解剖图谱中各个不同的分割区域。
在一些实施例中,所述样本图像的解剖图谱可以通过图像映射(包括图像配准和图像逆变换)合/或图像变换,为每个样本图像生成其解剖图谱。图像配准可以是指利用配准方法(包括但不限于基于模板匹配的图像配准方法、基于灰度的图像配准方法、相位相关法、傅里叶-梅林变换、基于模型的图像配准、基于特征的图像配准、消除误匹配算法等或其任意组合),将模板图像映射到需要分割的图像上。所述模板图像可以是指已经进行过分割的图像。图像变换可以指对于分割好的模板空间的图谱,利用上述图像映射过程生成的变形场,将模板空间的图谱变换至每个待分区图像空间中,从而获得原始输入图像的分割结果。在一些实施例中,每个样本图像都有一个相对应的解剖图谱。在一些实施例中,每一类样本图像可以有一个或以上的解剖图谱,即,该类样本图像的解剖图谱可以是同一个,或者一部分样本图像的解剖图谱可以是同一个,另一部分样本图像的解剖图谱可以都是另一个。在一些实施例中,每个样本图像的解剖图谱可以是已有的解剖图谱,例如,对于大脑医学图像而言,AAL(Anatomical Automatic Labeling)模板、MNI(Montreal NeurologicalInstitute)模板、Talairach模板等。
在一些实施例中,所述样本图像及其解剖图谱可以是经过进行一系列处理后具有一个统一标准的图像。在一些实施例中,所述处理可以包括旋转、重采样、尺寸调整、去头骨、图像非均匀校正、直方图匹配、灰度归一化等或其任意组合。所述旋转可以是以图像中心为原点,顺时针或逆时针转动一个特定的角度,例如,15度、30度、45度、90度等。所述重采样可以是对由离散数据组成的数字图像按所需的像素位置或像素间距重新采样,以构成几何变换后的新图像。所述重采样的方法可以包括最邻近内插法(nearest neighborinterpolation)、双线性内插法(bilinear interpolation)、三次卷积法内插(cubicconvolution interpolation)等。所述尺寸调整可以是按一定比例,例如,2倍,放大或缩小图像。所述去头骨可以是将头骨(即,颅骨)在扫描成像时形成的影像从图像相中剥离。去头骨的方法可以包括阈值法(例如,直方图法、基于最大熵原则的阈值分割、最佳阈值法、模糊阈值法等)、基于边缘的分割方法(例如,基于一阶导数的边缘算子、基于二价导数的边缘算子等)、分水岭算法、基于神经网络的分割等。所述图像非均匀校正可以是将扫描时由于探测元件的响应不一致和/或外部条件的影响(例如,外部环境温度)导致的空间非均匀性进行校正。图像非均匀校正的方法可以包括基于定标的非均匀校正算法(例如,一点温度定标算法、二点温度定标算法、多点温度定标算法等)、基于场景的自适应非均匀校正算法(例如,时域高通滤波算法、人工神经网络算法、恒定统计平均校正算法等)等。所述直方图匹配可以是指将一幅图像的直方图变成规定形状的直方图,即将某幅图像或某一区域的直方图匹配到另一幅图像上,使两幅图像的色调保持一致。所述灰度归一化可以是将灰度图像(或彩色图像的彩色通道的每个颜色分量)的每个像素的灰度值分布在0~255之间,避免图像对比度不足(图像像素亮度分布不平衡)。
在一些实施例中,所述样本图像可以是方向为标准笛卡尔坐标系,相对灰度范围为(-1,1)之间的图像。对于所述样本图像,若为二维图像,则可以将该图像的第一行第一列的像素点作为原点,即,第一行第一列的像素点的坐标为(0,0)。以列数增加方向为x轴方向,以行数增加方向为y轴方向,建立起标准笛卡尔直角坐标系。若所述样本图像为三维图像,则可以将该图像的第一行第一列第一层的体素点作为原点,即,第一行第一列第一层的体素点的坐标为(0,0,0)。以列数增加方向为x轴方向,以行数增加方向为y轴方向,以扫描方向为z轴方向,建立起标准笛卡尔直角坐标系。当所述样本图像为人脑部医学图像时,坐标系的x轴方向可以是从左至右(例如,从左脑至右脑方向),y轴的方向可以是从后至前(例如,从后脑至前脸方向),z轴的方向可以是从下至上(例如,从颅底至头顶方向)。因此,样本图像中每一个像素点(或体素点)都有一个坐标,例如,第三行第四列的像素的坐标为(3,2)。由于每一像素点(或体素点)具有一个灰度值(例如,灰度范围0~255之间的一个值),可以将该灰度值转换为一个相对值。例如,将灰度范围的中间值127和128指定为0,对于其他灰度值,将其与127的差值除以127以后,可以得到其相对应的相对灰度值。例如,灰度为14的像素点的相对灰度值为(14-127)/127=-0.89,灰度为200的像素点的相对灰度值为(200-127)/127=0.57。对所有像素点进行处理后,可以得到相对灰度范围为(-1,1)之间的标准图像。在一些实施例中,所述样本图像可以是相对灰度范围为(-1,0)之间的图像。在一些实施例中,所述样本图像可以是相对灰度范围为(0,1)之间的图像。本申请对于所述目标图像的相对灰度范围不做具体限定。在一些实施例中,所述目标图像的尺寸可以是一个预设值,例如,256*256mm2(或256*256*256mm3),也可以根据应用场景的不同进行调整,在此不做限制。
在520中,可以获取图像分区网络模型。操作520可以由获取模块410执行。在一些实施例中,所述图像分区网络模型可以是深度学习模型,包括但不限于无监督预训练网络、卷积神经网络、循环神经网络、递归神经网络等或其任意组合。应用于所述深度学习模型的方法包括但不限于反向传播(Backpropagation)、随机梯度下降(Stochastic GradientDescent)、学习率衰减(Learning Rate Decay)、Dropout、最大池化(Max Pooling)、批量归一化(Batch Normalization,BN)、长短期记忆(Long Short-term Memory,LSTM)、Skip-gram、连续词袋(Continuous Bag of Words)、迁移学习(Transfer Learning)等或其任意组合。在一些实施例中,所述图像分区网络图像分区网络模型可以是深度卷积神经网络模型。
在530中,可以利用所述样本图像以及所述样本图像的解剖图谱训练所述图像分区网络模型,获取训练完备的图像分区网络模型。操作530可以由训练模块420执行。在一些实施例中,训练模块420可以将样本图像作为图像分区网络模型的输入,将样本图像的解剖图谱作为正确标准(Ground Truth),对模型进行训练以得到训练完备的图像分区网络模型。关于图像分区网络模型的训练可以参考本说明书其他地方的描述(例如,图6),在此不再赘述。
在540中,可以利用训练完备的图像分区网络模型处理待测图像,确定待测图像的图像分区结果。操作540可以由确定模块430执行。在一些实施例中,所述待测图像可以是新的医学图像,例如,成像设备110对于新的扫描对象的扫描部位进行扫描后获得的图像。在获取待测图像后,确定模块430可以首先对待测图像进行预处理,使其与用于训练图像分区网络模型的样本图像具有相同参数的图像。例如,假定样本图像为人脑部结构MR图像,方向为标准笛卡尔坐标系,相对灰度范围为(-1,1)之间,则所述待测图像经过预处理后,同样是人脑部结构MR图像,且方向为标准笛卡尔坐标系,相对灰度范围为(-1,1),尺寸与所述目标图像相同的图像。所述预处理可以与操作510中所涉及的类似,在此不再赘述。
在一些实施例中,所述图像分区结果可以是对所述待测图像中的扫描部位进行结构和/或功能分区后的图像。例如,所述图像分区结果可以是对待测图像中各个不同部位进行分别标注或区分的图像。在一些实施例中,所述图像分区结果与样本图像的解剖图谱类似。在一些实施例中,训练完备的图像分区网络模型可以自动地对医学图像进行结构和/或功能分区,故,确定模块430可以将经过预处理后的待测图像输入至训练完备的图像分区网络模型,直接自动获取所述图像分区结果。
在本申请中,通过将将深度卷积神经网络应用于医学图像分区,可实现分割自动化,耗时短,准确率高。同时,在建模时综合考虑不同类别的样本图像之间差异性,为分区结果提供了来自多样本多类别的参考,提高了模型的鲁棒性。另外,直接对图像的纹理特征与分割区域之间的关系进行建模,避免了信息丢失,提高了信息提取的完整性。
需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
以上内容描述了本申请和/或一些其他的示例。根据上述内容,本申请还可以做出不同的变形。本申请披露的主题能够以不同的形式和例子所实现,并且本申请可以被应用于大量的应用程序中。后文权利要求中所要求保护的所有应用、修饰以及改变都属于本申请的范围。
图6是根据本发明的一些实施例所示的训练分割模型的示例性流程图。在一些实施例中,流程600可以由训练模块440执行。在一些实施例中,流程600可以通过处理逻辑来执行,该处理逻辑可以包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(运行在处理设备上以执行硬件模拟的指令)等或其任意组合。图5所示的自适应调节轮椅结构参数的流程600中的一个或多个操作可以通过图1所示的医学图像自动分区***100实现。例如,流程600可以以指令的形式存储在存储设备150中,并由处理设备140执行调用和/或执行(例如,图2所示的计算设备200的处理器220、图3所示的移动设备300的中央处理器340)。
在610中,可以将多个样本图像划分为训练集和测试集。样本图像的划分可以按照预定的比例进行,例如,可以将80%的样本图像划分为所述训练集,将20%的样本图像划分为所述测试集。又例如,可以将70%的样本图像划分为所述训练集,将30%的样本图像划分为所述测试集。划分的比例可以是预先存储在医学图像自动分区***100中,也可以根据应用场景由医学图像自动分区***100的用户(例如,医生)进行调整。
在620中,可以利用所述训练集中的样本图像及其解剖图谱对图像分区网络模型训练后得到中间图像分区网络模型。
在一些实施例中,所述初始图像分区网络模型可以是端到端(End-to-End)的深度卷积神经网络,包括但不限于V-Net、U-Net、GAN(Generative Adversarial Network,生成对抗网络)、以上任意一种与SEBlock相结合的结合模型等。所述初始图像分区网络模型可以由输入层、批标准化层、激活层、卷积层、池化层、反卷积层、输出层、以及层间连接构成,采用1×1×1卷积核进行特征融合并减少参数数量,采用3×3×3卷积核进行特征提取,反卷积通过3×3×3卷积核实现。激活层中,激活函数可以选用线性整流函数ReLU。训练模块440可以将所述训练集中的多个样本图像作为输入,将样本图像对应的分割图像作为正确标准(Ground Truth),对初始图像分区网络模型进行训练。在训练过程中,所述初始图像分区网络模型的输出是作为输入的样本图像的预测分割图像。训练模型440可以根据输出的预测分割图像与正确标准(Ground Truth)之间的差异,对模型的参数进行调整后继续训练模型,直至模型基本收敛。此时,参数调整后的模型可以被称为中间图像分区网络模型。在计算上述差异时,损失函数可以采用图像区域相似度度量Dice loss或Focal loss损失函数。在对参数进行优化调整时可以采用Adam自适应优化器,可随训练状态自动调整参数更新幅度。关于线性整流函数ReLU、图像区域相似度度量Dice loss、Focal loss以及Adam自适应优化器可以参考现有技术中的描述,在此不再赘述。
以下以V-Net为例,说明所述图像分区网络模型的结构。
V-Net的网络结构主要由下采样段、上采样段两部分组成。下采样段采用3×3×3卷积核,随层数增加提取图像更加抽象的特征,同时利用池化操作逐渐降低图像分辨率,使得卷积核提取的特征随层数增加而更具有全局性。上采样段采用3×3×3卷积核进行反卷积操作,在提高特征映射分辨率的同时,建立原输入图像和输出正确标准图像之间的对应关系。整个网络采用了残差网络的层间连接设计,克服了深层网络梯度消失的问题,使得网络参数的更新对梯度变化更灵敏。同时,整个网络下采样段、上采样段的特征映射分辨率相对应的位置也构造了层间连接,既具备上述层间连接的优点,同时保留了来自原始输入图像的信息,避免了下采样段在池化操作时可能造成的有用信息丢失,进一步提高了整个模型的鲁棒性。
参考图7,图7是根据本发明的一些实施例所示的示例性V-Net网络结构示意图。如图7所示,V-Net包括输入模组701,用于模型的输入;第一下采样模组702、第二下采样模组703、第三下采样模组704、第四下采样模组705,用于对输入数据进行逐级卷积操作,提取图像的全局性特征;第一上采样模组706、第二上采样模组707、第三上采样模组708、第四上采样模组709,用于逐级反卷积操作,提高特征映射分辨率的同时建立原输入图像和输出图像之间的对应关系;图像融合模组710,用于将下采样模组的输出图像进行多尺度特征融合得到分割图像;输入模组711,用于输出分割图像;Softmax模组712,用于计算对应于正确标准概率最高的图像并输出。在进行上采样时,图像特征映射分辨率相同的模组之间可以有跳层连接(例如,第三下采样模组704与第一上采样模组706之间的虚线箭头连接),这样可以使的在上采样过程中保留了来自原始输入的信息(例如,第四下采样模组705的输出),避免了下采样过程有用信息的丢失。第二上采样模组707和第三上采样模组708的输出结果,可以分别通过一个2倍和4倍上采样,得到和第四上采样模组709同样大小的特征图。三个特征图可以输入至图像融合模组710,通过卷积操作融合后输出分区结果。传统V-Net的网络只基于最后的上采样模组(例如,第四上采样模组709)的特征图输出最终的分区结果,这样可能导致在其他上采样模组在上采样过程中丢失输入的特征图的图像信息。本申请中所涉及的改进V-Net,通过将不同上采样模组的输出图像进行融合,可以得到各个上采样模组输出的不同层级的特征图的特征信息,将这些特征图融合后可以得到更具体的特征信息,使得分区结果更加准确。在本申请中,进行融合的特征图至少为两个,仅作为示例,本申请以融合三个特征图进行说明。通过在第二上采样模组707和第三上采样模组708后分别添加一个2倍上采样卷积层和一个4倍上采样层,使得最后的三个上采样模组可以获得同样分别率大小的特征图(即,增加通道数)。将三个特征图进行融合后将获得更具代表性的特征,从而提高卷积神经网络的图像分区效果。
下采样模组(例如,第一下采样模组702、第二下采样模组703、第三下采样模组704和第四下采样模组705)的网络结构示意图可以参考图8。图8是根据本发明的一些实施例所示的示例性的下采样模组的结构示意图。如图8所示,下采样模组可以包括一个卷积层810、一个或多个下采样子模组820-1至820-N、元素级相加层830。卷积层810可以使用2×2×2卷积核对输入图像进行卷积操作提取特征,同时步长为2的卷积操作使得输入图像的分辨率减半。下采样子模组也可以称为下采样残差模组。作为示例,下采样子模组820-1可以包括卷积层821、下采样层823、卷积层825和压缩-激活层827。卷积层821可以使用1×1×1卷积核对输入进行特征融合以减少参数量(也可以称作降维处理,减少通道数量)。下采样层823可以使用3×3×3卷积核用于特征提取。卷积层825可以使用1×1×1卷积核对输入进行升维处理,增加通道数量。压缩-激活层827构成卷积层823的旁路,以获得特征映射的不同通道的权重。元素级相加层830可以将卷积层810的输出和下采样残差模块的输出相加,得到该下采样模组的最终输出。
上采样模组(例如,第一上采样模组706、第二上采样模组707、第三上采样模组708和第四上采样模组709)的网络结构示意图可以参考图9。图9是根据本发明的一些实施例所示的示例性的上采样模组的结构示意图。如图9所示,上采样模组可以包括一个反卷积层910、一个或多个上采样子模组920-1至920-N、元素级相加层930。反卷积层910可以使用2×2×2卷积核对输入图像进行反卷积操作,同时步长为2的卷积操作使得输入图像的分辨率增倍。上采样子模组也可以称为上采样残差模组。作为示例,上采样子模组920-1可以包括卷积层921、下采样层923、卷积层925和压缩-激活层927。卷积层921可以使用1×1×1卷积核对输入进行特征融合以减少参数量(也可以称作降维处理,减少通道数量)。下采样层923可以使用3×3×3卷积核用于反卷积。卷积层925可以使用1×1×1卷积核对输入进行升维处理,增加通道数量。压缩-激活层927构成卷积层923的旁路,以获得特征映射的不同通道的权重。元素级相加层930可以将反卷积层910的输出和上采样残差模块的输出相加,得到该上采样模组的最终输出。
应当注意的是,本说明书中披露的V-Net的网络结构可以进行不同方面的改进和修正,例如,上采样层和/或下采样层的卷积核可以是5×5×5。又例如,上采样模组和/或下采样模组的数量可以进行增加或减少。还例如,图像融合模组710的输入可以只有第四上采样模组709的输出。这些修正和改进仍属于本申请所要求的保护范围之内。
在630中,可以将所述测试集中的样本图像输入至所述中间图像分区网络模型,获得所述样本图像的预测解剖图谱。所述预测解剖图谱可以是所述中间图像分区网络模型对测试集中的样本图像进行处理后直接得到的输出结果。将测试图像输入至所述中间图像分区网络模型后,可以直接得到所述预测解剖图谱。所述预测解剖图谱可以包括多个预测分割区域。所述预测分割区域可以与测试图像的解剖图谱的分割区域相同或类似,即,利用不同的颜色环绕或填充不同的脑部结构部分。
在640中,可以确定所述测试集中的样本图像的预测解剖图谱中的各个分割区域与所述样本图像的解剖图谱中对应的分割区域的重叠率。在一些实施例中,由于所有的样本图像的大小和坐标系均一致,例如,大小全部为256*256*256m3,方向均为标准笛卡尔坐标系,则可以将样本图像的解剖图谱和预测解剖图谱进行重合。重合后样本图像的解剖图谱中的分割区域和预测解剖图谱中的预测分割区域相重叠的部分的比值可以被指定为所述重叠率。例如,用于测试的样本图像的解剖图谱中的脑干部分和预测解剖图谱中的脑干部分的重叠部分的大小(例如,面积或体积)A与分割图像中的脑干部分的大小B的比值,即A/B,可以被指定为所述重叠率。所述分割区域和/或重叠区域的大小可以利用积分求解。
在650中,可以判定所述重叠率大于第一阈值的分割区域的个数是否大于第二阈值。所述第一阈值和/或第二阈值可以是医学图像自动分区***100的预设参数,也可以根据不同的应用场景由医学图像分区***100的用户(例如,医生)进行调整。例如,所述第一阈值可以被设定为98%。所述第二阈值可以根据样本图像的解剖图谱的分割区域的总个数进行设置。例如,假定分割区域有100个,则所述第二阈值可以被设定为95。在一些实施例中,若所述重叠率大于第一阈值的分割区域的个数大于第二阈值,流程600可以进行至660。在660中,训练模块440可以将所述中间图像分区网络模型指定为所述图像分区网络模型。当所述重叠率大于第一阈值的分割区域的个数大于第二阈值时,可以表明经过模型参数优化后的中间图像分区网络模型已达到预设的要求,训练可以停止。若所述重叠率大于第一阈值的分割区域的个数小于第二阈值,流程600可以重新返回至620,继续对模型进行训练,直到所述重叠率大于第一阈值的分割区域的个数大于第二阈值。
以上内容描述了本申请和/或一些其他的示例。根据上述内容,本申请还可以做出不同的变形。本申请披露的主题能够以不同的形式和例子所实现,并且本申请可以被应用于大量的应用程序中。后文权利要求中所要求保护的所有应用、修饰以及改变都属于本申请的范围。
与现有技术相比,本申请以上各实施例可能带来的有益效果包括但不限于:
(1)、将深度卷积神经网络应用于大脑图像分割,可实现分割自动化,耗时短,准确率高。
(2)、直接对图像的纹理特征与分割区域之间的关系进行建模,避免了信息丢失,提高了信息提取的完整性。
(3)、在建模时综合考虑不同类别的样本图像之间差异性,为分割结果提供了来自多样本多类别的参考,提高了模型的鲁棒性。
需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
以上内容描述了本申请和/或一些其他的示例。根据上述内容,本申请还可以做出不同的变形。本申请披露的主题能够以不同的形式和例子所实现,并且本申请可以被应用于大量的应用程序中。后文权利要求中所要求保护的所有应用、修饰以及改变都属于本申请的范围。
同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
本领域技术人员能够理解,本申请所披露的内容可以出现多种变型和改进。例如,以上所描述的不同***组件都是通过硬件设备所实现的,但是也可能只通过软件的解决方案得以实现。例如:在现有的服务器上安装***。此外,这里所披露的位置信息的提供可能是通过一个固件、固件/软件的组合、固件/硬件的组合或硬件/固件/软件的组合得以实现。
所有软件或其中的一部分有时可能会通过网络进行通信,如互联网或其他通信网络。此类通信能够将软件从一个计算机设备或处理器加载到另一个。例如:从医学图像自动分区***的一个管理服务器或主机计算机加载至一个计算机环境的硬件平台,或其他实现***的计算机环境,或与提供确定轮椅目标结构参数所需要的信息相关的类似功能的***。因此,另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接,例如光波、电波、电磁波等,通过电缆、光缆或者空气实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备,也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质,其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,例如,局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的***组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的***。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述属性、数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档、物件等,特将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外,对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是,如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方,以本申请的描述、定义和/或术语的使用为准。
最后,应当理解的是,本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此,作为示例而非限制,本申请实施例的替代配置可视为与本申请的教导一致。相应地,本申请的实施例不限于本申请明确介绍和描述的实施例。
Claims (10)
1.一种基于多图谱的医学图像自动分区的方法,其特征在于,包括:
获取样本图像,以及所述样本图像的解剖图谱;
获取图像分区网络模型,所述图像分区网络模型为深度学习模型;
用所述样本图像以及所述样本图像的解剖图谱训练所述图像分区网络模型,获取训练完备的图像分区网络模型;
用所述训练完备的图像分区网络模型处理待测图像,确定待测图像的图像分区结果。
2.根据权利要求1所述的方法,其特征在于,所述图像分区网络模型为卷积神经网络模型。
3.根据权利要求1所述的方法,其特征在于,所述图像分区网络模型基于以下方法获得:
将多个样本图像划分为训练集和测试集;
利用所述训练集中的样本图像及其解剖图谱对图像分区网络模型训练后得到中间图像分区网络模型;
将测试集中的样本图像输入至所述中间图像分区网络模型,获得所述样本图像的预测解剖图谱;
确定所述预测解剖图谱的分割区域和所述样本图像的解剖图谱的分割区域的重叠率;
判定所述重叠率大于第一阈值的分割区域的个数是否大于第二阈值;以及
响应于所述重叠率大于所述阈值的判定,将所述中间图像分区网络模型指定为所述训练完备的图像分区网络模型。
4.根据权利要求1或2所述的方法,其特征在于,所述图像分区网络模型为以下其中一种:V-Net、U-Net、GAN或以上任意一种与SEBlock相结合的结合模型。
5.根据权利要求4所述的方法,其特征在于,所述SEBlock构成所述图像分区网络模型中3×3卷积层的旁路。
6.一种基于多图谱的医学图像自动分区***,其特征在于,所述***包括获取模块、训练模块和确定模块;
所述获取模块,用于获取样本图像以及所述样本图像的解剖图谱;以及用于获取图像分区网络模型,所述图像分区网络模型为深度学习模型;
所述训练模块,用于利用所述样本图像以及所述样本图像的解剖图谱训练所述图像分区网络模型,获取训练完备的图像分区网络模型;
所述确定模块,用于利用所述训练完备的图像分区网络模型处理待测图像,确定待测图像的图像分区结果。
7.根据权利要求6所述的***,其特征在于,所述图像分区网络模型为以下其中一种:V-Net、U-Net、GAN或以上任意一种与SEBlock相结合的结合模型。
8.根据权利要求7所述的***,其特征在于,所述SEBlock构成所述图像分区网络模型中3×3卷积层的旁路。
9.一种基于多图谱的医学图像自动分区装置,所述装置包括处理器以及存储器;所述存储器用于存储指令,其特征在于,所述指令被所述处理器执行时,导致所述装置实现如下操作:
获取样本图像,以及所述样本图像的解剖图谱;
获取图像分区网络模型,所述图像分区网络模型为深度学习模型;
用所述样本图像以及所述样本图像的解剖图谱训练所述图像分区网络模型,获取训练完备的图像分区网络模型;
用所述训练完备的图像分区网络模型处理待测图像,确定待测图像的图像分区结果。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机运行如下操作:
获取样本图像,以及所述样本图像的解剖图谱;
获取图像分区网络模型,所述图像分区网络模型为深度学习模型;
用所述样本图像以及所述样本图像的解剖图谱训练所述图像分区网络模型,获取训练完备的图像分区网络模型;
用所述训练完备的图像分区网络模型处理待测图像,确定待测图像的图像分区结果。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811126495.7A CN109242865B (zh) | 2018-09-26 | 2018-09-26 | 基于多图谱的医学图像自动分区***、方法、装置及存储介质 |
US16/576,264 US11227390B2 (en) | 2018-09-26 | 2019-09-19 | Systems and methods for image processing |
PCT/CN2019/107529 WO2020063589A1 (en) | 2018-09-26 | 2019-09-24 | Systems and methods for image processing |
US17/457,443 US11615535B2 (en) | 2018-09-26 | 2021-12-03 | Systems and methods for image processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811126495.7A CN109242865B (zh) | 2018-09-26 | 2018-09-26 | 基于多图谱的医学图像自动分区***、方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109242865A true CN109242865A (zh) | 2019-01-18 |
CN109242865B CN109242865B (zh) | 2020-09-25 |
Family
ID=65057446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811126495.7A Active CN109242865B (zh) | 2018-09-26 | 2018-09-26 | 基于多图谱的医学图像自动分区***、方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109242865B (zh) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109820507A (zh) * | 2019-03-25 | 2019-05-31 | 钟霁媛 | 疾病辅助诊断方法及装置 |
CN109859189A (zh) * | 2019-01-31 | 2019-06-07 | 长安大学 | 一种基于深度学习的年龄估计方法 |
CN109934285A (zh) * | 2019-03-11 | 2019-06-25 | 吉林大学 | 一种基于深度学习的图像分类神经网络压缩模型设计 |
CN109949352A (zh) * | 2019-03-22 | 2019-06-28 | 邃蓝智能科技(上海)有限公司 | 一种基于深度学习的放疗影像靶区勾画方法及勾画*** |
CN109949309A (zh) * | 2019-03-18 | 2019-06-28 | 安徽紫薇帝星数字科技有限公司 | 一种基于深度学习的肝脏ct图像分割方法 |
CN110070116A (zh) * | 2019-04-08 | 2019-07-30 | 云南大学 | 基于深度树状训练策略的分段式选择集成图像分类方法 |
CN110074813A (zh) * | 2019-04-26 | 2019-08-02 | 深圳大学 | 一种超声图像重建方法及*** |
CN110111329A (zh) * | 2019-05-17 | 2019-08-09 | 四川大学华西第二医院 | 一种基于人工智能超声影像检测方法及*** |
CN110246216A (zh) * | 2019-05-28 | 2019-09-17 | 中国科学院深圳先进技术研究院 | 脊柱模型生成方法、脊柱模型生成***及终端 |
CN110322491A (zh) * | 2019-06-11 | 2019-10-11 | 大连理工大学 | 一种可变形小鼠全身图谱与小鼠影像配准的算法 |
CN110689551A (zh) * | 2019-10-14 | 2020-01-14 | 慧影医疗科技(北京)有限公司 | 四肢骨分割方法、装置、电子设备及可读存储介质 |
CN110689547A (zh) * | 2019-09-25 | 2020-01-14 | 重庆大学 | 一种基于三维ct影像的肺结节分割方法 |
WO2020063589A1 (en) * | 2018-09-26 | 2020-04-02 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image processing |
CN111062948A (zh) * | 2019-11-18 | 2020-04-24 | 北京航空航天大学合肥创新研究院 | 一种基于胎儿四腔心切面图像的多组织分割方法 |
CN111339993A (zh) * | 2020-03-16 | 2020-06-26 | 上海联影医疗科技有限公司 | 一种x射线图像金属检测方法和*** |
CN111428224A (zh) * | 2020-04-02 | 2020-07-17 | 苏州杰锐思智能科技股份有限公司 | 基于人脸识别的电脑账户登录的方法 |
CN111887813A (zh) * | 2020-08-11 | 2020-11-06 | 南通大学 | 一种鲜活离体组织脑区位置识别的方法及装置 |
CN111967539A (zh) * | 2020-09-29 | 2020-11-20 | 北京大学口腔医学院 | 基于cbct数据库的颌面部骨折的识别方法、装置及终端设备 |
CN112163541A (zh) * | 2020-10-09 | 2021-01-01 | 上海云绅智能科技有限公司 | 一种3d目标检测方法、装置、电子设备和存储介质 |
CN112562058A (zh) * | 2020-11-23 | 2021-03-26 | 西安电子科技大学 | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 |
CN112686905A (zh) * | 2020-12-22 | 2021-04-20 | 天津大学 | 基于深度可分离卷积的轻量级脑肿瘤分割方法 |
CN112754458A (zh) * | 2019-11-01 | 2021-05-07 | 上海联影医疗科技股份有限公司 | 磁共振成像方法、***及存储介质 |
CN112802032A (zh) * | 2021-01-19 | 2021-05-14 | 上海商汤智能科技有限公司 | 图像分割网络的训练和图像处理方法、装置、设备及介质 |
CN112801282A (zh) * | 2021-03-24 | 2021-05-14 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像处理方法、装置、计算机设备和存储介质 |
CN112907664A (zh) * | 2021-02-08 | 2021-06-04 | 明峰医疗***股份有限公司 | 基于fpga模块的pet探测器的图像像素位置查找方法、***及计算机可读存储介质 |
CN113284126A (zh) * | 2021-06-10 | 2021-08-20 | 安徽省立医院(中国科学技术大学附属第一医院) | 人工神经网络图像分析预测脑积水分流手术疗效的方法 |
CN113316803A (zh) * | 2019-12-20 | 2021-08-27 | 博医来股份公司 | 使用历史校正的统计分析来校正医学图像的分割 |
CN114445832A (zh) * | 2022-01-25 | 2022-05-06 | 平安科技(深圳)有限公司 | 基于全局语义的文字图像识别方法、装置及计算机设备 |
WO2022120588A1 (zh) * | 2020-12-08 | 2022-06-16 | 深圳先进技术研究院 | 一种低剂量pet图像还原方法、***、设备和介质 |
CN115937163A (zh) * | 2022-12-19 | 2023-04-07 | 西北民族大学 | 一种spect肺灌注成像的目标区域提取方法与*** |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8160357B2 (en) * | 2010-07-30 | 2012-04-17 | Kabushiki Kaisha Toshiba | Image segmentation |
US8977029B2 (en) * | 2012-08-24 | 2015-03-10 | Siemens Aktiengesellschaft | Method and system for multi-atlas segmentation of brain computed tomography image data |
CN105009171A (zh) * | 2013-03-01 | 2015-10-28 | 因派克医药***有限公司 | 用于学习增强的基于图谱的自动分割的方法和装置 |
CN105913431A (zh) * | 2016-04-12 | 2016-08-31 | 绍兴文理学院 | 低分辨率医学图像的多图谱分割方法 |
CN106023220A (zh) * | 2016-05-26 | 2016-10-12 | 史方 | 一种基于深度学习的车辆外观部件图像分割方法 |
CN106204587A (zh) * | 2016-05-27 | 2016-12-07 | 孔德兴 | 基于深度卷积神经网络和区域竞争模型的多器官分割方法 |
CN106295139A (zh) * | 2016-07-29 | 2017-01-04 | 姹ゅ钩 | 一种基于深度卷积神经网络的舌体自诊健康云服务*** |
US20170018089A1 (en) * | 2014-02-28 | 2017-01-19 | International Business Machines Corporation | Segmentation Using Hybrid Discriminative Generative Label Fusion of Multiple Atlases |
CN106780512A (zh) * | 2016-11-30 | 2017-05-31 | 厦门美图之家科技有限公司 | 分割图像的方法、应用及计算设备 |
WO2017091833A1 (en) * | 2015-11-29 | 2017-06-01 | Arterys Inc. | Automated cardiac volume segmentation |
CN107203999A (zh) * | 2017-04-28 | 2017-09-26 | 北京航空航天大学 | 一种基于全卷积神经网络的皮肤镜图像自动分割方法 |
CN107516317A (zh) * | 2017-08-18 | 2017-12-26 | 上海海洋大学 | 一种基于深度卷积神经网络的sar影像海冰分类方法 |
CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 用于标注医学图像的方法和装置 |
CN108010048A (zh) * | 2017-12-05 | 2018-05-08 | 华中科技大学 | 一种基于多图谱的自动脑部mri图像的海马体分割方法 |
US20180132725A1 (en) * | 2015-05-05 | 2018-05-17 | Medizinische Universität Wien | Computerized Device and Method for Processing Image Data |
CN108389614A (zh) * | 2018-03-02 | 2018-08-10 | 西安交通大学 | 基于图像分割与卷积神经网络构建医学影像图谱的方法 |
-
2018
- 2018-09-26 CN CN201811126495.7A patent/CN109242865B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8160357B2 (en) * | 2010-07-30 | 2012-04-17 | Kabushiki Kaisha Toshiba | Image segmentation |
US8977029B2 (en) * | 2012-08-24 | 2015-03-10 | Siemens Aktiengesellschaft | Method and system for multi-atlas segmentation of brain computed tomography image data |
CN105009171A (zh) * | 2013-03-01 | 2015-10-28 | 因派克医药***有限公司 | 用于学习增强的基于图谱的自动分割的方法和装置 |
US20170018089A1 (en) * | 2014-02-28 | 2017-01-19 | International Business Machines Corporation | Segmentation Using Hybrid Discriminative Generative Label Fusion of Multiple Atlases |
US20180132725A1 (en) * | 2015-05-05 | 2018-05-17 | Medizinische Universität Wien | Computerized Device and Method for Processing Image Data |
WO2017091833A1 (en) * | 2015-11-29 | 2017-06-01 | Arterys Inc. | Automated cardiac volume segmentation |
CN105913431A (zh) * | 2016-04-12 | 2016-08-31 | 绍兴文理学院 | 低分辨率医学图像的多图谱分割方法 |
CN106023220A (zh) * | 2016-05-26 | 2016-10-12 | 史方 | 一种基于深度学习的车辆外观部件图像分割方法 |
CN106204587A (zh) * | 2016-05-27 | 2016-12-07 | 孔德兴 | 基于深度卷积神经网络和区域竞争模型的多器官分割方法 |
CN106295139A (zh) * | 2016-07-29 | 2017-01-04 | 姹ゅ钩 | 一种基于深度卷积神经网络的舌体自诊健康云服务*** |
CN106780512A (zh) * | 2016-11-30 | 2017-05-31 | 厦门美图之家科技有限公司 | 分割图像的方法、应用及计算设备 |
CN107203999A (zh) * | 2017-04-28 | 2017-09-26 | 北京航空航天大学 | 一种基于全卷积神经网络的皮肤镜图像自动分割方法 |
CN107516317A (zh) * | 2017-08-18 | 2017-12-26 | 上海海洋大学 | 一种基于深度卷积神经网络的sar影像海冰分类方法 |
CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 用于标注医学图像的方法和装置 |
CN108010048A (zh) * | 2017-12-05 | 2018-05-08 | 华中科技大学 | 一种基于多图谱的自动脑部mri图像的海马体分割方法 |
CN108389614A (zh) * | 2018-03-02 | 2018-08-10 | 西安交通大学 | 基于图像分割与卷积神经网络构建医学影像图谱的方法 |
Non-Patent Citations (3)
Title |
---|
FAUSTO MILLETARI ET AL: "V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation", 《2016 FOURTH INTERNATIONAL CONFERENCE ON 3D VISION (3DV)》 * |
JONATHAN LONG ET AL: "Fully Convolutional Networks for Semantic Segmentation", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
时永刚等: "串行处理卷积神经网络的海马子区分割", 《中国图象图形学报》 * |
Cited By (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020063589A1 (en) * | 2018-09-26 | 2020-04-02 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image processing |
US11615535B2 (en) | 2018-09-26 | 2023-03-28 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image processing |
US11227390B2 (en) | 2018-09-26 | 2022-01-18 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image processing |
CN109859189A (zh) * | 2019-01-31 | 2019-06-07 | 长安大学 | 一种基于深度学习的年龄估计方法 |
CN109934285A (zh) * | 2019-03-11 | 2019-06-25 | 吉林大学 | 一种基于深度学习的图像分类神经网络压缩模型设计 |
CN109949309A (zh) * | 2019-03-18 | 2019-06-28 | 安徽紫薇帝星数字科技有限公司 | 一种基于深度学习的肝脏ct图像分割方法 |
CN109949352A (zh) * | 2019-03-22 | 2019-06-28 | 邃蓝智能科技(上海)有限公司 | 一种基于深度学习的放疗影像靶区勾画方法及勾画*** |
CN109820507A (zh) * | 2019-03-25 | 2019-05-31 | 钟霁媛 | 疾病辅助诊断方法及装置 |
CN109820507B (zh) * | 2019-03-25 | 2024-03-08 | 钟霁媛 | 疾病辅助诊断方法及装置 |
CN110070116A (zh) * | 2019-04-08 | 2019-07-30 | 云南大学 | 基于深度树状训练策略的分段式选择集成图像分类方法 |
CN110070116B (zh) * | 2019-04-08 | 2022-09-20 | 云南大学 | 基于深度树状训练策略的分段式选择集成图像分类方法 |
CN110074813A (zh) * | 2019-04-26 | 2019-08-02 | 深圳大学 | 一种超声图像重建方法及*** |
CN110111329B (zh) * | 2019-05-17 | 2021-05-11 | 四川大学华西第二医院 | 一种基于人工智能超声影像检测方法及*** |
CN110111329A (zh) * | 2019-05-17 | 2019-08-09 | 四川大学华西第二医院 | 一种基于人工智能超声影像检测方法及*** |
CN110246216A (zh) * | 2019-05-28 | 2019-09-17 | 中国科学院深圳先进技术研究院 | 脊柱模型生成方法、脊柱模型生成***及终端 |
CN110246216B (zh) * | 2019-05-28 | 2023-02-28 | 中国科学院深圳先进技术研究院 | 脊柱模型生成方法、脊柱模型生成***及终端 |
CN110322491A (zh) * | 2019-06-11 | 2019-10-11 | 大连理工大学 | 一种可变形小鼠全身图谱与小鼠影像配准的算法 |
CN110322491B (zh) * | 2019-06-11 | 2022-03-04 | 大连理工大学 | 一种可变形小鼠全身图谱与小鼠影像配准的算法 |
CN110689547A (zh) * | 2019-09-25 | 2020-01-14 | 重庆大学 | 一种基于三维ct影像的肺结节分割方法 |
CN110689551A (zh) * | 2019-10-14 | 2020-01-14 | 慧影医疗科技(北京)有限公司 | 四肢骨分割方法、装置、电子设备及可读存储介质 |
CN110689551B (zh) * | 2019-10-14 | 2020-07-17 | 慧影医疗科技(北京)有限公司 | 四肢骨分割方法、装置、电子设备及可读存储介质 |
CN112754458A (zh) * | 2019-11-01 | 2021-05-07 | 上海联影医疗科技股份有限公司 | 磁共振成像方法、***及存储介质 |
CN111062948A (zh) * | 2019-11-18 | 2020-04-24 | 北京航空航天大学合肥创新研究院 | 一种基于胎儿四腔心切面图像的多组织分割方法 |
CN111062948B (zh) * | 2019-11-18 | 2022-09-13 | 北京航空航天大学合肥创新研究院 | 一种基于胎儿四腔心切面图像的多组织分割方法 |
CN113316803A (zh) * | 2019-12-20 | 2021-08-27 | 博医来股份公司 | 使用历史校正的统计分析来校正医学图像的分割 |
CN111339993A (zh) * | 2020-03-16 | 2020-06-26 | 上海联影医疗科技有限公司 | 一种x射线图像金属检测方法和*** |
CN111428224B (zh) * | 2020-04-02 | 2023-10-13 | 苏州杰锐思智能科技股份有限公司 | 基于人脸识别的电脑账户登录的方法 |
CN111428224A (zh) * | 2020-04-02 | 2020-07-17 | 苏州杰锐思智能科技股份有限公司 | 基于人脸识别的电脑账户登录的方法 |
CN111887813A (zh) * | 2020-08-11 | 2020-11-06 | 南通大学 | 一种鲜活离体组织脑区位置识别的方法及装置 |
CN111967539B (zh) * | 2020-09-29 | 2021-08-31 | 北京大学口腔医学院 | 基于cbct数据库的颌面部骨折的识别方法、装置及终端设备 |
CN111967539A (zh) * | 2020-09-29 | 2020-11-20 | 北京大学口腔医学院 | 基于cbct数据库的颌面部骨折的识别方法、装置及终端设备 |
CN112163541A (zh) * | 2020-10-09 | 2021-01-01 | 上海云绅智能科技有限公司 | 一种3d目标检测方法、装置、电子设备和存储介质 |
CN112562058B (zh) * | 2020-11-23 | 2024-02-23 | 西安电子科技大学 | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 |
CN112562058A (zh) * | 2020-11-23 | 2021-03-26 | 西安电子科技大学 | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 |
WO2022120588A1 (zh) * | 2020-12-08 | 2022-06-16 | 深圳先进技术研究院 | 一种低剂量pet图像还原方法、***、设备和介质 |
CN112686905A (zh) * | 2020-12-22 | 2021-04-20 | 天津大学 | 基于深度可分离卷积的轻量级脑肿瘤分割方法 |
CN112802032A (zh) * | 2021-01-19 | 2021-05-14 | 上海商汤智能科技有限公司 | 图像分割网络的训练和图像处理方法、装置、设备及介质 |
CN112907664B (zh) * | 2021-02-08 | 2023-04-25 | 明峰医疗***股份有限公司 | 图像像素位置查找方法、***及计算机可读存储介质 |
CN112907664A (zh) * | 2021-02-08 | 2021-06-04 | 明峰医疗***股份有限公司 | 基于fpga模块的pet探测器的图像像素位置查找方法、***及计算机可读存储介质 |
CN112801282A (zh) * | 2021-03-24 | 2021-05-14 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像处理方法、装置、计算机设备和存储介质 |
CN113284126A (zh) * | 2021-06-10 | 2021-08-20 | 安徽省立医院(中国科学技术大学附属第一医院) | 人工神经网络图像分析预测脑积水分流手术疗效的方法 |
CN113284126B (zh) * | 2021-06-10 | 2022-06-24 | 安徽省立医院(中国科学技术大学附属第一医院) | 人工神经网络图像分析预测脑积水分流手术疗效的方法 |
CN114445832A (zh) * | 2022-01-25 | 2022-05-06 | 平安科技(深圳)有限公司 | 基于全局语义的文字图像识别方法、装置及计算机设备 |
CN115937163B (zh) * | 2022-12-19 | 2023-07-28 | 西北民族大学 | 一种spect肺灌注成像的目标区域提取方法与*** |
CN115937163A (zh) * | 2022-12-19 | 2023-04-07 | 西北民族大学 | 一种spect肺灌注成像的目标区域提取方法与*** |
Also Published As
Publication number | Publication date |
---|---|
CN109242865B (zh) | 2020-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109242865A (zh) | 基于多图谱的医学图像自动分区***、方法、装置及存储介质 | |
CN109389587A (zh) | 一种医学图像分析***、装置及存储介质 | |
AU2017315684B2 (en) | Systems and methods for image segmentation using convolutional neural network | |
AU2017324069B2 (en) | Neural network for generating synthetic medical images | |
US20210056687A1 (en) | Systems and methods for segmentation of intra-patient medical images | |
CN110060313B (zh) | 一种图像伪影校正方法和*** | |
US9947102B2 (en) | Image segmentation using neural network method | |
CN112424835B (zh) | 用于图像重建的***和方法 | |
WO2018119766A1 (zh) | 多模态图像处理***及方法 | |
CN112368738B (zh) | 用于图像优化的***和方法 | |
US11615535B2 (en) | Systems and methods for image processing | |
WO2015002846A2 (en) | Method and system for a brain image pipeline and brain image region location and shape prediction | |
US11468570B2 (en) | Method and system for acquiring status of strain and stress of a vessel wall | |
Wang et al. | Sensorineural hearing loss identification via nine-layer convolutional neural network with batch normalization and dropout | |
CN110418665A (zh) | 放射治疗计划的自适应***、存储介质以及装置 | |
CN116258933A (zh) | 基于全局信息感知的医学图像分割装置 | |
Han | Cerebellum parcellation from magnetic resonance imaging using deep learning | |
CN117015801A (zh) | 图像分割的***和方法 | |
US20240169699A1 (en) | Synthetic Data Generation for Machine Learning for a Cardiac Magnetic Resonance Imaging Task | |
CN1954778A (zh) | 用于将放射图像数据映像到神经解剖学坐标系中的方法 | |
Li | Computer generative method on brain tumor segmentation in MRI images | |
Gayathri et al. | Machine Learning Approaches Towards Medical Images | |
Eichner | Interaktive Co-Registrierung für multimodale Krebs-Bilddaten basierend auf Segmentierungsmasken |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |