CN117765044A - 一种医学图像的配准方法、***和装置 - Google Patents
一种医学图像的配准方法、***和装置 Download PDFInfo
- Publication number
- CN117765044A CN117765044A CN202311850851.0A CN202311850851A CN117765044A CN 117765044 A CN117765044 A CN 117765044A CN 202311850851 A CN202311850851 A CN 202311850851A CN 117765044 A CN117765044 A CN 117765044A
- Authority
- CN
- China
- Prior art keywords
- medical image
- image
- frame
- offset
- key feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000009499 grossing Methods 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 6
- 238000003706 image smoothing Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000011551 log transformation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 48
- 238000003384 imaging method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 239000002872 contrast media Substances 0.000 description 13
- 238000012937 correction Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 7
- 238000002583 angiography Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000002792 vascular Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 206010067484 Adverse reaction Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000006838 adverse reaction Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 230000009747 swallowing Effects 0.000 description 2
- 208000019553 vascular disease Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本说明书实施例提供一种医学图像的配准方法、***和装置,包括:获取医学图像序列,医学图像序列包括多帧医学图像;从医学图像序列中选取蒙片图像;获取至少一个关键特征点,至少一个关键特征点位于多帧医学图像的目标区域中;将多帧医学图像与蒙片图像进行关键特征点匹配,确定至少一个关键特征点的第一偏移量;对第一偏移量进行平滑,得到目标帧医学图像关键特征点的第二偏移量;基于第二偏移量确定目标帧医学图像对应的目标结构图像。
Description
技术领域
本说明书涉及医学扫描领域,特别涉及一种医学图像的配准方法、***和装置。
背景技术
数字减影血管造影(Digital Subtraction Angiography,简称DSA)因其对比度分辨率高、检查时间短、造影剂用量小等优势,广泛应用于血管疾病的临床诊断。DSA技术通过带有造影剂的盈片图像减去蒙片图像,消除骨骼和软组织结构,使被造影剂充盈的血管在减影图中显现。然而造影剂的使用可能会产生不良反应,导致患者无法完全保持静止状态。另外,患者的呼吸、吞咽等难以避免的自主性组织局部运动,也会导致患者无法保持静止。进一步会导致DSA图像产生运动伪影。为了解决运动产生的伪影,一般会将血管相与蒙片相的组织结构信息进行特征匹配,之后再进行减影。然而目前的技术手段中仅追求蒙片和盈片的相似性,忽略了相邻帧之间图像配准的差异性,使得配准后出现整个序列的不一致现象,视觉上会有强烈的闪烁、抖动感,影响用户体验。
因此,本说明书提供一种医学图像的配准方法、***和装置,能够在去除运动伪影的同时兼顾图像的稳定性。
发明内容
本说明书实施例之一提供一种医学图像的配准方法,所述方法包括:获取医学图像序列,所述医学图像序列包括多帧医学图像;从所述医学图像序列中选取蒙片图像;获取至少一个关键特征点,所述至少一个关键特征点位于所述多帧医学图像的目标区域中;将所述多帧医学图像与所述蒙片图像进行关键特征点匹配,确定所述至少一个关键特征点的第一偏移量;对所述第一偏移量进行平滑,得到目标帧医学图像关键特征点的第二偏移量;基于所述第二偏移量确定目标帧医学图像对应的目标结构图像。
在一些实施例中,所述多帧医学图像包括至少一帧历史帧医学图像和/或至少一帧后续帧医学图像,所述至少一帧历史帧医学图像为所述目标帧医学图像之前的图像,所述至少一帧后续帧医学图像为所述目标帧医学图像之后的图像,所述第一偏移量包括所述至少一帧历史帧医学图像中所述目标区域的至少一个关键特征点的偏移量和/或所述至少一帧后续帧医学图像中所述目标区域的至少一个关键特征点的偏移量。
在一些实施例中,所述医学图像包括DSA图像。
在一些实施例中,所述基于所述第二偏移量确定目标帧医学图像对应的目标结构图像,包括:基于所述第二偏移量得到目标帧医学图像的第二蒙片图像;将所述目标帧医学图像减去所述第二蒙片图像,确定所述目标帧医学图像对应的所述目标结构图像。
在一些实施例中,所述对所述第一偏移量进行平滑通过图像平滑技术实现,所述图像平滑技术包括高斯核滤波、卡尔曼滤波、抛物线滤波中至少一种。
在一些实施例中,所述方法还包括:对所述医学图像序列进行预处理操作,所述预处理操作包括log变换、vst变换、正则化、降噪中至少一种。
在一些实施例中,所述将所述多帧医学图像与所述蒙片图像进行关键特征点匹配,确定所述至少一个关键特征点的第一偏移量包括:将所述多帧医学图像中目标区域的所述至少一个关键特征点与所述蒙片图像中目标区域的所述至少一个关键特征点进行匹配,确定所述至少一个关键特征点的第一偏移量。
在一些实施例中,所述至少一个关键特征点在所述多帧医学图像的每一帧医学图像中均匀选取或基于所述目标结构的形状选取。
本说明书实施例之一提供一种医学图像的配准***,所述***包括:第一获取模块,用于获取医学图像序列,所述医学图像序列包括多帧医学图像;选取模块,用于从所述医学图像序列中选取蒙片图像;第二获取模块,用于获取至少一个关键特征点,所述至少一个关键特征点位于所述多帧医学图像的目标区域中;匹配模块,用于将所述多帧医学图像与所述蒙片图像进行关键特征点匹配,确定所述至少一个关键特征点的第一偏移量;平滑模块,用于对所述第一偏移量进行平滑,得到目标帧医学图像关键特征点的第二偏移量;确定模块,用于基于所述第二偏移量确定目标帧医学图像对应的目标结构图像。
本说明书实施例之一提供一种医学图像的配准装置,所述装置包括:至少一个存储介质,存储计算机指令;至少一个处理器,执行所述计算机指令,以实现所述医学图像的配准方法。
通过本说明书一些实施例所述的医学图像的配准方法,可以至少实现如下有益效果:1)可以在保证图像稳定性的前提下实现伪影矫正,伪影矫正过程中保留了多帧图像的偏移情况,避免图像产生闪烁、跳跃、抖动等不良观感;2)偏移量确定过程采用了实时处理和后处理两种技术,为实际操作提供各种可选方案;3)通过新的蒙片,与目标帧医学图像进行图像相减,得到去伪影图像,新的蒙片具有多帧医学图像整体偏移情况,去伪影图像与相邻帧以及其他帧医学图像关联度高。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的医学图像的配准***的应用场景示意图;
图2是根据本说明书一些实施例所示的医学图像的配准***的示例性结构图;
图3是根据本说明书一些实施例所示的医学图像的配准方法的示例性流程图;
图4是根据本说明书一些实施例所示的确定目标结构图像的示例性流程图;
图5是根据本说明书一些实施例所示的医学图像的配准的示意图;
图6是根据本说明书一些实施例所示的平滑滤波技术的示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“***”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的***所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
数字减影血管造影(Digital Subtraction Angiography,简称DSA)因其对比度分辨率高、检查时间短、造影剂用量小等优势,广泛应用于血管疾病的临床诊断。DSA技术通过带有造影剂的盈片图像减去蒙片图像,消除骨骼和软组织结构,使被造影剂充盈的血管在减影图中显现。然而造影剂的使用可能会产生不良反应,导致患者无法完全保持静止状态。另外,患者的呼吸、吞咽等难以避免的自主性组织局部运动,也会导致患者无法保持静止。进一步会导致DSA图像产生运动伪影,这些运动伪影可能遮盖关键的血管信息,导致血管边缘失真和模糊。为了解决运动产生的伪影,一般会将血管相与蒙片相的组织结构信息进行特征匹配,之后再进行减影。然而目前的技术手段中仅追求蒙片和盈片的相似性,忽略了相邻帧之间图像配准的差异性,使得配准后出现整个序列的不一致现象,视觉上会有强烈的闪烁、抖动感,影响用户体验。
因此,本说明书提供一种医学图像的配准方法、***和装置,能够在去除运动伪影的同时兼顾图像的稳定性。
图1是根据本说明书一些实施例所示的医学图像的配准***的应用场景示意图。
如图1所示,医学图像的配准***的应用场景100可以包括成像设备110、处理设备120、终端130、网络140以及存储设备150。
成像设备110可以用于获取目标对象的感兴趣区域的医学图像序列。成像设备110可以是医学成像设备。例如,DSA(Digital Subtraction Angiography,数字减影血管造影)设备。在一些实施例中,成像设备110可以包括X射线管、高压发生器、影像增强器、光学***、控制器、机架等组件(部分图中未示出)。在一些实施例中,目标对象可以是被扫描的个体,例如人(患者)、动物等。在一些实施例中,感兴趣区域可以是目标对象的病灶区域,例如头部、颈部、胸部、腹部等。
处理设备120可以处理从成像设备110、终端130和/或存储设备150获得的数据和/或信息。例如,处理设备120可以通过成像设备110获取医学图像序列,所述医学图像序列包括多帧医学图像;从所述医学图像序列中选取蒙片图像;获取至少一个关键特征点,所述至少一个关键特征点位于所述多帧医学图像的目标区域中;将所述多帧医学图像与所述蒙片图像进行关键特征点匹配,确定所述至少一个关键特征点的第一偏移量;对所述第一偏移量进行平滑,得到目标帧医学图像关键特征点的第二偏移量;基于所述第二偏移量确定目标帧医学图像对应的目标结构图像。其中,目标区域可以是血管、心脏等组织。
在一些实施例中,处理设备120可以是单个服务器或服务器组。服务器组可以是集中式的,也可以是分布式的。在一些实施例中,处理设备120可以是本地的或远程的。例如,处理设备120可以通过网络140从成像设备110、终端130和/或存储设备150访问信息和/或数据。又例如,处理设备120可以直接连接成像设备110、终端130和/或存储设备150以访问信息和/或数据。在一些实施例中,处理设备120可以在云平台上实现。例如,云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等其中一种或几种的组合。
终端130可以包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。在一些实施例中,终端130可以通过网络140与其他组件交互。例如,终端130可以向成像设备110发送一种或多种控制指令以控制成像设备110按照指令对目标对象进行扫描。又例如,终端130还可以接收并呈现处理设备120发送的目标帧医学图像对应的目标结构图像给用户,并响应于用户反馈,执行其他操作。在一些实施例中,终端130可以是处理设备120的一部分。用户可以是本***的使用者。例如,医生、研究人员等。
网络140可以包括能够促进信息和/或数据交换的任何合适的网络。在一些实施例中,一个或多个组件(例如,成像设备110、处理设备120、终端130、存储设备150等)可以通过网络140与一个或多个组件之间交换信息和/或数据。例如,处理设备120可以通过网络140从成像设备110中获取医学图像序列。网络140可以包括公共网络(如互联网)、私人网络(例如,局域网(LAN)、广域网(WAN))等)、有线网络(如以太网)、无线网络、蜂窝网络、帧中继网络、虚拟专用网络、卫星网络、电话网络、路由器、集线器、服务器计算机等其中一种或几种组合。
存储设备150可以存储数据、指令和/或任何其他信息。在一些实施例中,存储设备150可以存储从成像设备110、终端130和/或处理设备120处获得的数据,例如,存储设备150可以存储从成像设备110获得的医学图像序列。在一些实施例中,存储设备150可以存储处理设备120执行或使用的数据和/或指令,以执行本申请中描述的示例性方法。在一些实施例中,存储设备150可以包括大容量存储器、可移除存储器、易失性读写存储器、只读存储器(ROM)等其中一种或几种的组合。在一些实施例中,存储设备150可以通过本申请中描述的云平台实现。例如,云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等其中一种或几种的组合。
在一些实施例中,存储设备150可以连接网络140,以与一个或多个组件(例如,处理设备120、终端130等)之间实现通信。一个或多个组件可以通过网络140读取存储设备150中的数据或指令。在一些实施例中,存储设备150可以是处理设备120的一部分,也可以是独立的,与处理设备直接或间接相连。应当注意医学图像的配准***的应用场景100仅仅是为了说明的目的而提供的,并不意图限制本申请的范围。对于本领域的普通技术人员来说,可以根据本说明书的描述,做出多种修改或变化。例如,医学图像的配准***的应用场景100还可以包括数据库。又例如,医学图像的配准***的应用场景100可以在其它设备上实现类似或不同的功能。然而,这些变化和修改不会背离本申请的范围。
图2是根据本说明书一些实施例所示的医学图像的配准***的示例性结构图。
在一些实施例中,医学图像的配准***200可以包括第一获取模块210、选取模块220、第二获取模块230、匹配模块240、平滑模块250以及确定模块260。
第一获取模块210用于获取医学图像序列,所述医学图像序列包括多帧医学图像。
选取模块220用于从所述医学图像序列中选取蒙片图像。
第二获取模块230用于获取至少一个关键特征点,所述至少一个关键特征点位于所述多帧医学图像的目标区域中。
匹配模块240用于将所述多帧医学图像与所述蒙片图像进行关键特征点匹配,确定所述至少一个关键特征点的第一偏移量。
平滑模块250用于对所述第一偏移量进行平滑,得到目标帧医学图像关键特征点的第二偏移量。
确定模块260用于基于所述第二偏移量确定目标帧医学图像对应的目标结构图像。
图3是根据本说明书一些实施例所示的医学图像的配准方法的示例性流程图。如图3所示,流程300包括下述步骤。在一些实施例中,流程300可以由处理设备(如处理设备120)及其组件执行。
步骤310,获取医学图像序列。在一些实施例中,步骤310可由第一获取模块210执行。
医学图像序列是目标对象被注射造影剂过程中得到的视频图像。医学图像可以包括DSA图像。即注射造影剂前后的X射线图像。在一些实施例中,医疗图像序列可以通过成像设备110获取。在DSA技术中,目标对象被注射造影剂可以更好地通过医学成像手段观察血管情况。在一些实施例中,医学图像序列包括多帧医学图像。例如,多帧医学图像可以线性排列。进一步地,多帧医学图像可以基于获取的时间顺序先后排列,组成医学图像序列(或视频)。仅作为示例,医学图像序列的帧率可以是10帧、15帧等。在一些实施例中,多帧医学图像包括未注射造影剂的图像(即蒙片图像)以及注射了造影剂的图像(即盈片图像)。
在一些实施例中,处理设备120对医学图像序列进行预处理操作,预处理操作包括对数变换、方差稳定(Variance Stabilizing Transform,VST)变换、正则化、降噪中至少一种。其中,对数变换用于增强图像的对比度和亮度。VST变换用于调整图像的色调和饱和度。正则化用于确保数据在一定范围内,并减少噪音的影响。降噪用于减少图像中的杂色点和伪像。需要说明的是,预处理操作还可以根据实际需要设置其他操作,本说明书对此不做限制。
步骤320,从医学图像序列中选取蒙片图像。在一些实施例中,步骤320可由选取模块220执行。
蒙片图像是DSA扫描的参考标准。在一些实施例中,蒙片图像是基准蒙片。例如,蒙片图像是一张未注射造影剂的X射线图像。在一些实施例中,蒙片图像可以通过人工选取,或***基于特定规则选取。例如,处理设备120可以指定未注射造影剂的图像帧为蒙片图像。
在一些实施例中,蒙片图像与医学图像序列的其他医学图像之间的差异小于预设范围。其中,预设范围可以是预设的灰度值范围、距离范围等。
在一些实施例中,蒙片图像与医学图像序列的其他医学图像之间的灰度差异、目标结构位置差异中任意一种差异小于预设范围。蒙片图像的选择需要考虑能够覆盖多帧医学图像的尽可能多的图像特征,因此蒙片图像与医学图像序列的其他医学图像之间的差异需要尽可能小。灰度差异可以是像素值的差异,灰度差异越小说明每个像素的像素值越接近。目标结构位置差异可以是目标结构(如血管区域)在图像中的位置坐标差异,目标结构位置差异越小说明目标结构在图像中的位置越接近。在一些实施例中,所述差异还包括目标结构形状差异。目标结构形状差异可以是目标结构在图像中的形状差异,目标结构形状差异越小,说明目标结构在图像中的拍摄角度、目标结构自身的形状变化(如呼吸等不可控的生理形状变化)差异越小。在一些实施例中,上述差异可以通过图像各个像素点的像素值检测、图像边缘检测等方式确定。
步骤330,获取至少一个关键特征点。在一些实施例中,步骤330可由第二获取模块230执行。
关键特征点是反映图像中目标区域图像特征的点。例如,关键特征点可以是器官的角点、器官的边缘点、或其他灰度值变化明显的点。在一些实施例中,至少一个关键特征点位于多帧医学图像的目标区域中。在一些实施例中,同一帧医学图像的目标区域可以包括至少一个关键特征点。可以理解的是,关键特征点选取数量越多,后续偏移计算的效果越精确,但对***的计算要求以及内存要求越高。
在一些实施例中,至少一个关键特征点在多帧医学图像的每一帧医学图像中均匀选取或基于目标结构的形状选取。其中,均匀选取可以是均匀采样或者网格采样,即在多帧医学图像上按照一定的间隔或规则选取关键特征点,确保关键特征点分布均匀。基于目标结构的形状选取可以是对目标结构进行结构分析(如边缘检测、轮廓提取等)后,通过角点检测、边缘交叉点检测等手段选取与目标结构形状相关的关键特征点。关键特征点的选取一般需要选择容易分辨的、图像灰度值变化明显的点。例如,处理设备120可以提取多帧医学图像中,每一帧医学图像中腹部的同一边缘位置点作为关键特征点。在一些实施例中,关键特征点还可以人工选取。
步骤340,将多帧医学图像与蒙片图像进行关键特征点匹配,确定至少一个关键特征点的第一偏移量。在一些实施例中,步骤340可由匹配模块240执行。
第一偏移量反映蒙片图像与其他医学图像之间关键特征点的偏移情况。在一些实施例中,第一偏移量可以通过像素值、距离值(如毫米)表示。例如,当使用像素作为一帧医学图像的尺寸计量时(如1000*1000像素值),其第一偏移量可以是像素值20;当使用长*宽(或具体的坐标值)作为一帧医学图像的尺寸计量时(如500mm*500mm),其第一偏移量可以是距离值2mm。可以理解的是,上述计量可以通过一定的映射关系(如分辨率)而相互转化。在一些实施例中,处理设备120可以确定蒙片图像与每一帧其他医学图像之间至少一个关键特征点的第一偏移量。例如,假设多帧医学图像包括N帧,则蒙片图像之外的其他医学图像为N-1帧,确定的第一偏移量数量为N-1个。仅作为示例,N-1个第一偏移量可以基于对应帧医学图像顺序进行排序,N-1个第一偏移量可以具有索引i,索引i表示目标第一偏移量为第几个第一偏移量。在一些实施例中,处理设备120将多帧医学图像中目标区域的至少一个关键特征点与蒙片图像中目标区域的至少一个关键特征点进行匹配,确定至少一个关键特征点的第一偏移量。例如,处理设备120可以基于血管某一位置的盈片图像和蒙片图像,确定两个图像中该位置的距离偏差,作为第一偏移量。对于一帧医学图像和蒙片图像中包括多个关键特征点时,处理设备120可以分别确定每个特征点的距离偏差,并对所有距离偏差取平均值作为该帧图像的第一偏移量。
在一些实施例中,多帧医学图像包括至少一帧历史帧医学图像,至少一帧历史帧医学图像为目标帧医学图像之前的图像,第一偏移量包括至少一帧历史帧医学图像中目标区域的至少一个关键特征点的偏移量。其中,目标帧医学图像为当前帧医学图像或需要进行伪影矫正的医学图像。历史帧医学图像为已经获取的医学图像。本实施例中,多帧医学图像是实时获取的,处理设备120可以实时获取多帧医学图像,并实时提取每帧医学图像(即历史帧医学图像)对应的第一偏移量。例如,处理设备120可以分别提取第i-n个第一偏移量到当前第i个第一偏移量(i>=n>=2,n表示第i帧前任意一帧,i表示当前第一偏移量的索引)。通过实时提取第一偏移量可以得到医学图像的实时偏移情况。
在一些实施例中,多帧医学图像包括至少一帧历史帧医学图像和至少一帧后续帧医学图像,至少一帧历史帧医学图像为目标帧医学图像之前的图像,至少一帧后续帧医学图像为目标帧医学图像之后的图像,第一偏移量包括至少一帧历史帧医学图像中目标区域的至少一个关键特征点的偏移量和至少一帧后续帧医学图像中目标区域的至少一个关键特征点的偏移量。本实施例中,第一偏移量的提取是在多帧医学图像获取后进行的,处理设备120可以在获取多帧医学图像后,提取每帧医学图像(即历史帧医学图像和后续帧医学图像)对应的第一偏移量。例如,处理设备120可以分别得到第i-n个第一偏移量到当前第i+m个第一偏移量(n>=1,m表示第i帧后任意一帧,i表示当前关键点的索引)。通过在获取多帧医学图像后再提取第一偏移量,可以结合历史医学图像和后续医学图像,通过后处理技术得到医学图像的整体偏移情况。可以理解的是,多帧医学图像还可以仅包括至少一帧后续帧医学图像,相应地,第一偏移量包括至少一帧后续帧医学图像中目标区域的至少一个关键特征点的偏移量。
步骤350,对第一偏移量进行平滑,得到目标帧医学图像关键特征点的第二偏移量。在一些实施例中,步骤350可由平滑模块250执行。
第二偏移量是对第一偏移量进行平滑后的偏移量。在一些实施例中,第二偏移量可以通过像素值、距离值(如毫米)表示。例如,当使用像素作为一帧医学图像的尺寸计量时(如1000*1000像素值),其第二偏移量可以是像素值20;当使用长*宽(或具体的坐标值)作为一帧医学图像的尺寸计量时(如500mm*500mm),其第二偏移量可以是距离值2mm。可以理解的是,上述计量可以通过一定的映射关系(如分辨率)而相互转化。在一些实施例中,第二偏移量可以通过对至少两个第一偏移量进行平滑得到。第二偏移量反映多帧医学图像整体的偏移情况,通过将多帧医学图像整体的偏移情况结合在目标帧医学图像上,能够实现伪影矫正且保留了多帧医学图像整体特征。
在一些实施例中,对第一偏移量进行平滑通过图像平滑技术实现,图像平滑技术包括高斯核滤波、卡尔曼滤波、抛物线滤波中至少一种。图像平滑技术基于当前帧医学图像与其他医学图像分析出一个偏移的走势,再进行平滑处理,对需要偏移的像素点进行偏移。图像平滑技术需要多个第一偏移量(如N-1个第一偏移量),输出第二偏移量。
步骤360,基于第二偏移量确定目标帧医学图像对应的目标结构图像。在一些实施例中,步骤360可由确定模块260执行。
目标结构图像是进行图像的配准后的目标图像。例如,目标结构图像可以是进行伪影矫正后的血管结构图像。在一些实施例中,处理设备120可以基于第二偏移量,对目标帧医学图像进行图像偏移、或通过深度学习等方式确定目标结构图像。关于目标结构图像确定的具体说明,参见图4及其相关描述。
通过本说明书一些实施例所述的医学图像的配准方法,可以在保证图像稳定性的前提下实现伪影矫正,伪影矫正过程中保留了多帧图像的偏移情况,避免图像产生闪烁、跳跃、抖动等不良观感;另外,偏移量确定过程采用了实时处理和后处理两种技术,为实际操作提供各种可选方案。
图4是根据本说明书一些实施例所示的确定目标结构图像的示例性流程图。如图4所示,在一些实施例中,流程400可以由处理设备(如处理设备120)或其组件执行。
步骤410,基于第二偏移量得到目标帧医学图像的第二蒙片图像。
第二蒙片图像是更新后的DSA扫描参考标准。在一些实施例中,第二蒙片图像是更新后的基准蒙片。例如,第二蒙片图像是一张未注射造影剂的X射线图像。在一些实施例中,第二蒙片图像可以通过对上述的蒙片图像进行偏移以获取。例如,处理设备120可以基于第二偏移量,对上述基准蒙片进行偏移,以得到第二蒙片图像。在一些实施例中,处理设备120可以通过深度学习模型获取第二蒙片图像。例如,处理设备120向深度学习模型输入基准蒙片以及第二偏移量,输出第二蒙片图像。其中,深度学习模型可以是卷积神经网络、深度神经网络等模型。
步骤420,将目标帧医学图像减去第二蒙片图像,确定目标帧医学图像对应的目标结构图像。
在一些实施例中,目标帧医学图像与第二蒙片图像相减可以通过图像处理软件实现。通过图像相减可以减去组织结构和骨骼等造影剂显影的干扰,突出血管结构和造影剂的流动。
本实施例中通过新的蒙片,与目标帧医学图像进行图像相减,得到去伪影图像,新的蒙片具有多帧医学图像整体偏移情况,去伪影图像与相邻帧以及其他帧医学图像关联度高,使得整个图像序列中不会发生闪烁、跳跃等不良观感。
图5是根据本说明书一些实施例所示的医学图像的配准的示意图。如图5所示,流程500包括以下步骤:
步骤510,处理设备120对取得的DSA图像序列进行预处理操作。例如,对图像进行log变换、正则化、降噪等预处理操作。并在预处理后的DSA图像序列中选取蒙片图像;
步骤520,处理设备120对DSA图像序列利用特征提取方法提取到关键区域的图像特征点,其中关键区域可以是病灶区域,或其他特殊的器官组织;
步骤530,处理设备120对特征点进行图像特征匹配得到对应的特征点;
步骤540,处理设备120确定第i-(N-1)帧、……第i帧、……第i+M帧医学图像的第一偏移量;
步骤550,处理设备120利用平滑技术得到第二偏移量;
步骤560,处理设备120基于第二偏移量更新匹配结果;
步骤570,处理设备120对目标帧医学图像进行图像变换,得到目标结构图像。通过上述流程500可以实现对医学图像序列的处理。
图6是根据本说明书一些实施例所示的平滑滤波技术的示意图。如图6所示,横坐标为时间(帧),纵坐标为偏移量(像素值)。图6包括基础(未进行平滑处理)曲线610、高斯核3曲线620以及高斯核7曲线630。其中,基础曲线610的部分峰值通过圆形标注;高斯核3曲线620的部分峰值通过矩形标注;高斯核7曲线630的部分峰值通过三角形标注。高斯核7相对于高斯核3核大一些,高斯核7最平滑,高斯核3其次,未进行平滑处理的基础曲线610不同帧偏差很明显(如图6中基础曲线610的部分峰值纵坐标的落差最大)。如图6可知,高斯核7曲线630的部分峰值纵坐标的差距最小,即偏移量变化值最小,高斯核7能够得到最平滑的结果。
通过本说明书一些实施例所述的医学图像的配准方法,可以至少实现如下有益效果:1)通过本说明书一些实施例所述的医学图像的配准方法,可以在保证图像稳定性的前提下实现伪影矫正,伪影矫正过程中保留了多帧图像的偏移情况,避免图像产生闪烁、跳跃、抖动等不良观感;2)偏移量确定过程采用了实时处理和后处理两种技术,为实际操作提供各种可选方案;3)通过新的蒙片,与目标帧医学图像进行图像相减,得到去伪影图像,新的蒙片具有多帧医学图像整体偏移情况,去伪影图像与相邻帧以及其他帧医学图像关联度高。
本说明书一些实施例还提供一种医学图像的配准装置,该装置包括至少一个处理器以及至少一个存储器;至少一个存储器用于存储计算机指令;至少一个处理器用于执行计算机指令中的至少部分指令以实现上述医学图像的配准方法。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的***组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的***。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (10)
1.一种医学图像的配准方法,其特征在于,所述方法包括:
获取医学图像序列,所述医学图像序列包括多帧医学图像;
从所述医学图像序列中选取蒙片图像;
获取至少一个关键特征点,所述至少一个关键特征点位于所述多帧医学图像的目标区域中;
将所述多帧医学图像与所述蒙片图像进行关键特征点匹配,确定所述至少一个关键特征点的第一偏移量;
对所述第一偏移量进行平滑,得到目标帧医学图像关键特征点的第二偏移量;
基于所述第二偏移量确定目标帧医学图像对应的目标结构图像。
2.如权利要求1所述的方法,其特征在于,所述多帧医学图像包括至少一帧历史帧医学图像和/或至少一帧后续帧医学图像,所述至少一帧历史帧医学图像为所述目标帧医学图像之前的图像,所述至少一帧后续帧医学图像为所述目标帧医学图像之后的图像,所述第一偏移量包括所述至少一帧历史帧医学图像中所述目标区域的至少一个关键特征点的偏移量和/或所述至少一帧后续帧医学图像中所述目标区域的至少一个关键特征点的偏移量。
3.如权利要求1所述的方法,其特征在于,所述医学图像包括DSA图像。
4.如权利要求1所述的方法,其特征在于,所述基于所述第二偏移量确定目标帧医学图像对应的目标结构图像,包括:
基于所述第二偏移量得到目标帧医学图像的第二蒙片图像;
将所述目标帧医学图像减去所述第二蒙片图像,确定所述目标帧医学图像对应的所述目标结构图像。
5.如权利要求1所述的方法,其特征在于,所述对所述第一偏移量进行平滑通过图像平滑技术实现,所述图像平滑技术包括高斯核滤波、卡尔曼滤波、抛物线滤波中至少一种。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
对所述医学图像序列进行预处理操作,所述预处理操作包括log变换、vst变换、正则化、降噪中至少一种。
7.如权利要求1所述的方法,其特征在于,所述将所述多帧医学图像与所述蒙片图像进行关键特征点匹配,确定所述至少一个关键特征点的第一偏移量包括:
将所述多帧医学图像中目标区域的所述至少一个关键特征点与所述蒙片图像中目标区域的所述至少一个关键特征点进行匹配,确定所述至少一个关键特征点的第一偏移量。
8.如权利要求1所述的方法,其特征在于,所述至少一个关键特征点在所述多帧医学图像的每一帧医学图像中均匀选取或基于所述目标结构的形状选取。
9.一种医学图像的配准***,其特征在于,所述***包括:
第一获取模块,用于获取医学图像序列,所述医学图像序列包括多帧医学图像;
选取模块,用于从所述医学图像序列中选取蒙片图像;
第二获取模块,用于获取至少一个关键特征点,所述至少一个关键特征点位于所述多帧医学图像的目标区域中;
匹配模块,用于将所述多帧医学图像与所述蒙片图像进行关键特征点匹配,确定所述至少一个关键特征点的第一偏移量;
平滑模块,用于对所述第一偏移量进行平滑,得到目标帧医学图像关键特征点的第二偏移量;
确定模块,用于基于所述第二偏移量确定目标帧医学图像对应的目标结构图像。
10.一种医学图像的配准装置,其特征在于,所述装置包括:
至少一个存储介质,存储计算机指令;
至少一个处理器,执行所述计算机指令,以实现权利要求1~8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311850851.0A CN117765044A (zh) | 2023-12-28 | 2023-12-28 | 一种医学图像的配准方法、***和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311850851.0A CN117765044A (zh) | 2023-12-28 | 2023-12-28 | 一种医学图像的配准方法、***和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117765044A true CN117765044A (zh) | 2024-03-26 |
Family
ID=90325644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311850851.0A Pending CN117765044A (zh) | 2023-12-28 | 2023-12-28 | 一种医学图像的配准方法、***和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117765044A (zh) |
-
2023
- 2023-12-28 CN CN202311850851.0A patent/CN117765044A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7953260B2 (en) | Predicting movement of soft tissue of the face in response to movement of underlying bone | |
CN112150574B (zh) | 一种图像伪影自动校正方法、***、装置及存储介质 | |
CN113689359B (zh) | 一种图像伪影去除模型及其训练方法和*** | |
JPH1031745A (ja) | 自動画像解析方法 | |
US9691148B2 (en) | Medical imaging analyzer and medical image processing method | |
CN109389653A (zh) | 心脏图像重建方法、装置、计算机设备和可读存储介质 | |
CN114037803B (zh) | 医学图像三维重建方法及*** | |
KR20110136487A (ko) | 의료용 융합영상 획득장치 및 획득방법 | |
CN111640127B (zh) | 一种用于骨科的精准临床诊断导航方法 | |
CN113538419B (zh) | 一种图像处理方法和*** | |
CN117765044A (zh) | 一种医学图像的配准方法、***和装置 | |
CN116128942A (zh) | 基于深度学习的三维多模块医学影像的配准方法和*** | |
JP2005012771A (ja) | 放射線撮像画像のコントラスト及び輝度を設定するための方法及び装置 | |
CN116168097A (zh) | 构建cbct勾画模型和勾画cbct图像的方法、装置、设备及介质 | |
CN115761228A (zh) | 一种冠状动脉钙化斑块分割方法、装置、设备及存储介质 | |
CN113989171A (zh) | 减影图生成方法及装置、存储介质、计算机设备 | |
CN109345606A (zh) | 心脏图像重建方法、装置、计算机设备和可读存储介质 | |
CN112669405B (zh) | 图像重建方法、***、可读存储介质和设备 | |
CN113989338A (zh) | 图像配准方法及装置、存储介质及计算机设备 | |
CN113592804A (zh) | 图像处理方法、装置及设备 | |
KR20220169134A (ko) | 인공지능 기반 온쓸개관돌의 단층 촬영 이미지 판독 장치, 시스템, 방법 및 프로그램 | |
JP2022052210A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20240148343A1 (en) | Control method and control system for image scanning, electronic apparatus, and storage medium | |
CN112766258B (zh) | 图像的分割方法、***、电子设备及计算机可读存储介质 | |
CN114565623B (zh) | 肺血管分割方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |