CN117115220B - 图像处理方法、服务提供方法、装置、设备和存储介质 - Google Patents
图像处理方法、服务提供方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN117115220B CN117115220B CN202311121899.8A CN202311121899A CN117115220B CN 117115220 B CN117115220 B CN 117115220B CN 202311121899 A CN202311121899 A CN 202311121899A CN 117115220 B CN117115220 B CN 117115220B
- Authority
- CN
- China
- Prior art keywords
- image
- feature map
- registered
- training
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 230000009466 transformation Effects 0.000 claims abstract description 147
- 238000012549 training Methods 0.000 claims description 185
- 238000006073 displacement reaction Methods 0.000 claims description 159
- 238000012545 processing Methods 0.000 claims description 123
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 35
- 238000009499 grossing Methods 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 21
- 230000001960 triggered effect Effects 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 38
- 230000000694 effects Effects 0.000 description 28
- 230000000875 corresponding effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 9
- 210000001015 abdomen Anatomy 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 2
- 238000002601 radiography Methods 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种图像处理方法、服务提供方法、装置、设备和存储介质，该方法包括：获取参考图像以及待配准图像，二者包含在不同拍摄条件下对相同对象拍得的图像。接着，获取参考图像的参考特征图，该特征图中包含参考图像中各信息单元的语义信息。根据参考特征图中的语义信息确定待配准图像的变换模型，并按照此变换模型对待配准图像进行配准以得到配准后图像。相比于利用图像的强度信息或外观信息确定变换模型，上述方法可以利用信息单元的语义信息确定变换模型，使得变换模型更加准确即可以使待配准图像更合理的进行变形，从而提高图像配准的准确性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种图像处理方法、服务提供方法、装置、设备和存储介质。
背景技术
图像配准(Image registration)就是将不同时间、不同成像设备或不同拍摄条件下获取到的图像进行匹配的过程。也即是指一幅图像寻求一种空间变换,使它与另一幅图像上的对应点达到空间上的一致。这种一致可以是指图像中的同一对象在配准后的两张图像上有相同的空间位置。其中，拍摄条件可以包括拍摄设备、拍摄天气、拍摄照度、摄像位置和拍摄角度等等。
在实际中，如何提高图像配准的效果就成为一个亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供一种图像处理方法、服务提供方法、装置、设备和存储介质，用以提高图像配准效果。
第一方面，本发明实施例提供一种图像处理方法，包括：
获取参考图像的参考特征图，所述参考特征图包括所述参考图像中各信息单元的语义信息；
根据所述语义信息确定待配准图像对应的变换模型，所述待配准图像和所述参考图像包括在不同拍摄条件下对相同对象拍得的图像；
根据所述变换模型对所述待配准图像进行配准，以得到配准后图像。
第二方面，本发明实施例提供一种图像处理方法，包括：
获取在不同拍摄条件下对相同对象拍得的参考图像和待配准图像；
获取所述参考图像的参考特征图以及所述待配准图像的待配准特征图，特征图包括图像中各信息单元的语义信息；
对所述参考特征图和所述待配准特征图进行相关性处理，以得到相关特征图；
根据所述参考图像、所述待配准图像和所述相关特征图，确定与所述待配准图像的尺寸相同的位移场；
利用速度场对所述位移场进行平滑处理；
根据平滑处理结果对所述待配准图像进行配准，以得到配准后图像。
第三方面，本发明实施例提供一种服务提供方法，包括：
响应于对处理平台触发的输入指令，获取参考图像的参考特征图，所述参考特征图包括所述参考图像中各信息单元的语义信息；
根据所述参考特征图中的语义信息确定待配准图像对应的变换模型，所述待配准图像和所述参考图像包括在不同拍摄条件下对相同对象拍得的图像；
根据所述变换模型对所述待配准图像进行配准；
显示配准后图像。
第四方面，本发明实施例提供一种服务提供方法，包括：
响应于对处理平触发的输入指令，获取在不同拍摄条件下对相同对象拍得的参考图像和待配准图像；
获取所述参考图像的参考特征图以及所述待配准图像的待配准特征图，特征图包括图像中各信息单元的语义信息；
对所述参考特征图和所述待配准特征图进行相关性处理，以得到相关特征图；
根据所述参考图像、所述待配准图像和所述相关特征图，确定与所述待配准图像的尺寸相同的位移场；
利用速度场对所述位移场进行平滑处理；
根据平滑处理结果对所述待配准图像进行配准；
显示配准后图像。
第五方面，本发明实施例提供一种服务提供方法，包括：
响应于对训练平台触发的输入指令，获取第一训练图像、所述第一训练图像的第一训练特征图、第二训练图像以及所述第二训练图像的第二训练特征图，所述第一训练图像和所述第二训练图像包括在不同的拍摄条件下对相同对象拍得的图像；
对所述第一训练特征图和所述第二训练特征图进行相关性处理，以得到相关训练特征图，特征图包含图像中信息单元的语义信息；
将所述第一训练图像、所述第二训练图像以及所述相关训练特征图输入预测模型；
确定所述预测模型输出的目标位移场的平滑度；
确定所述第二训练图像与利用所述目标位移场对所述第一训练图像进行配准后得到的配准结果之间的第一相似度；
确定所述第二训练特征图与所述配准结果的特征图之间的第二相似度；
将所述第一相似度、所述第二相似度以及所述平滑度作为损失值，训练所述预测模型；
输出所述预测模型。
第六方面，本发明实施例提供一种图像处理装置，包括：
特征图获取模块，用于获取参考图像的参考特征图，所述参考特征图包括所述参考图像中各信息单元的语义信息；
变换模型确定模块，用于根据所述语义信息确定待配准图像对应的变换模型，所述待配准图像和所述参考图像包括在不同拍摄条件下对相同对象拍得的图像；
配准模块，用于根据所述变换模型对所述待配准图像进行配准，以得到配准后图像。
第七方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面或第二方面中的图像处理方法，或者执行上述第三方面至第五方面中任一方面的服务提供方法。该电子设备还可以包括通信接口，用于与其他设备或通信***通信。
第八方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如上述第一方面或第二方面中的图像处理方法，或者上述第三方面至第五方面中任一方面的服务提供方法。
本发明实施例提供的图像处理方法中，获取参考图像以及待配准图像，二者包含在不同拍摄条件下对相同对象拍得的图像。接着，获取参考图像的参考特征图，该特征图中包含参考图像中各信息单元的语义信息。根据参考特征图中的语义信息确定待配准图像的变换模型，并按照此变换模型对待配准图像进行配准，以得到配准后图像。
配准的目的是使图像中的同一对象在配准后的两张图像上有相同的空间位置。而若利用图像的强度信息或外观信息确定变换模型，则由于这两者信息并不能反映图像中对象的语义，因此，得到的变换模型并不准确。而采用上述方法则是直接利用信息单元的语义信息确定变换模型，变换模型更加准确，从而提高图像配准的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的流程图；
图2为本发明实施例提供的另一种图像处理方法的流程图；
图3为本发明实施例提供的又一种图像处理方法的流程图；
图4为本发明实施例提供的又一种图像处理方法的流程图；
图5为本发明实施例提供的一种模型训练方法的示意图；
图6a为本发明实施例提供的一种服务提供方法的流程图；
图6b为本发明实施例提供的一种服务平台的界面示意图；
图7为本发明实施例提供的另一种服务提供方法的流程图；
图8a为本发明实施例提供的又一种服务提供方法的流程图；
图8b为本发明实施例提供的另一种服务平台的界面示意图；
图9为在医学图像配准场景下使用本发明实施例提供的方法的示意图；
图10为本发明实施例提供的一种图像处理装置的结构示意图；
图11为本发明实施例提供的一种电子设备的结构示意图；
图12为本发明实施例提供的另一种图像处理装置的结构示意图；
图13为本发明实施例提供的另一种电子设备的结构示意图；
图14为本发明实施例提供的一种服务提供装置的结构示意图；
图15为本发明实施例提供的又一种电子设备的结构示意图；
图16为本发明实施例提供的另一种服务提供装置的结构示意图；
图17为本发明实施例提供的又一种电子设备的结构示意图；
图18为本发明实施例提供的又一种服务提供装置的结构示意图；
图19为本发明实施例提供的又一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于识别”。类似地，取决于语境，短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。
需要说明的有，本发明所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
下面可以结合附图对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征、步骤都可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
图1为本发明实施例提供的一种图像处理方法的流程图。本发明实施例提供的该图像处理方法可以由具有图像处理能力的处理设备执行。如图1所示，该方法可以包括如下步骤：
S101，获取参考图像的参考特征图，参考特征图包括参考图像中各信息单元的语义信息。
处理设备可以获取参考图像的特征图。其中，参考图像可以是医学图像或者其他类型的三维图像，参考图像也可也是二维图像，参考特征图中可以包括参考图像中各信息单元的语义信息。并且当参考图像具体为三位图像时，图像的信息单元为体素，当参考图像为二维图像时，图像的信息单元为像素。
参考特征图的尺寸小于参考图像的尺寸，比如可以是参考图像的一半。并且参考特征图可以由分割模型通过提取的方式得到。
可选地，当参考图像具体为医学图像时，其具体可以包括X射线图，超声波图像、核磁共振图像(Nuclear Magnetic Resonance Imaging，简称NMRI)等等。X射线图具体又包括X线平片、计算机X射线(computed radiography，简称CR)图像、数字X射线(DigitalRadiography，简称DR)图像、电子计算机断层扫描(Computed Tomography，简称CT)图像。容易理解的，上述这些医学图像都是三维图像。
可选地，分割模型具体可以包括SAM(Segment Anything Model)模型、全卷积神经网络(Fully Convolutional Networks，简称FCN)模型、掩码区域卷积神经网络(MaskRegion-Convolutional Neural Network，简称Mask R-CNN)模型、基于递归残差神经网络的U形网络(Recurrent Residual CNN-based U-Net，简称R2 U-Net)模型等等。
可选地，上述的分割模型可以部署在处理设备中，则可以将参考图像输入输入处理设备，以由该分割模型输出参考图像的参考特征图。可选地，上述分割模型也可以部署在独立于处理设备的其他设备中。则参考图像可以先输入其他设备，再将其他设备输出的参考特征图输入处理设备，以进行后续处理。
S102，根据语义信息确定待配准图像对应的变换模型，待配准图像和参考图像包括在不同拍摄条件下对相同对象拍得的图像。
参考图像和待配准图像可以包括在不同拍摄条件下对相同对象拍得的图像。并且参考图像和待配准图像为尺寸相同的三维图像或者二维图像。但由于图像的拍摄设备和/或拍摄角度等拍摄条件不同，则容易导致同一对象在参考图像和待配准图像中的不同位置，因此，处理设备可以进一步根据参考特征图中的语义信息确定待配准图像对应的变换模型。
可选地，当参考图像和待配准图像具体可以为医学图像时，两图像中包含的同一对象可以是人体同一部位，或者是同一部位中的同一组织结构，此时，参考图像和待配准图像具体可以为该人体部位的解剖图，则该解剖图中又显示了该人体部位包含的多个组织结构。比如脑部可以包括脑干、脑室、小脑、脑桥、脑血管等等组织结构。
可选地，拍摄条件具体可以包括拍摄待配准图像和参考图像的设备、拍摄角度，比如待配准图像可以是由磁共振设备拍得的MRI图像，参考图像可以是由计算机X线断层摄影机(即CT机)拍得的CT图像。
S103，根据变换模型对待配准图像进行配准，以得到配准后图像。
最终，处理设备可以根据变换模型对待配准图像进行配准，以得到配准后图像。也即是处理设备可以根据变换模型对待配准图像进行形变处理，以将同一对象在配准后图像和参考图像中进行对齐，也即是使该对象在配准后图像中的位置与在参考图像中的位置相同。可选地，根据变换模型的表现形式不同，利用变换模型对待配准图像进行配准具体可以包括参数配准或者非参数配准。
本实施例中，处理设备获取参考图像以及待配准图像，二者包含在不同拍摄条件下对相同对象拍得的图像。接着，再获取参考图像的参考特征图，该特征图中包含参考图像中各信息单元的语义信息。根据参考特征图中的语义信息确定待配准图像的变换模型，并按照此变换模型对待配准图像进行配准，以得到配准后图像。
配准的目的是使同一对象(即图像中同一语义的图像区域)在参考图像和配准后图像中在位置上是对齐的。若直接利用图像的强度信息或外观信息确定变换模型，则由于这两者信息并不能反映图像中对象的语义，因此得到的变换模型并不准确。而采用上述方法可以直接利用信息单元的语义信息确定变换模型，使得变换模型更加准确，从而提高图像配准的准确性。
另外，在实际中，当对医学图像进行配准时，经常会出现一些特殊情况，比如对大形变或者组织结构复杂的医学图像进行配准。这种情况往往具有更大的配准难度。而使用本发明各实施例的方法，也即是使用语义信息对大形变或者组织结构复杂的医学图像进行配准，则可以实现很好地配准效果。
其中，为后续描述清楚可以将参考图像和待配准图像包含的同一对象称为目标对象。则大形变是指参考图像和待配准图像虽然都包含目标对象，但参考图像或者待配准图像中还可以包含其他对象。则当使用图像的强度信息和外观信息进行配准时，图像中的其他对象会对目标对象的配准造成干扰。比如参考图像为人体全身的CT图像，而待配准图像为人体腹部的CT图像，则全身CT图中的其他部位就会对腹部的配准造成干扰。
使用本发明各实施例提供的图像处理方法进行配准时使用的是语义信息，并且全身CT图像中其他部位的语义显然和腹部的语义是不同的，因此，其他部位对应的图像区域不会参与到配准过程中，也就不会对腹部的配准造成干扰。
其中，组织结构复杂指的是参考图像和待配准图像虽然都包含目标对象，但该目标对象可以是处于不断运动的部位或组织结构。而在目标对象处于不同运动状态时拍得的图像可能会有很大差异，从而导致配准难度增加。比如参考图像为用户呼气时的腹部图像，待配准图像是用户吸气时的腹部图像，呼吸过程中吸入腹部的气体会对配准过程造成干扰。
使用本发明各实施例提供的图像处理方法进行配准时使用的是语义信息，但图像中气体的语义显然和腹部的语义是不同的，因此，待配准图像中气体对应的图像区域不会参与到配准过程中，也就不会对腹部的配准造成干扰。
另外，当具体是对医学图像进行配准时，在执行本发明上述以及下述各实施例提供的图像处理方法和服务提供***以完成图像的配准之后，可选地，处理设备还可以执行以下步骤：展示配准后图像和参考图像。
由于配准后图像和参考图像可以是由不同设备采集的不同类型的医学图像，并且不同设备的成像原理不同，导致不同类型的医学图像对同一对象的描述重点不同。比如MRI图像能够更清晰地描述脑部组织的情况，CT图像能够更清晰地描述脑血管的血流情况。则专业人员可以将配准后的两张图像对比观察以更准确地了解图像中对象的健康状态，并进一步给出判断结果以及与该判断结果对应的治疗方案。可选地，展示配准后图像和参考图像可以有上述实施例中的处理设备执行，也可以由独立于处理设备的另一设备执行。
可选地，在图像配准之后处理设备还可以执行以下步骤：对配准后图像和参考图像进行图像的语义识别，并展示识别结果。
基于上述步骤得到的识别结果，专业人员可以对比观察配准后图像和参考图像各自的识别结果，以给出反映图像中目标对象健康状态的判断结果以及与该判断结果对应的治疗方案。可选地，执行语义识别和展示步骤的设备可以是上述实施例中的处理设备，也可以是独立于处理设备的另一设备。
可选地，图1所示实施例中提到了可以利用变换模型实现图像配准。可选地，变换模型具体可以表现为仿射变换矩阵，此时，处理设备可以执行图2所示的实施例完成图像配准。则图2为本发明实施例提供的另一种图像处理方法的流程图。如图2所示，可以包括以下步骤：
S201，获取参考图像的参考特征图，参考特征图包括参考图像中各信息单元的语义信息。
上述步骤S201的具体实现过程可以参见图1所示实施例中相关步骤的具体描述，在此不再赘述。
S202，获取待配准图像的待配准特征图，待配准特征图包括待配准图像中各信息单元的语义信息，待配准图像和参考图像包括在不同拍摄条件下对相同对象拍得的图像。
其中，待配准图像同样可以由分割模型进行特征提取以输出待配准特征图，具体过程与参考特征图的过程相同，可以参见图1所示实施例中的描述，在此不再赘述。
S203，对参考特征图进行采样，以得到采样集合。
接着，处理设备可以进一步对参考特征图进行采样，以得到采样集合。可选地，可以采用随机采用或者均匀采用的方式对待配准特征图进行采样。
可选地，本实施例并不限定步骤S202和步骤S203之间的执行顺序，处理设备也可以先采样再获取待配准特征图，也可以同时执行两步骤。
S204，在待配准特征图中，确定与采样集合中第一信息单元匹配的第二信息单元，第二信息单元为待配准特征图中与第一信息单元语义信息相似度最高的信息单元，第一信息单元包括采样集合中的任一信息单元。
基于上述步骤得到的采样集合，处理设备可以在待配准特征图中为采样集合中的每个信息单元确定各自匹配的信息单元。并且由于在待配准特征图中确定与采样集合中任一信息单元相匹配的信息单元的过程都是相同的，则可以以采样集合中的任一信息单元即第一信息单元为例进行说明：
处理设备可以计算待配准特征图中各信息单元的语义信息与采样集合中第一信息单元的语义信息之间的语义信息相似度。若相比于待配准特征图中的其他信息单元，待配准特征图中第二信息单元与第一信息单元之间的语义相似度最高，则确定第一信息单元与第二信息单元匹配，二者可以构成一个信息单元对。
按照上述过程，处理设备可以以采样集合中的每个信息单元为基准向待配准特征图进行匹配(正向匹配)，以得到至少一个存在匹配关系的信息单元对。
S205，根据存在匹配关系的信息单元在参考特征图和待配准特征图中的位置，确定表现为仿射变换矩阵的变换模型。
进一步地，处理设备可以根据存在匹配关系的信息单元在参考特征图和待配准特征图中的位置，确定表现为仿射变换矩阵的变换模型。可选地，可以将至少一个信息单元对中的信息单元各自在特征图中的位置作为参数输入线性数学模型，以利用该数学模型估计出仿射变换矩阵。
S206，根据仿射变换矩阵对待配准图像进行配准，以得到配准后图像。
最终，处理设备可以按照仿射变换矩阵对待配准图像进行仿射变换，以得到配准后图像。并且利用仿射变换矩阵进行配准本质上是一种参数配准。由于使用仿射变换矩阵能够对待配准图像中的各信息单元进行同一种仿射变换，因此，步骤S206实际上是对待配准图像的一种整体配准，即整体形变。
本实施例中，处理设备可以借助语义信息对参考特征图和待配准特征图中各信息单元进行匹配，并利用存在匹配关系的各信息单元在相应特征图中的位置估计表现为仿射变换矩阵的变换模型，以利用该矩阵完成图像配准。由于本实施例中对仿射变换矩阵的估计同样使用到了语义信息，因此，与上述实施例相同的，也能够提高配准的准确性。另外，本实施例中未详细描述的内容以及所能实现的技术效果可以参见上述实施例中的相关描述，在此不再赘述。
可选地，在得到参考图像、待配准图像及其各自对应的特征图后，如果不考虑计算量，处理设备也可以不对参考特征图进行采样处理，而直接以参考特征图中的每个信息单元为基准向待配准特征图进行匹配(正向匹配)，以得到至少一个存在匹配关系的信息单元对。
根据上述各实施例可知，处理设备可以根据存在匹配关系的信息单元在相应特征图中的位置确定仿射变换矩阵，则匹配关系的准确性可以直接影响该仿射变换矩阵的准确性，并最终影响配准效果。则可选地，为了提高信息单元点之间匹配关系的准确性，处理设备在进行正向匹配后，还可以进一步以待配准特征图中的每个信息单元为基准向参考特征图进行匹配(反向匹配)，以验证步骤S204中的匹配关系是否正确。
具体地，处理设备可以计算参考特征图中各信息单元的语义信息与待配准特征图中第二信息单元的语义信息之间的语义信息相似度。若相比于参考特征图中的其他信息单元，参考特征图中第三信息单元与待配准特征图中第二信息单元之间的语义信息相似度最高，则确定第二信息单元与第三信息单元匹配。并且若第三信息单元和第一信息单元相同，则处理设备可以最终确定第一信息单元和第二信息单元之间具有匹配关系。若第一信息单元和第三信息单元不同，则丢弃此第一信息单元。
经过上述正反方向的匹配，处理设备可以对执行步骤S204得到的信息单元对进行筛选，上述的正反向匹配过程可以认为是一种保证循环一致性(Stable Sampling viaCycle Consistency，简称SSCC)的采样策略。
本实施例中，在执行步骤S204以实现正向匹配之后，还可以执行本实施例中提供方式进行反向匹配。通过正反向匹配可以提高匹配关系的准确性。
可选地，为了进一步提高仿射变换矩阵的准确性，还可以根据预设阈值对具有匹配关系的信息单元进行筛选，以筛选出信息单元之间的语义信息相似度大于或等于预设阈值的信息单元，并利用筛选出的信息单元在参考特征图和待配准特征图中的位置确定仿射变换矩阵。
需要说明的有，上述根据预设阈值筛选信息单元的过程可以对进行正向匹配得到的信息单元对进行，也可以对进行反向匹配后得到的信息单元对进行。
本实施例中，根据预设阈值对具有匹配关系的信息单元对进行筛选。由于筛选出的信息单元在语义上具有高相似度的，因此，利用筛选结果可以估计出更准确的仿射变换矩阵。
可选地，为了进一步提高配准效果，处理设备还可以执行图3所示实施例中的步骤，以利用表现为位移场的变换模型对待配准图像进行精细配准，即对待配准图像进行局部形变。则图3为本发明实施例提供的又一种图像处理方法的流程图。如图3所示，可以包括以下步骤：
S301，获取参考图像的参考特征图，参考特征图包括参考图像中各信息单元的语义信息。
S302，获取待配准图像的待配准特征图，待配准特征图包括待配准图像中各信息单元的语义信息，待配准图像和参考图像包括在不同拍摄条件下对相同对象拍得的图像。
S303，对参考特征图进行采样，以得到采样集合。
S304，在待配准特征图中，确定与采样集合中第一信息单元匹配的第二信息单元，第二信息单元为待配准特征图中与第一信息单元语义信息相似度最高的信息单元，第一信息单元包括采样集合中的任一信息单元。
上述步骤S301～S304的具体实现过程可以参见图2所示实施例中相关步骤的具体描述，在此不再赘述。
S305，根据存在匹配关系的信息单元在参考特征图和待配准特征图中的位置，确定表现为第一位移场的变换模型，参考图像和待配准图像的尺寸相同，第一位移场的尺寸小于参考图像的尺寸。
处理设备可以根据基于执行步骤S301～步骤S304后得到存在匹配关系的信息单元在参考特征图和待配准特征图中的位置，确定表现为第一位移场的变换模型。可选地，处理设备可以将存在匹配关系的至少一个信息单元对及其在特征图中的位置输入预设算法，以由该预设算法根据至少一个信息单元对在参考特征图和待配准特征图中的位置，输出第一位移场。可选地，该预设算法具体可以是最小二乘法等等。
由于参考特征图的尺寸小于参考图像，采样集合又是参考特征图的采样结果，因此，存在匹配关系的信息单元对的数量也小于参考特征图的信息单元数，因此，第一位移场的尺寸可以小于参考图像的尺寸，也小于待配准图像的尺寸，比如可以是参考图像的1/8。
S306，根据第一位移场对待配准图像进行配准，以得到配准后图像。
最终，处理设备可以按照第一位移场对待配准图像进行形变，以得到配准后图像。并且相比于仿射变换矩阵，第一位移场可以对待配准图像进行局部形变，从而实现对待配准图像的精细配准。并且利用位移场进行配准本质上是一种非参数配准。
本实施例中，处理设备可以根据具有存在匹配关系的信息单元确定表现为位移场的变换模型，从而实现对待配准图像的精细配准。由于在确定匹配关系的过程中使用到信息单元的语义信息，因此，使用本实施例也能够提高配准的准确性。另外，本实施例中未详细描述的内容以及所能达到的技术效果可以参见上述实施例中的描述，在此不再赘述。
上述实施例中，处理设备可以利用语义信息得到不同表现形式的变换模型，以对待配准图像单独进行参数配准或者单独进行非参数配准。为了进一步提高配准效果，可选地，处理设备也可以先后执行图2和图3所示实施例中的相关步骤，以分别确定出仿射变换矩阵和第一位移场。则处理设备可以先利用仿射变换矩阵对待配准图像进行参数配准以得到第一变换结果，再利用第一位移场对第一变换结果进行非参数配准，从而得到配准后图像。
为了进一步提高配准效果，处理设备还可以执行图4所示的实施例中的步骤，以利用更大尺寸的变形场对待配准图像进行更精细地配准。图4为本发明实施例提供的又一种图像处理方法的流程图。如图4所示，可以包括以下步骤：
S401，获取在不同拍摄条件下对相同对象拍得的参考图像和待配准图像。
S402,获取参考图像的参考特征图以及待配准图像的待配准特征图，特征图包括图像中各信息单元的语义信息。
处理设备获取参考图像和待配准图像，还可以获取两图像各自对应的特征图。其中，对参考图像和待配准图像的具体表现形式、获取方式以及特征图的获取方式都可以参见图1所示实施例中的相关描述，在此不再赘述。
S403，对参考特征图和待配准特征图进行相关性处理，以得到相关特征图。
接着，处理设备可以对参考特征图和待配准特征图进行相关性处理，以得到相关特征图。可选地，相关性处理可以是对两特征图直接作差，也可以是对两特征图进行归一化互相关处理(Normalized Cross Correlation，简称NCC)。其中，相关特征图也是包含语义信息的特征图，并且相关特征图能够更清晰直接的显示参考特征图和待配准特征图中各信息单元之间语义信息的差异。
S404，根据参考图像、待配准图像和相关特征图，确定与待配准图像的尺寸相同的位移场。
处理设备还可以进一步根据参考图像、待配准图像以及相关特征图确定位移场。可选地，可以将参考图像、待配准图像以及相关特征图作为输入，以由预测模型输出位移场。该位移场的尺寸与待配准图像、参考图像相同，即大于图3所示实施例中的第一位移场。并且为了与图3所示实施例中的位移场区分，可以将本发明各实施利中由预测模型输出的位移场称为第二位移场。可选地，该预测模型可以部署在处理设备中，该模型具体可以是CNN骨干模型或者转换(Transformer)模型等等。
S405，利用速度场对位移场进行平滑处理。
之后，处理设备还可以利用速度场对上述的第二位移场进行平滑处理。其中，速度场可以是静止速度场。平滑处理可以认为是调小第二位移场梯度的过程，位移场梯度的大小用于描述对图像形变的合理性。并且位移场的平滑处理是为了保证按照平滑处理后的位移场进行图像配准后，图像的形变是合理的。
S406,根据平滑处理结果对待配准图像进行配准，以得到配准后图像。
最终，处理设备可以利用平滑处理结果对待配准图像进行配准。由于第二位移场的尺寸大于第一位移场，因此，使用大尺寸的第二位移场能够对待配准图像进行更精细的形变，以提高配准效果。并且利用大尺寸的位移场进行配准本质上是一种非参数配准。
本实施例中，相关特征图能够更清晰地反映特征图中信息单元的语义信息之间的差异，这种差异可以指导预测模型输出更准确的第二位移场，以使该第二位移场可以将待配准图像向正确的方向进行形变。进一步地通过对第二位移场的平滑处理，可以得到形变更合理的第三位移场，从而提高配准的效果。
在图4所示实施例中，处理设备可以单独使用第二位移场对待配准图像进行配准。可选地，为了提高配准效果，处理设备也可以先后使用多种变换模型，即可以先利用仿射变换矩阵对待配准图像进行变换，以得到第一变换结果。再利用第二位移场对第一变换结果进行配准，以得到配准后图像。
具体地，处理设备可以对参考特征图和第一变换结果的特征图进行相关性处理，以得到相关特征图。再将参考图像、第一变换结果和相关特征图输入预测模型，以由该预测模型第二位移场。处理设备可以利用此第二位移场对第一变换结果进行配准。
需要说明的有，此处的第二位移场与图4所示实施例中的第二位移场实际上是根据不同的输入得到的。
本实施例中，处理设备通过两种变换模型的先后使用，可以先对待配准图像进行整体形变，再利用第二位移场以信息单元为最小单位对待配准图像进行形变，从而得到配准后图像。
可选地，为了进一步提高配准效果，在利用参考特征图和第一变换结果的特征图得到第二位移场之后，处理设备也可以利用利用速度场对此第二位移场进行平滑处理，以得到第三位移场。最终，处理设备可以利用此第三位移场对第一变换结果进行配准。
可选地，也可以利用速度场对第一位移场进行平滑处理，再利用平滑后的第一位移场对待配准图像进行配准。
上述各实施例中，大尺寸的位移场可以是由预测模型输出的，则此预测模型的训练过程可以描述为：
1、获取第一训练图像、第一训练图像的第一训练特征图、第二训练图像以及第二训练图像的第二训练特征图，第一训练图像和第二训练图像包括在不同的拍摄条件下对相同对象拍得的图像。
2、对第一训练特征图和第二训练特征图进行相关性处理，以得到相关训练特征图，特征图包含图像中各信息单元的语义信息。
3、将第一训练图像、第二训练图像以及相关训练特征图输入预测模型。
4、确定预测模型输出的目标位移场的平滑度。
5、确定第二训练图像与利用目标位移场对第一训练图像进行配准后得到的配准结果之间的第一相似度。
6、确定第二训练特征图与上述配准结果的特征图之间的第二相似度。
7、将第一相似度、第二相似度以及平滑度作为损失值，训练预测模型。
可选地，模型训练可以有处理设备执行，也可以由其他设备执行。
可选地，步骤2中，可以使用相关性处理模块进行处理，以得到相关性特征图(Correlation feature map)。步骤4中，可以通过扩散正则化的方式确定平滑度。第6步中，可以将第一训练图像和目标位移场输入空间变换器(Spatial Tramsform Layer)，以由该空间变换器输出配准结果。
本实施例中，第一相似度可以反映第二训练图像和配准结果中强度信息、语义信息、外观信息之间的相似度。第二相似度反映配准结果和第二训练图像各自的特征图中语义信息之间的相似度。平滑度反映按照目标位移场对第一训练图像进行形变的合理性。
可选地，在第3步之后，还可以利用速度场对预测模型输出的目标位移场进行平滑处理，并进一步利用平滑处理后的位移场计算第一相似度。此时，模型训练的过程还可以结合图5所示。
本实施例中，在训练预测模型时考虑到了图像中多方面信息之间的相似性以及形变的合理性，因此，可以提高预测模型预测出位移场的准确性。
可选地，为了提高配准效果，处理设备还可以对预测模型输出的大尺寸的第二位移场进行优化处理。其中，优化处理是为了保证按照优化后的位移场进行图像配准后，配准后图像和参考图像是相似的。
一种可选地情况，当处理设备单独使用第二位移场进行图像配准时，则处理设备可以确定参考图像和使用第二位移场对待配准图像进行形变得到的变换结果各自的特征图之间的相似度，优化第二位移场，并利用优化后的第二位移场对上述的变形结果进行形变，以最终得到待配准图像。
另一种可选地情况，当处理设备先后使用仿射变换矩阵和第二位移场进行图像配准时，可以第二变换结果。则处理设备可以确定参考图像和第二变换结果各自的特征图之间的相似度优化第二位移场，以得到第四位移场。并利用第四位移场对上述第二变形结果进行形变，以最终得到待配准图像。
又一种可选地情况，当处理设备先使用仿射变换矩阵和第一位移场进行图像配准时，可以得到第三变换结果。则处理设备可以确定参考图像和第三变换结果各自的特征图之间的相似度，优化第二位移场，并利用优化后的第二位移场对上述的第三变形结果进行形变，以最终得到待配准图像。
综合上述各实施例可知，处理设备可以采用不同方式确定出多种表现形式的变换模型，即仿射变换矩阵、小尺寸的第一位移场以及由预测模型输出的大尺寸的第二位移场。基于这些变换模型，处理设备可以选择其中的一种或者几种来进行图像配准。
并且可选地，为了提高配准效果，在使用任一尺寸的位移场进行配准之前，还可以对此位移场进行平滑处理，以由平滑后的位移场进行配准。可选地，为了提高配准效果，在使用位移场进行配准后，还可以根据配准后图像对位移场进行进一步优化，并再利用优化后的位移场进行图像配准。
可选地，本发明实施例并不对位移场的平滑处理和优化处理的执行顺序进行限定。并且二者可以先后使用也可以择一使用。
上述各实施例已经从流程角度描述了实现图像配准的过程。在此基础上，该图像配准还可以作为一种能够与用户产生交互的服务。该服务可以由处理平台提供。则处理平台可以按照图6a所示实施例的方式提供图像配准服务。具体地，图6a为本发明实施例提供的一种服务提供方法的流程图。该方法的执行主体可以为处理平台。可选地，此处理平台可以部署于云端。如图6a所示，该方法可以包括如下步骤：
S501，响应于对处理平台触发的输入指令，获取参考图像的参考特征图，参考特征图中包括参考图像中各信息单元的语义信息。
服务平台响应于用户的输入指令，可以获取参考特征图。一种可选地方式，用户可以直接输入参考特征图和待配准图像。另一种可选地方式，正如图6b所示的服务平台提供的一种可选地操作界面(平台首页)，在该操作界面上用户可以选择服务内容并进一步输入对应的参考图像和待配准图像。之后，服务平台便可以对图像进行特征提取，以得到参考特征图。
S502，根据参考特征图中的语义信息确定待配准图像对应的变换模型，参考图像和待配准图像包括在不同拍摄条件下对相同对象拍得的图像。
S503，根据变换模型对待配准图像进行配准。
S504,显示配准后图像。
进一步地，服务平台可以执行上述步骤S502～步骤S504以使配准后图像和参考图像一并显示在服务平台的操作界面上(配准结果页)。
上述各步骤的具体实现过程可以参见上述各实施例中相关步骤的具体描述，在此不再赘述。另外，本实施例所能达到的其他技术效果还可以参见上述实施例中的描述，在此不再赘述。
图7为本发明实施例提供的另一种图像处理方法的流程图。该实施例的执行主体是服务平台。如图7所示，该方法可以包括如下步骤：
S601，响应于对处理平台触发的输入指令，获取在不同拍摄条件下对相同对象拍得的参考图像和待配准图像。
服务平台像响应于输入指令，可以获取用户直接输入的图像。正如图6b所示的服务平台提供的一种可选地操作界面(平台首页)，在该操作界面上用户可以选择服务内容并进一步输入对应的参考图像和待配准图像。
S602,获取参考图像的参考特征图以及待配准图像的待配准特征图，特征图包括图像中各信息单元的语义信息。
接着，服务平台还可以获取参考特征图和待配准特征图。一种可选地方式，用户在输入参考图像和待配准图像的同时，也可以一并将两个特征图也输入给服务平台。另一种可选地方式，服务可以对用户输入的参考图像和待配准图像进行特征提取，以得到参考特征图和待配准特征图。
S603，对参考特征图和待配准特征图进行相关性处理，以得到相关特征图。
S604，根据参考图像、待配准图像和相关特征图，确定与待配准图像的尺寸相同的位移场。
S605,利用速度场对位移场进行平滑处理。
S606，根据平滑处理结果对待配准图像进行配准。
S607，显示配准后图像。
服务平台可以继续执行上述步骤，以最终在界面上显示配准后图像和参考图像。上述各步骤的具体实现过程可以参见上述各实施例中相关步骤的具体描述，在此不再赘述。
另外，本实施例所能达到的其他技术效果还可以参见上述实施例中的描述，在此不再赘述。
上述实施例中的处理平台还可以提供模型训练服务，借助云端的算力，服务平台还可以为用户训练出用以得到大尺寸第二位移场的预测模型。则图8a为本发明实施例提供的又一种服务提供方法的流程图。该方法的执行主体可以为训练平台。当用户选择模型训练服务时，上述实施例中的服务平台即为一个训练平台。如图8a所示，该方法可以包括如下步骤：
S701，响应于对训练平台触发的输入指令，获取第一训练图像、第一训练图像的第一训练特征图、第二训练图像以及第二训练图像的第二训练特征图，第一训练图像和第二训练图像包括在不同的拍摄条件下对相同对象拍得的图像。
训练平台响应于用户的输入指令，可以获取用户输入的第一训练图像和第二训练图像。可选地，第一训练特征图和第二训练特征图可以是由用户输入的，也可以由训练平台对用户输入的训练图像进行特征提取后得到。
S702，对第一训练特征图和第二训练特征图进行相关性处理，以得到相关训练特征图，特征图包含图像中信息单元的语义信息。
S703，将第一训练图像、第二训练图像以及相关训练特征图输入预测模型。
S704，确定预测模型输出的目标位移场的平滑度。
S705，确定第二训练图像与利用目标位移场对第一训练图像进行配准后得到的配准结果之间的第一相似度。
S706，确定第二训练特征图与配准结果的特征图之间的第二相似度。
S707，将第一相似度、第二相似度以及平滑度作为损失值，训练预测模型。
S708，输出预测模型。
本实施例中，服务平台同样可以响应用户在如图8b所示的界面上触发的输入操作，以执行上述步骤，并最终为用户输出预测模型。该预测模型可以以压缩包的形式供用户下载。
可选地，本实施例中，在训练预测模型的过程中也可以使用速度场来对位移场进行相应处理。
本实施例中各步骤的具体实现过程可以参见上述各实施例中相关步骤的具体描述，在此不再赘述。另外，本实施例所能达到的其他技术效果还可以参见上述实施例中的描述，在此不再赘述。
另外，需要说明的有，与图6a和图7所示实施例中的用户不同，图8a所示实施例中的用户并非直接由图像配准需求的用户，而是有预测模型训练需求的用户。
下面可以以医学图像配准为例，对上述各实施例提供的图像处理方法和服务提供方法的具体实现过程进行描述。下述过程也可以结合图9理解。
用户可以获取待配准图像和参考图像，这两张图向可以分别是人体脑部的CT图像和MRI图像。则用户可以在图6b所示的平台首页中输入CT图像和MRI图像。之后，服务平台可以按照上述各实施例中提供的方式分别确定出仿射变换矩阵、小尺寸的位移场1以及大尺寸的位移场2。
则一种优选的配准方式：服务平台可以依次使用仿射变换矩阵、位移场1以及位移场2对CT图像进行形变，以最终得到配准后CT图像。配准后CT图像和作为参考的MRI图像可以一并显示在服务平台的界面中，以供专业人员对比查看。
为了后续描述清楚，可以将使用仿射变换矩阵对CT图像配准后得到的图像称为中间CT图像1，将使用位移场1对中间CT图像1配准后得到的图像称为中间CT图像2，将使用位移场2对中间CT图像2配准后得到的图像称为中间CT图像3。
可选地，为了进一步提高配准效果，还可以利用速度场对位移场1和/或位移场2进行平滑处理，以由平滑处理后的位移场进行图像配准。
可选地，为了进一步提高配准效果，在得到中间CT图像2后，服务平台还可以根据此中间CT图像2和MRI图像特征的特征图之间的相似度，对位移场1进行优化以得到位移场1’。以再利用位移场1’对中间CT图像2进行再次配准，以得到中间CT图像2’。
类似的，可选地，为了进一步提高配准效果，在得到中间CT图像3后，服务平台还可以根据此中间CT图像3和MRI图像特征的特征图之间的相似度，对位移场2进行优化以得到位移场2’。以再利用位移场2’对中间CT图像3进行再次配准，以得到配准后图像。
其中，若不进行位移场2的优化，则上述的中间CT图像3即为配准后图像。
可选地，对位移场1和2可以都进行优化，也可以择一优化。
可选地，图9中并未示出上述的优化过程以及对位移场2的平滑处理过程。
上述配准过程中未详细描述的内容、所能实现的技术效果以及用于输出位移场2的预测模型的具体训练过程都可以参见参见上述相关实施例中的描述，在此不再赘述
以下将详细描述本发明的一个或多个实施例的图像处理装置。本领域技术人员可以理解，这些图像处理装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图10为本发明实施例提供的一种图像处理装置的结构示意图，如图10所示，该装置包括：
特征图获取模块11，获取参考图像的参考特征图，所述参考特征图包括所述参考图像中各信息单元的语义信息。
变换模型确定模块12，用于根据所述语义信息确定待配准图像对应的变换模型，所述待配准图像和所述参考图像包括在不同拍摄条件下对相同对象拍得的图像。
配准模块13，用于根据所述变换模型对所述待配准图像进行配准，以得到配准后图像。
其中，所述参考图像和所述待配准图像为医学图像。
其中，为了与下述各实施例中提供的装置中的模块进行区分，本实施例的下述描述可以将特征图获取模块11称为第一特征图获取模块11，配准模块13称为第一配准模块13。
可选地，所述第一特征图获取模块11，还用于获取所述待配准图像的待配准特征图，所述待配准特征图包括所述待配准图像中各信息单元的语义信息。
所述变换模型确定模块12，用于对所述参考特征图进行采样，以得到采样集合；
在所述待配准特征图中，确定与所述采样集合中第一信息单元匹配的第二信息单元，所述第二信息单元为所述待配准特征图中与所述第一信息单元语义信息相似度最高的信息单元，所述第一信息单元包括所述采样集合中的任一信息单元；
根据存在匹配关系的信息单元在所述参考特征图和所述待配准特征图中的位置，确定表现为仿射变换矩阵的变换模型。
可选地，所述变换模型确定模块12，用于在所述参考特征图中，确定与所述第二信息单元匹配的第三信息单元，所述第三信息单元为所述参考特征图中与所述第二信息单元语义信息相似度最高的信息单元；
若所述第三信息单元和所述第一信息单元相同，则确定所述第一信息单元和所述第二信息单元具有匹配关系。
可选地，所述变换模型确定模块12，用于根据语义信息相似度是否满足预设阈值，对存在匹配关系的信息单元进行筛选；根据筛选出的信息单元在所述参考特征图和所述待配准特征图中的位置，确定所述仿射变换矩阵。
可选地，所述变换模型确定模块12，用于根据存在匹配关系的信息单元在所述参考特征图和所述待配准特征图中的位置，确定表现为第一位移场的变换模型，所述参考图像和所述待配准图像的尺寸相同，所述第一位移场的尺寸小于所述参考图像的尺寸。
可选地，所述变换模型确定模块12，用于利用所述仿射变换矩阵对所述待配准图像进行变换，以得到第一变换结果；
对所述参考特征图和所述第一变换结果的特征图进行相关性处理，以得到相关特征图；
将所述参考图像、所述第一变换结果以及所述相关特征图输入预测模型，以由所述预测模型输出表现为第二位移场的变换模型，所述第二位移场和所述待配准图像的尺寸相同。
所述第一配准模块13，用于利用所述第二位移场对所述第一变换结果进行配准，以得到第二变换结果。
可选地，所述第一配准模块13，用于利用速度场对所述第二位移场进行平滑处理，以得到第三位移场；利用所述第三位移场对所述第一变换结果进行配准。
可选地，所述装置还包括训练模块14，用于获取第一训练图像、所述第一训练图像的第一训练特征图、第二训练图像以及所述第二训练图像的第二训练特征图，所述第一训练图像和所述第二训练图像包括在不同的拍摄条件下对相同对象拍得的图像；
对所述第一训练特征图和所述第二训练特征图进行相关性处理，以得到相关训练特征图，特征图包含图像中信息单元的语义信息；
将所述第一训练图像、所述第二训练图像以及所述相关训练特征图输入所述预测模型；
确定所述预测模型输出的目标位移场的平滑度；
确定所述第二训练图像与利用所述目标位移场对所述第一训练图像进行配准后得到的配准结果之间的第一相似度；
确定所述第二训练特征图与所述配准结果的特征图之间的第二相似度；
将所述第一相似度、所述第二相似度以及所述平滑度作为损失值，训练所述预测模型。
可选地，所述训练模块14，还用于利用速度场对所述目标位移场进行平滑处理；确定所述第二训练图像与利用平滑结果对所述第一训练图像进行配准后得到的配准结果之间的第一相似度。
可选地，所述装置还包括：优化模块15，用于确定所述参考特征图和所述第二变换结果的特征图之间的相似度；根据所述相似度优化所述第二位移场，以得到第四位移场。
所述第一配准模块13，用于利用所述第四位移场所述第二变换结果进行配准，以得到所述配准后图像。
图10所示装置可以执行图1至图3所示实施例的方法，本实施例未详细描述的部分，可参考对图1至图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图3所示实施例中的描述，在此不再赘述。
在一个可能的设计中，上述各实施例提供的图像处理方法可以应用在一电子设备中，如图11所示，该电子设备可以包括：第一处理器21和第一存储器22。其中，第一存储器22用于存储支持该电子设备执行上述图1～图3所示实施例中提供的图像处理方法的程序，第一处理器21被配置为用于执行第一存储器22中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第一处理器21执行时能够实现如下步骤：
获取参考图像的参考特征图，所述参考特征图包括所述参考图像中各信息单元的语义信息；
根据所述语义信息确定待配准图像对应的变换模型，所述待配准图像和所述参考图像包括在不同拍摄条件下对相同对象拍得的图像；
根据所述变换模型对所述待配准图像进行配准，以得到配准后图像。
可选地，第一处理器21还用于执行前述图1～图3所示实施例中的全部或部分步骤。
其中，电子设备的结构中还可以包括第一通信接口23，用于该电子设备与其他设备或通信***通信。
图12为本发明实施例提供的另一种图像处理装置的结构示意图，如图12所示，该装置包括：
第一图像获取模块31，用于获取在不同拍摄条件下对相同对象拍得的参考图像和待配准图像。
第二特征图获取模块32，用于获取所述参考图像的参考特征图以及所述待配准图像的待配准特征图，特征图包括图像中各信息单元的语义信息。
第一相关性处理模块33，用于对所述参考特征图和所述待配准特征图进行相关性处理，以得到相关特征图。
第一位移场确定模块34，用于根据所述参考图像、所述待配准图像和所述相关特征图，确定与所述待配准图像的尺寸相同的位移场。
第一平滑模块35，用于利用速度场对所述位移场进行平滑处理。
第二配准模块36，用于根据平滑处理结果对所述待配准图像进行配准，以得到配准后图像。
图12所示装置可以执行图4所示实施例的方法，本实施例未详细描述的部分，可参考对图4所示实施例的相关说明。该技术方案的执行过程和技术效果参见图4所示实施例中的描述，在此不再赘述。
在一个可能的设计中，上述各实施例提供的图像处理方法可以应用在另一电子设备中，如图13所示，该电子设备可以包括：第二处理器41和第二存储器42。其中，第二存储器42用于存储支持该电子设备执行上述图4所示实施例中提供的图像处理的程序，第二处理器41被配置为用于执行第二存储器42中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第二处理器41执行时能够实现如下步骤：
获取在不同拍摄条件下对相同对象拍得的参考图像和待配准图像；
获取所述参考图像的参考特征图以及所述待配准图像的待配准特征图，特征图包括图像中各信息单元的语义信息；
对所述参考特征图和所述待配准特征图进行相关性处理，以得到相关特征图；
根据所述参考图像、所述待配准图像和所述相关特征图，确定与所述待配准图像的尺寸相同的位移场；
利用速度场对所述位移场进行平滑处理；
根据平滑处理结果对所述待配准图像进行配准，以得到配准后图像。
可选地，第二处理器41还用于执行前述图4所示实施例中的全部或部分步骤。
其中，电子设备的结构中还可以包括第二通信接口43，用于该电子设备与其他设备或通信***通信。
图14为本发明实施例提供的一种服务提供装置的结构示意图，如图14所示，该装置包括：
第三特征图获取模块51，用于响应于对处理平台触发的输入指令，获取参考图像的参考特征图，所述参考特征图包括所述参考图像中各信息单元的语义信息。
第二变换模型确定模块52，用于根据所述参考特征图中的语义信息确定待配准图像对应的变换模型，所述待配准图像和所述参考图像包括在不同拍摄条件下对相同对象拍得的图像。
第三配准模块53，用于根据所述变换模型对所述待配准图像进行配准。
第一显示模块54，用于显示配准后图像。
图14所示装置可以执行图6a～图6b所示实施例的方法，本实施例未详细描述的部分，可参考对图6a～图6b所示实施例的相关说明。该技术方案的执行过程和技术效果参见图6a～图6b所示实施例中的描述，在此不再赘述。
在一个可能的设计中，上述各实施例提供的服务提供方法可以应用在又一电子设备中，如图15所示，该电子设备可以包括：第三处理器61和第三存储器62。其中，第三存储器62用于存储支持该电子设备执行上述图6a～图6b所示实施例中提供的服务提供方法的程序，第三处理器61被配置为用于执行第三存储器62中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第三处理器61执行时能够实现如下步骤：
响应于对处理平台触发的输入指令，获取参考图像的参考特征图，所述参考特征图包括所述参考图像中各信息单元的语义信息
根据所述参考特征图中的语义信息确定待配准图像对应的变换模型，所述待配准图像和所述参考图像包括在不同拍摄条件下对相同对象拍得的图像；
根据所述变换模型对所述待配准图像进行配准；
显示配准后图像。
可选地，第三处理器61还用于执行前述图6a～图6b所示实施例中的全部或部分步骤。
其中，电子设备的结构中还可以包括第三通信接口63，用于该电子设备与其他设备或通信***通信。
图16为本发明实施例提供的另一种服务提供装置的结构示意图，如图16所示，该装置包括：
第二图像获取模块71，用于响应于对处理平触发的输入指令，获取在不同拍摄条件下对相同对象拍得的参考图像和待配准图像。
第四特征图获取模块72，用于获取所述参考图像的参考特征图以及所述待配准图像的待配准特征图，特征图包括图像中各信息单元的语义信息。
第二相关性处理模块73，用于对所述参考特征图和所述待配准特征图进行相关性处理，以得到相关特征图。
第二位移场确定模块74，用于根据所述参考图像、所述待配准图像和所述相关特征图，确定与所述待配准图像的尺寸相同的位移场。
第二平滑模块75，用于利用速度场对所述位移场进行平滑处理。
第四配准模块76，用于根据平滑处理结果对所述待配准图像进行配准。
第二显示模块77，用于显示配准后图像。
图16所示装置可以执行图7所示实施例的方法，本实施例未详细描述的部分，可参考对图7所示实施例的相关说明。该技术方案的执行过程和技术效果参见图7所示实施例中的描述，在此不再赘述。
在一个可能的设计中，上述各实施例提供的服务提方法可以应用在又一电子设备中，如图17所示，该电子设备可以包括：第四处理器81和第四存储器82。其中，第四存储器82用于存储支持该电子设备执行上述图7所示实施例中提供的服务提供方法的程序，第四处理器81被配置为用于执行第四存储器82中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第四处理器81执行时能够实现如下步骤：
响应于对处理平触发的输入指令，获取在不同拍摄条件下对相同对象拍得的参考图像和待配准图像；
获取所述参考图像的参考特征图以及所述待配准图像的待配准特征图，特征图包括图像中各信息单元的语义信息；
对所述参考特征图和所述待配准特征图进行相关性处理，以得到相关特征图；
根据所述参考图像、所述待配准图像和所述相关特征图，确定与所述待配准图像的尺寸相同的位移场；
利用速度场对所述位移场进行平滑处理；
根据平滑处理结果对所述待配准图像进行配准；
显示配准后图像。
可选地，第四处理器81还用于执行前述图7所示实施例中的全部或部分步骤。
其中，电子设备的结构中还可以包括第四通信接口83，用于该电子设备与其他设备或通信***通信。
图18为本发明实施例提供的又一种服务提供装置的结构示意图，如图18所示，该装置包括：
获取模块91，用于响应于对训练平台触发的输入指令，获取第一训练图像、所述第一训练图像的第一训练特征图、第二训练图像以及所述第二训练图像的第二训练特征图，所述第一训练图像和所述第二训练图像包括在不同的拍摄条件下对相同对象拍得的图像。
第三相关性处理模块92，用于对所述第一训练特征图和所述第二训练特征图进行相关性处理，以得到相关训练特征图，特征图包含图像中信息单元的语义信息。
输入模块93，用于将所述第一训练图像、所述第二训练图像以及所述相关训练特征图输入所述预测模型。
平滑度确定模块94，用于确定所述预测模型输出的目标位移场的平滑度。
相似度确定模块95，用于确定所述第二训练图像与利用所述目标位移场对所述第一训练图像进行配准后得到的配准结果之间的第一相似度；确定所述第二训练特征图与所述配准结果的特征图之间的第二相似度。
模型训练模块96，用于将所述第一相似度、所述第二相似度以及所述平滑度作为损失值，训练所述预测模型。
输出模块97，用于输出所述预测模型。
图18所示装置可以执行图8a～图8b所示实施例的方法，本实施例未详细描述的部分，可参考对图8a～图8b所示实施例的相关说明。该技术方案的执行过程和技术效果参见图8a～图8b所示实施例中的描述，在此不再赘述。
在一个可能的设计中，上述各实施例提供的服务提供方法可以应用在又一电子设备中，如图19所示，该电子设备可以包括：第五处理器101和第五存储器102。其中，第五存储器102用于存储支持该电子设备执行上述图8a～图8b所示实施例中提供的视频识别方法的程序，第五处理器101被配置为用于执行第五存储器102中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第五处理器101执行时能够实现如下步骤：
响应于对训练平台触发的输入指令，获取第一训练图像、所述第一训练图像的第一训练特征图、第二训练图像以及所述第二训练图像的第二训练特征图，所述第一训练图像和所述第二训练图像包括在不同的拍摄条件下对相同对象拍得的图像；
对所述第一训练特征图和所述第二训练特征图进行相关性处理，以得到相关训练特征图，特征图包含图像中信息单元的语义信息；
将所述第一训练图像、所述第二训练图像以及所述相关训练特征图输入所述预测模型；
确定所述预测模型输出的目标位移场的平滑度；
确定所述第二训练图像与利用所述目标位移场对所述第一训练图像进行配准后得到的配准结果之间的第一相似度；
确定所述第二训练特征图与所述配准结果之间的第二相似度；将所述第一相似度、所述第二相似度以及所述平滑度作为损失值，训练所述预测模型；
输出所述预测模型。
可选地，第五处理器101还用于执行前述图8a～图8b所示实施例中的全部或部分步骤。
其中，电子设备的结构中还可以包括第五通信接口103，用于该电子设备与其他设备或通信***通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图1～图5所示的图像处理方法所涉及的程序，或者执行上述图6a～图8b所示的服务提供方法所涉及的程序。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (18)
1.一种图像处理方法，其特征在于，包括：
获取参考图像的参考特征图以及待配准图像的待配准特征图，所述参考特征图包括所述参考图像中各信息单元的语义信息，所述待配准特征图包括所述待配准图像中各信息单元的语义信息；
根据在语义信息上存在匹配关系的信息单元在所述参考特征图和所述待配准特征图中的位置，确定所述待配准图像对应的变换模型，所述待配准图像和所述参考图像包括在不同拍摄条件下对相同对象拍得的图像；
根据所述变换模型对所述待配准图像进行配准，以得到配准后图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述方法还包括：
对所述参考特征图进行采样，以得到采样集合；
在所述待配准特征图中，确定与所述采样集合中第一信息单元匹配的第二信息单元，所述第二信息单元为所述待配准特征图中与所述第一信息单元语义信息相似度最高的信息单元，所述第一信息单元包括所述采样集合中的任一信息单元；
根据存在匹配关系的信息单元在所述参考特征图和所述待配准特征图中的位置，确定表现为仿射变换矩阵的变换模型。
3.根据权利要求2所述的方法，其特征在于，所述确定表现为仿射变换矩阵的变换模型之前，所述方法还包括：
在所述参考特征图中，确定与所述第二信息单元匹配的第三信息单元，所述第三信息单元为所述参考特征图中与所述第二信息单元语义信息相似度最高的信息单元；
若所述第三信息单元和所述第一信息单元相同，则确定所述第一信息单元和所述第二信息单元具有匹配关系。
4.根据权利要求2所述的方法，其特征在于，所述根据存在匹配关系的信息单元在所述参考特征图和所述待配准特征图中的位置，确定表现为仿射变换矩阵的变换模型，包括：
根据语义信息相似度是否满足预设阈值，对存在匹配关系的信息单元进行筛选；
根据筛选出的信息单元在所述参考特征图和所述待配准特征图中的位置，确定所述仿射变换矩阵。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据存在匹配关系的信息单元在所述参考特征图和所述待配准特征图中的位置，确定表现为第一位移场的变换模型，所述参考图像和所述待配准图像的尺寸相同，所述第一位移场的尺寸小于所述参考图像的尺寸。
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
利用所述仿射变换矩阵对所述待配准图像进行变换，以得到第一变换结果；
对所述参考特征图和所述第一变换结果的特征图进行相关性处理，以得到相关特征图，所述相关特征图反映所述参考特征图和所述待配准特征图中各信息单元之间语义信息的差异；
将所述参考图像、所述第一变换结果以及所述相关特征图输入预测模型，以由所述预测模型输出表现为第二位移场的变换模型，所述第二位移场和所述待配准图像的尺寸相同；
所述根据所述变换模型对所述待配准图像进行配准，包括：
利用所述第二位移场对所述第一变换结果进行配准，以得到第二变换结果。
7.根据权利要求6所述的方法，其特征在于，所述利用所述第二位移场对所述第一变换结果进行配准，包括：
利用速度场对所述第二位移场进行平滑处理，以得到第三位移场；
利用所述第三位移场对所述第一变换结果进行配准。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取第一训练图像、所述第一训练图像的第一训练特征图、第二训练图像以及所述第二训练图像的第二训练特征图，所述第一训练图像和所述第二训练图像包括在不同的拍摄条件下对相同对象拍得的图像；
对所述第一训练特征图和所述第二训练特征图进行相关性处理，以得到相关训练特征图，特征图包含图像中信息单元的语义信息，所述相关训练特征图反映所述第一训练特征图和所述第二训练特征图中各信息单元之间语义信息的差异；
将所述第一训练图像、所述第二训练图像以及所述相关训练特征图输入所述预测模型；
确定所述预测模型输出的目标位移场的平滑度；
确定所述第二训练图像与利用所述目标位移场对所述第一训练图像进行配准后得到的配准结果之间的第一相似度；
确定所述第二训练特征图与所述配准结果的特征图之间的第二相似度；
将所述第一相似度、所述第二相似度以及所述平滑度作为损失值，训练所述预测模型。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
利用速度场对所述目标位移场进行平滑处理；
所述确定所述第二训练图像与利用所述目标位移场对所述第一训练图像进行配准后得到的配准结果之间的第一相似度，包括：
确定所述第二训练图像与利用平滑结果对所述第一训练图像进行配准后得到的配准结果之间的第一相似度。
10.根据权利要求6所述的方法，其特征在于，所述利用所述第二位移场对所述第一变换结果进行配准，以得到第二变换结果之后，所述方法还包括：
确定所述参考特征图和所述第二变换结果的特征图之间的相似度；
根据所述相似度优化所述第二位移场，以得到第四位移场；
利用所述第四位移场所述第二变换结果进行配准，以得到所述配准后图像。
11.根据权利要求1～10中任一项所述的方法，其特征在于，所述参考图像和所述待配准图像为医学图像。
12.一种图像处理方法，其特征在于，包括：
获取在不同拍摄条件下对相同对象拍得的参考图像和待配准图像；
获取所述参考图像的参考特征图以及所述待配准图像的待配准特征图，特征图包括图像中各信息单元的语义信息；
对所述参考特征图和所述待配准特征图进行相关性处理，以得到相关特征图，所述相关特征图反映所述参考特征图和所述待配准特征图中各信息单元之间语义信息的差异；
根据所述参考图像、所述待配准图像和所述相关特征图，确定与所述待配准图像的尺寸相同的位移场；
利用速度场对所述位移场进行平滑处理；
根据平滑处理结果对所述待配准图像进行配准，以得到配准后图像。
13.一种服务提供方法，其特征在于，包括：
响应于对处理平台触发的输入指令，获取参考图像的参考特征图以及待配准图像的待配准特征图，所述参考特征图包括所述参考图像中各信息单元的语义信息，所述待配准特征图包括所述待配准图像中各信息单元的语义信息；
根据在语义信息上存在匹配关系的信息单元在所述参考特征图和所述待配准特征图中的位置，确定待配准图像对应的变换模型，所述待配准图像和所述参考图像包括在不同拍摄条件下对相同对象拍得的图像；
根据所述变换模型对所述待配准图像进行配准；
显示配准后图像。
14.一种服务提供方法，其特征在于，包括：
响应于对处理平触发的输入指令，获取在不同拍摄条件下对相同对象拍得的参考图像和待配准图像；
获取所述参考图像的参考特征图以及所述待配准图像的待配准特征图，特征图包括图像中各信息单元的语义信息；
对所述参考特征图和所述待配准特征图进行相关性处理，以得到相关特征图，特征图包含图像中信息单元的语义信息，所述相关特征图反映所述参考特征图和所述待配准特征图中各信息单元之间语义信息的差异；
根据所述参考图像、所述待配准图像和所述相关特征图，确定与所述待配准图像的尺寸相同的位移场；
利用速度场对所述位移场进行平滑处理；
根据平滑处理结果对所述待配准图像进行配准；
显示配准后图像。
15.一种服务提供方法，其特征在于，包括：
响应于对训练平台触发的输入指令，获取第一训练图像、所述第一训练图像的第一训练特征图、第二训练图像以及所述第二训练图像的第二训练特征图，所述第一训练图像和所述第二训练图像包括在不同的拍摄条件下对相同对象拍得的图像；
对所述第一训练特征图和所述第二训练特征图进行相关性处理，以得到相关训练特征图，特征图包含图像中信息单元的语义信息，所述相关训练特征图反映所述第一训练特征图和所述第二训练特征图中各信息单元之间语义信息的差异；
将所述第一训练图像、所述第二训练图像以及所述相关训练特征图输入预测模型；
确定所述预测模型输出的目标位移场的平滑度；
确定所述第二训练图像与利用所述目标位移场对所述第一训练图像进行配准后得到的配准结果之间的第一相似度；
确定所述第二训练特征图与所述配准结果的特征图之间的第二相似度；
将所述第一相似度、所述第二相似度以及所述平滑度作为损失值，训练所述预测模型；
输出所述预测模型。
16.一种图像处理装置，其特征在于，包括：
特征图获取模块，用于获取参考图像的参考特征图以及待配准图像的待配准特征图，所述参考特征图包括所述参考图像中各信息单元的语义信息，所述待配准特征图包括所述待配准图像中各信息单元的语义信息；
变换模型确定模块，用于根据在语义信息上存在匹配关系的信息单元在所述参考特征图和所述待配准特征图中的位置，确定待配准图像对应的变换模型，所述待配准图像和所述参考图像包括在不同拍摄条件下对相同对象拍得的图像；
配准模块，用于根据所述变换模型对所述待配准图像进行配准，以得到配准后图像。
17.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1～11中任一项所述的图像处理方法或者权利要求12～15任一项所述的服务提供方法。
18.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1～11中任一项所述的图像处理方法或者权利要求12～15任一项所述的服务提供方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311121899.8A CN117115220B (zh) | 2023-08-31 | 2023-08-31 | 图像处理方法、服务提供方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311121899.8A CN117115220B (zh) | 2023-08-31 | 2023-08-31 | 图像处理方法、服务提供方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117115220A CN117115220A (zh) | 2023-11-24 |
| CN117115220B true CN117115220B (zh) | 2024-04-26 |
Family
ID=88794553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311121899.8A Active CN117115220B (zh) | 2023-08-31 | 2023-08-31 | 图像处理方法、服务提供方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115220B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974734A (zh) * | 2024-03-29 | 2024-05-03 | 阿里巴巴（中国）有限公司 | 图像处理方法、设备、存储介质和程序产品 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629747A (zh) * | 2018-04-25 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像增强方法、装置、电子设备及存储介质 |
| CN109754396A (zh) * | 2018-12-29 | 2019-05-14 | 上海联影智能医疗科技有限公司 | 图像的配准方法、装置、计算机设备和存储介质 |
| CN110750673A (zh) * | 2019-10-16 | 2020-02-04 | 腾讯医疗健康(深圳)有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN111862213A (zh) * | 2020-07-29 | 2020-10-30 | Oppo广东移动通信有限公司 | 定位方法及装置、电子设备、计算机可读存储介质 |
| CN112102646A (zh) * | 2019-06-17 | 2020-12-18 | 北京初速度科技有限公司 | 一种泊车定位中的停车场入口定位方法、装置及车载终端 |
| CN112489081A (zh) * | 2020-11-30 | 2021-03-12 | 北京航空航天大学 | 一种视觉目标跟踪方法及装置 |
| CN112508985A (zh) * | 2020-12-21 | 2021-03-16 | 华南理工大学 | 一种基于语义分割的slam回环检测改进方法 |
| CN114359907A (zh) * | 2021-12-10 | 2022-04-15 | 阿里巴巴达摩院(杭州)科技有限公司 | 语义分割方法、车辆控制方法、电子设备及存储介质 |
| CN114648515A (zh) * | 2022-03-30 | 2022-06-21 | 哈尔滨工业大学重庆研究院 | 印刷缺陷检测模型及印刷缺陷检测方法 |
| WO2022160597A1 (zh) * | 2021-01-28 | 2022-08-04 | 上海商汤智能科技有限公司 | 目标对象检测方法、装置、电子设备及存储介质 |
-
2023
- 2023-08-31 CN CN202311121899.8A patent/CN117115220B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629747A (zh) * | 2018-04-25 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像增强方法、装置、电子设备及存储介质 |
| CN109754396A (zh) * | 2018-12-29 | 2019-05-14 | 上海联影智能医疗科技有限公司 | 图像的配准方法、装置、计算机设备和存储介质 |
| CN112102646A (zh) * | 2019-06-17 | 2020-12-18 | 北京初速度科技有限公司 | 一种泊车定位中的停车场入口定位方法、装置及车载终端 |
| CN110750673A (zh) * | 2019-10-16 | 2020-02-04 | 腾讯医疗健康(深圳)有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN111862213A (zh) * | 2020-07-29 | 2020-10-30 | Oppo广东移动通信有限公司 | 定位方法及装置、电子设备、计算机可读存储介质 |
| CN112489081A (zh) * | 2020-11-30 | 2021-03-12 | 北京航空航天大学 | 一种视觉目标跟踪方法及装置 |
| CN112508985A (zh) * | 2020-12-21 | 2021-03-16 | 华南理工大学 | 一种基于语义分割的slam回环检测改进方法 |
| WO2022160597A1 (zh) * | 2021-01-28 | 2022-08-04 | 上海商汤智能科技有限公司 | 目标对象检测方法、装置、电子设备及存储介质 |
| CN114359907A (zh) * | 2021-12-10 | 2022-04-15 | 阿里巴巴达摩院(杭州)科技有限公司 | 语义分割方法、车辆控制方法、电子设备及存储介质 |
| CN114648515A (zh) * | 2022-03-30 | 2022-06-21 | 哈尔滨工业大学重庆研究院 | 印刷缺陷检测模型及印刷缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多层次语义特征的图像匹配算法研究;王飞跃;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;20220415;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117115220A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10810735B2 (en) | Method and apparatus for analyzing medical image | |
| KR101857624B1 (ko) | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 | |
| US11900647B2 (en) | Image classification method, apparatus, and device, storage medium, and medical electronic device | |
| US20210158510A1 (en) | Estimating object thickness with neural networks | |
| CN107133946B (zh) | 医学图像处理方法、装置及设备 | |
| CN112767329B (zh) | 图像处理方法及装置、电子设备 | |
| CN110033019B (zh) | 人体部位的异常检测方法、装置和存储介质 | |
| CN110599421B (zh) | 模型训练方法、视频模糊帧转换方法、设备及存储介质 | |
| CN117115220B (zh) | 图像处理方法、服务提供方法、装置、设备和存储介质 | |
| CN111369562B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| EP3998579B1 (en) | Medical image processing method, apparatus and device, medium and endoscope | |
| WO2022148216A1 (zh) | 基于深度学习的胶囊内窥镜影像识别方法、设备及介质 | |
| EP3895600A1 (en) | Method for measuring volume of organ by using artificial neural network, and apparatus therefor | |
| KR101938361B1 (ko) | X선 영상 내 체형 윤곽선 기반의 골격 상태 예측방법 및 프로그램 | |
| JP2009301254A (ja) | 画像処理装置および方法ならびにプログラム | |
| CN116823905B (zh) | 图像配准方法、电子设备以及计算机可读存储介质 | |
| CN117133041A (zh) | 一种基于深度学习的三维重建网络人脸识别方法、***、设备及介质 | |
| WO2020031071A1 (en) | Internal organ localization of a subject for providing assistance during surgery | |
| CN110021036A (zh) | 红外目标检测方法、装置、计算机设备和存储介质 | |
| CN112614568B (zh) | 检查图像的处理方法、装置、存储介质和电子设备 | |
| US20230013508A1 (en) | Key points detection using multiple image modalities | |
| CN115131290A (zh) | 图像处理方法 | |
| CN114581340A (zh) | 一种图像校正方法及设备 | |
| CN112991266A (zh) | 用于小样本医疗影像的语义分割方法及*** | |
| CN113393498A (zh) | 图像配准方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |