CN112381811B - 一种实现医学影像数据标注的方法、装置及设备 - Google Patents
一种实现医学影像数据标注的方法、装置及设备 Download PDFInfo
- Publication number
- CN112381811B CN112381811B CN202011313820.8A CN202011313820A CN112381811B CN 112381811 B CN112381811 B CN 112381811B CN 202011313820 A CN202011313820 A CN 202011313820A CN 112381811 B CN112381811 B CN 112381811B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- pixel
- super
- labeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000002372 labelling Methods 0.000 claims abstract description 493
- 238000012937 correction Methods 0.000 claims abstract description 211
- 238000011176 pooling Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002311 subsequent effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请实施例公开了一种实现医学影像数据标注的方法,通过获取医学影像图像,先将医学影像图像分割为多个第一超像素,得到超像素分割图像;再根据第一超像素的灰度平均值对超像素分割图像中的第一超像素进行合并,将第一超像素合并为至少一个第二超像素,得到待标注图像;通过响应于待标注图像中的目标第二超像素的选中操作,得到目标第二超像素的标注结果图像;最后,再将目标第二超像素对应的医学影像图像区域以及目标第二超像素的标注结果图像输入到标注修正模型中,得到目标第二超像素的修正标注结果。标注人员通过较为简单的选中操作即可实现对于医学影像数据的标注,提高了医学影像数据的标注效率。
Description
技术领域
本申请涉及数据处理领域,具体涉及一种实现医学影像数据标注的方法、装置及设备。
背景技术
在疾病诊断以及治疗时,医生会通过采集到的医学影像辅助诊断和治疗的判断。目前,为了提高医生工作的效率以及对于疾病诊断和治疗的准确程度,会通过人工智能技术先对医学影像进行处理,对医学影像上的重点区域进行标注,以便医生查看医学影像。
但是,在对人工智能进行训练时,需要大量的经过标注的医学影像作为训练数据。目前,标注人员对于医学影像的标注操作较为复杂,标注效率较低。
发明内容
有鉴于此,本申请实施例提供一种实现医学影像数据标注的方法、装置及设备,能够简化标注时的操作,提升标注效率。
为解决上述问题,本申请实施例提供的技术方案如下:
一种实现医学影像数据标注的方法,所述方法包括:
获取医学影像图像;
将所述医学影像图像分割为多个第一超像素,得到超像素分割图像;
根据所述超像素分割图像中的第一超像素的灰度平均值,将所述超像素分割图像中的第一超像素合并为至少一个第二超像素,得到待标注图像;
响应于对所述待标注图像中目标第二超像素的选中操作,得到所述目标第二超像素的标注结果图像,所述目标第二超像素为所述第二超像素中的任意一个或多个;
将所述目标第二超像素对应的医学影像图像以及所述目标第二超像素的标注结果图像输入标注修正模型,得到所述目标第二超像素的修正标注结果图像。
在一种可能的实现方式中,所述将所述医学影像图像分割为多个第一超像素,得到超像素分割图像,包括:
根据预设的第一超像素初始尺寸,确定所述医学影像图像中的种子点的初始位置;
将目标种子点由所述目标种子点的初始位置移动到在所述目标种子点的第一邻域范围内像素梯度值最小的位置,得到所述目标种子点的第一更新位置,所述目标种子点为所述种子点中的每一个;
计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的距离,所述目标像素点为所述医学影像图像的像素点中的每一个;
将所述目标像素点划分到在所述第二邻域范围内距离最近的种子点对应的第一超像素;
将所述目标种子点由所述第一更新位置移动到所述目标种子点对应的第一超像素的中心位置,得到所述目标种子点的第二更新位置;
将所述目标种子点的第二更新位置确定为所述目标种子点的初始位置,并重复执行预设次数所述计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的距离以及后续步骤,得到超像素分割图像。
在一种可能的实现方式中,所述计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的距离,包括:
计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的灰度差值;
计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的空间距离差值;
根据所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的灰度差值以及空间距离差值,计算得到所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的距离。
在一种可能的实现方式中,重复执行预设次数所述计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的距离以及后续步骤,所述方法还包括:
将尺寸小于第一阈值的第一超像素与相邻的第一超像素进行合并,得到超像素分割图像。
在一种可能的实现方式中,所述根据所述超像素分割图像中的第一超像素的灰度平均值,将所述超像素分割图像中的第一超像素合并为至少一个第二超像素,得到待标注图像,包括:
计算所述超像素分割图像中的第一超像素的灰度平均值;
从所述超像素分割图像中的第一超像素中选择目标第一超像素;
计算所述目标第一超像素的灰度平均值与相邻第一超像素的灰度平均值之差的绝对值,所述相邻第一超像素为与所述目标第一超像素相邻的第一超像素;
将所述绝对值小于第二阈值对应的相邻第一超像素与所述目标第一超像素进行合并;
重复执行从所述超像素分割图像中的第一超像素中选择目标第一超像素以及后续步骤,直到所述第一超像素均被选择。
在一种可能的实现方式中,将所述目标第二超像素对应的医学影像图像以及所述目标第二超像素的标注结果图像输入标注修正模型,得到所述目标第二超像素的修正标注结果图像,包括:
根据所述目标第二超像素的标注结果图像生成具有第1个至第n个分辨率的标注结果图像,所述第1个至第n个分辨率由小到大排序,且均小于所述目标第二超像素的标注结果图像的分辨率,n为正整数;
将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的标注结果图像输入标注修正模型,得到具有第i个分辨率的修正标注结果图像,i的初始值为1;
判断i+1是否大于n;
如果i+1大于n,将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,得到所述目标第二超像素的修正标注结果图像;
如果i+1不大于n,第i个分辨率的修正标注结果图像上采样生成第i+1个至第n个分辨率的修正标注结果图像;
将i的取值加1,将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,重新得到具有第1个至第i个分辨率的修正标注结果图像,返回执行判断i+1是否大于n以及后续步骤。
在一种可能的实现方式中,所述将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的标注结果图像输入标注修正模型,得到具有第i个分辨率的修正标注结果图像,包括:
提取所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的标注结果图像的第一图像特征,将所述第一图像特征输入标注修正模型中的池化层,得到具有第i个分辨率的修正标注结果图像。
在一种可能的实现方式中,所述将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,得到所述目标第二超像素的修正标注结果,包括:
提取所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像的第二图像特征,将所述第二图像特征输入标注修正模型中的池化层,得到具有第1个分辨率的修正标注结果图像;
根据所述第二图像特征,对所述具有第1个分辨率的修正标注结果图像进行上采样,得到具有100%分辨率的修正标注结果图像作为所述目标第二超像素的修正标注结果图像。
在一种可能的实现方式中,所述将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,重新得到具有第1个至第i个分辨率的修正标注结果图像,包括:
提取所述目标第二超像素对应的医学影像图像、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像的第三图像特征,将所述第三图像特征输入标注修正模型中的池化层,得到具有第1个分辨率的修正标注结果图像;
根据所述第三图像特征,对所述具有第1个分辨率的修正标注结果图像进行上采样,得到具有第2个至第i个分辨率的修正标注结果图像。
在一种可能的实现方式中,所述标注修正模型是根据训练数据以及所述训练数据对应的标签训练得到的,所述训练数据包括原始图像、原始图像的非标准标注结果图像以及所述原始图像对应的具有第1个至第n个分辨率的非标准标注结果图像,所述训练数据对应的标签为所述原始图像的标准标注结果图像。
一种实现医学影像数据标注的装置,所述装置包括:
获取单元,用于获取医学影像图像;
分割单元,用于将所述医学影像图像分割为多个第一超像素,得到超像素分割图像;
合并单元,用于根据所述超像素分割图像中的第一超像素的灰度平均值,将所述超像素分割图像中的第一超像素合并为至少一个第二超像素,得到待标注图像;
标注单元,用于响应于对所述待标注图像中目标第二超像素的选中操作,得到所述目标第二超像素的标注结果图像,所述目标第二超像素为所述第二超像素中的任意一个或多个;
修正单元,用于将所述目标第二超像素对应的医学影像图像以及所述目标第二超像素的标注结果图像输入标注修正模型,得到所述目标第二超像素的修正标注结果图像。
一种实现医学影像数据标注的设备,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现所述的实现医学影像数据标注的方法。
一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行所述的实现医学影像数据标注的方法。
由此可见,本申请实施例具有如下有益效果:
本申请实施例提供的一种实现医学影像数据标注的方法,通过获取医学影像图像,先将医学影像图像分割为多个第一超像素,得到超像素分割图像;再根据第一超像素的灰度平均值对超像素分割图像中的第一超像素进行合并,将第一超像素合并为至少一个第二超像素,得到待标注图像;通过响应于待标注图像中的任意一个目标第二超像素的选中操作,得到目标第二超像素的标注结果图像;最后,再将目标第二超像素对应的医学影响图像区域以及目标第二超像素的标注结果图像输入到标注修正模型中,得到目标第二超像素的修正标注结果。本申请实施例提供的实现医学影像数据标注的方法通过先对图像进行分割,得到多个第一超像素,再根据灰度平均值将相同或者近似的灰度的第一超像素进行合并,得到具有至少一个第二超像素的待标注图像。标注人员通过选中待标注图像中的任意一个第二超像素,就可以确定对应的目标第二超像素的标注结果图像。标注人员通过较为简单的选中操作即可实现对于医学影像数据的标注,提高了医学影像数据的标注效率。并且,最后通过标注修正模型可以对标注结果图像进行修正,得到更为准确的标注结果图像。如此,可以提高医学影像数据的标注效率并且得到更为准确的标注结果。
附图说明
图1为传统的实现医学影像数据标注的方法的示例性应用场景的示意图;
图2为本申请实施例提供的一种实现医学影像数据标注的方法的流程图;
图3为本申请实施例提供的超像素分割图像的示意图;
图4为本申请实施例提供的待标注图像的示意图;
图5为本申请实施例提供的待标注图像和目标第二超像素的修正标注结果图像的示意图;
图6为本申请实施例提供的一种得到目标第二超像素的修正标注结果图像的方法的示意图;
图7为本申请实施例提供的n=1时得到目标第二超像素的修正标注结果图像的示意图;
图8为本申请实施例提供的n=2时得到目标第二超像素的修正标注结果图像的示意图;
图9为本申请实施例提供的一种当n=2时标注修正模型的示意图;
图10为本申请实施例提供的一种池化层结构的示意图;
图11为本申请实施例提供的一种标注修正模型的示意图;
图12为本申请实施例提供的一种标注修正模型的示意图;
图13为本申请实施例提供的一种实现医学影像数据标注的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
为了便于理解和解释本申请实施例提供的技术方案,下面将先对本申请的背景技术进行说明。
发明人在对传统的医学影像数据的标注过程进行研究后发现,标注人员在对医学影像数据进行标注时,需要通过手动标记标注对象的轮廓,进而实现对于标注对象的标注。例如,参见图1,该图为传统的实现医学影像数据标注的方法的示例性应用场景的示意图。标注人员需要通过多次点击标注对象轮廓上的点,实现对于标注对象的轮廓的确定,进而确定所要进行标注的标注对象。标注人员在进行标注时需要多次操作才可以确定标注对象,每次进行标注的操作都较为复杂,标注效率较低。另外,标注人员在进行手动标注时可能会有操作误差,导致得到的标注结果不够准确。
基于此,本申请实施例提供了一种实现医学影像数据标注的方法,通过获取医学影像图像,先将医学影像图像分割为多个第一超像素,得到超像素分割图像;再根据第一超像素的灰度平均值对超像素分割图像中的第一超像素进行合并,将第一超像素合并为至少一个第二超像素,得到待标注图像;通过响应于待标注图像中的任意一个目标第二超像素的选中操作,得到目标第二超像素的标注结果图像;最后,再将目标第二超像素对应的医学影像图像以及目标第二超像素的标注结果图像输入到标注修正模型中,得到目标第二超像素的修正标注结果图像。
为了便于理解本申请,下面结合附图对本申请实施例提供的一种实现医学影像数据标注的方法进行说明。
参见图2所示,该图为本申请实施例提供的一种实现医学影像数据标注的方法的流程图,该方法包括步骤S201-S205:
S201:获取医学影像图像。
在对医学影像数据进行标注之前,需要获取用于标注的医学影像图像。医学影像图像可以是通过医学仪器拍摄或者检测得到的,用于辅助医学诊断或者医学治疗的图像。例如,CT(Computed Tomography,电子计算机断层扫描)图片等。医学影像图像可以体现人体组织或者是人体结构,医生通过查看医学影像图像可以对疾病进行判断。
本申请实施例不限定医学影像图像的来源,可以为较为标准的,较为准确地体现疾病的医学影像图像。
S202:将医学影像图像分割为多个第一超像素,得到超像素分割图像。
将得到的医学影像图像进行分割,先将医学影像图像分割为多个第一超像素,每个第一超像素中具有一个或者多个像素。参见图3,该图为本申请实施例提供的超像素分割图像的示意图。通过对医学影像图像进行分割,可以得到分割之后的超像素分割图像。
在一种可能的实现方式中,可以先对医学影像图像进行初始的第一超像素的分割,再进行对应的调整,本申请实施例提供了一种将医学影像图像分割为多个第一超像素,得到超像素分割图像的具体方法,请参见下文。
S203:根据超像素分割图像中的第一超像素的灰度平均值,将超像素分割图像中的第一超像素合并为至少一个第二超像素,得到待标注图像。
第一超像素中包含的像素可能较少,得到的超像素分割图像中划分的第一超像素的数量较多,不便于标注人员进行选择。
进一步的,由于医学影像图像中的相同人体部位或者是相同的人体组织的灰度值较为近似,可以根据超像素分割图像中的第一超像素的灰度平均值,将部分第一超像素进行合并,得到由相同或者是近似灰度平均值的第一超像素合并组成的第二超像素,用于表示医学影像图像中的对应于相同部位或者是组织的区域。
通过对第一超像素进行合并,可以得到对应的用于表示医学影像图像中的部分区域的第二超像素,进而得到包括至少一个第二超像素的待标注图像。参见图4,图4为本申请实施例提供的待标注图像的示意图。其中,待标注图像中黑色方框中的区域为待标注图像中的一个第二超像素。得到的由至少一个第二超像素组成的待标注图像可以用于进行图像标注。
S204:响应于对待标注图像中目标第二超像素的选中操作,得到目标第二超像素的标注结果图像,目标第二超像素为第二超像素中的任意一个或多个。
在进行标注时,可以选中待标注图像中的任意一个或多个第二超像素作为目标第二超像素。响应于对待标注图像中的目标第二超像素的选中操作,可以提取目标第二超像素对应的区域,得到目标第二超像素的标注结果图像。
以图4为例,若将黑色方框中的第二超像素作为目标第二超像素,选中目标第二超像素,可以得到与目标第二超像素对应的目标第二超像素的标注结果图像。目标第二像素的标注结果图像中包括目标第二超像素所对应的医学影像图像的区域。
S205:将目标第二超像素对应的医学影像图像以及目标第二超像素的标注结果图像输入标注修正模型,得到目标第二超像素的修正标注结果图像。
目标第二超像素是由第一超像素合并生成的,可能存在着边缘的精细程度不足的情况,得到的目标第二超像素的标注结果图像的精细程度不能满足标注的需要。利用目标第二超像素对应的医学影像图像以及目标第二超像素的标注结果图像输入至标注修正模型中,得到标注修正模型输出的目标第二超像素的修正标注结果图像。参见图5,该图为本申请实施例提供的待标注图像和目标第二超像素的修正标注结果图像的示意图。其中,左图为待标注图像,左图中的黑色方框为目标第二超像素。右图为目标第二超像素的修正标注结果图像,右图中的黑色方框为对应的目标第二超像素的修正标注结果。
在一种可能的实现方式中,为了提高修正标注结果图像的精细程度,标注修正模型可以是根据原始图像、原始图像的非标准标注结果图像以及原始图像对应的不同分辨率的非标准标注结果图像训练生成的。本申请实施例提供了一种标注修正模型的生成方法,具体请参见下文。
此外,本申请实施例提供了一种通过标注修正模型得到目标第二超像素的修正标注结果图像的具体实施方式,具体请参见下文。
在本申请实施例中,通过对医学影像图像进行第一超像素的分割,以及第一超像素的合并,能够得到由至少一个第二超像素组成的待标注图像。由于待标注图像是由第二超像素组成的,可以表示医学影像图像中的对应区域,标注人员可以直接在待标注图像中选中目标第二超像素,实现对目标第二超像素对应的区域的选中。如此,能够减少标注的操作步骤,进而提高了标注效率。另外,再通过标注修正模型可以对目标第二超像素的标注结果图像进行修正,得到更加准确的目标第二超像素的修正标注结果图像。
在进行第一超像素分割时,可以根据医学影像图像的尺寸大小进行第一超像素的初始的分割,再根据各个像素点之间的位置关系以及灰度关系进行合并,得到第一超像素。
在一种可能的实现方式中,本申请实施例提供了一种S202的具体实施方式,即将医学影像图像分割为多个第一超像素,得到超像素分割图像,包括以下六个步骤:
A1:根据预设的第一超像素初始尺寸,确定医学影像图像中的种子点的初始位置。根据预先设置的第一超像素初始尺寸,可以确定每个第一超像素中包括的像素的大小。利用第一超像素初始尺寸,可以大致确定对医学影像图像的划分方式,进而确定第一超像素。
在一种可能的实现方式中,可以根据医学影像图像的图像尺寸进行确定。根据医学影像图像的图像尺寸,可以计算得到医学影像图像中包括的像素的大小。根据医学影像图像的图像尺寸和第一超像素初始尺寸,可以得到第一超像素的个数。具体的,可以利用图像尺寸除以像素的个数,得到计算结果,再将计算结果向上取整,得到第一超像素的个数。例如,当第一超像素初始尺寸为N时,也就是一个第一超像素中包括N个像素;医学影像图像的宽度为W个像素、高度为H个像素时,得到的医学影像图像的图像尺寸为W×H,计算得到的第一超像素的个数为(W×H)/N。
为了便于对各个像素点进行所属的第一超像素的划分,可以将第一超像素对应的聚类中心设为种子点,通过各个像素点和种子点之间的距离,可以确定各个像素点对应的种子点,进而确定像素点所属的第一超像素。
在进行第一超像素的分割时,可以先确定种子点的初始位置,并对种子点的位置进行调整,以确定种子点邻近的像素点所属的第一超像素。根据计算得到的第一超像素的个数对医学影像图像进行划分。再根据预设的种子点数量以及划分的结果,在医学影像图像中较为平均地设置种子点,确定医学影像图像中的种子点的初始位置。
A2:将目标种子点由目标种子点的初始位置移动到在目标种子点的第一邻域范围内像素梯度值最小的位置,得到目标种子点的第一更新位置,目标种子点为种子点中的每一个。
在确定了种子点的初始位置后,可以对种子点的初始位置进行调整,将种子点的位置移动到邻域范围的内部,避免种子点位于邻域范围的边缘,影响后续的确定第一超像素的效果。
具体的,可以从种子点中分别选择每一个种子点作为目标种子点,计算每个目标种子点的第一邻域范围内的像素梯度值。其中,第一邻域范围可以是n×n的像素范围,n为正整数。在本申请实施例中,n可以为3。像素梯度值可以用于表征图像的平滑程度,通过像素梯度值可以确定对应的位置是位于图像的内部或者是位于图像的边缘。当像素梯度值较小时,表征该位置是位于图像内部的;当像素梯度值较大时,表征该为位置是位于图像边缘的。
将目标种子点的初始位置移动到第一邻域范围内像素梯度值最小的位置,也就是第一邻域范围的内部,防止种子点位于第一邻域范围的边缘导致确定的第一超像素不够准确。移动后的第一邻域范围内的像素梯度值最小的位置为就作为目标种子点的第一更新位置。
A3:计算医学影像图像中的目标像素点与目标像素点的第二邻域范围内各个种子点的距离,目标像素点为医学影像图像的像素点中的每一个。
在确定了种子点的第一更新位置之后,需要对种子点邻近的像素点进行划分。分别将医学影像图像中的每一个像素点作为目标像素点,计算目标像素点与目标像素点的第二邻域范围内的各个种子点的距离,利用计算得到的目标像素点与种子点的距离对目标像素点进行划分。
需要说明的是,第二邻域范围可以根据第一超像素的尺寸确定,第二邻域范围的长度和宽度可以分别为第一超像素的初始尺寸的长度和宽度的二倍。例如,当第一超像素的初始尺寸为S×S=N,则第二邻域范围可以为2S×2S=4N。
目标像素点与目标像素点的第二邻域范围内的各个种子点的距离可以包括灰度差值和空间距离差值两个方面。本申请实施例提供了一种计算目标像素点与目标像素点的第二邻域范围内的各个种子点的距离的方法,具体请参见下文。
A4:将目标像素点划分到在第二邻域范围内距离最近的种子点对应的第一超像素。
根据计算得到的目标像素点与目标像素点的第二邻域范围内的各个种子点的距离,将目标像素点划分到第二邻域范围内距离最近的种子点所对应的第一超像素。
A5:将目标种子点由第一更新位置移动到目标种子点对应的第一超像素的中心位置,得到目标种子点的第二更新位置。
在对目标像素点进行划分,确定第一超像素之后,再次调整第一超像素对应的种子点的位置。将种子点中的每个种子点作为目标种子点,进行目标种子点的位置的调整。将目标种子点由第一更新位置移动到目标种子点对应的第一超像素的中心位置,将目标种子点对应的第一超像素的中心位置作为目标种子点的第二更新位置。
A6:目标种子点的第二更新位置确定为目标种子点的初始位置,并重复执行预设次数计算医学影像图像中的目标像素点与目标像素点的第二邻域范围内各个种子点的距离以及后续步骤,得到超像素分割图像。
将目标种子点的第二更新位置确定为目标种子点的初始位置,并对目标种子点的初始位置进行调整。
重复执行计算医学影像图像中的目标像素点与目标像素点的第二邻域范围内各个种子点的距离以及后续步骤,不断调整目标种子点的位置,直到重复执行达到预设次数,在本申请实施例中,预设次数可以为10次。通过重复确定目标种子点的位置,可以得到更为准确的目标种子点的位置,根据目标种子点位置确定的第一超像素更为准确。
在本申请实施例中,根据目标种子点的第一邻域范围内的像素梯度值对目标种子点进行位置调整,并再根据调整后的目标种子点确定第一超像素中的像素点。通过多次进行目标种子点的位置调整以及像素点的划分,可以得到较为准确的分割的第一超像素。
进一步的,本申请实施例提供了一种计算目标像素点与目标像素点的第二邻域范围内的各个种子点的距离的方法,具体包括以下三个步骤:
B1:计算医学影像图像中的目标像素点与目标像素点的第二邻域范围内各个种子点的灰度差值。
为了判断目标像素点与种子点是否属于医学影像图像中的同一区域,可以计算目标像素点与种子点之间的灰度差值。灰度差值的公式可以如公式(1)所示:
dc=lj-li (1)
其中,lj为目标像素点的灰度值,li为种子点的灰度值。
B2:计算医学影像图像中的目标像素点与目标像素点的第二邻域范围内各个种子点的空间距离差值。
计算目标像素点与目标像素点的第二邻域范围内的各个种子点的空间距离差值。具体的,空间距离差值的公式如公式(2)所示:
其中,xj为目标像素点的横坐标,yj为目标像素点的纵坐标,xi为种子点的横坐标,yi为种子点的纵坐标。
B3:根据医学影像图像中的目标像素点与目标像素点的第二邻域范围内各个种子点的灰度差值以及空间距离差值,计算得到医学影像图像中的目标像素点与目标像素点的第二邻域范围内各个种子点的距离。
根据计算得到的目标像素点与目标像素点的第二邻域范围内各个种子点的灰度差值以及空间距离差值,进一步计算得到目标像素点与第二邻域范围内的各个种子点的距离。
目标像素点与第二邻域范围内的各个种子点的距离的计算公式如公式(3)所示:
其中,dC为目标像素点与目标像素点的第二邻域范围内的种子点的灰度差值,ds为目标像素点与目标像素点的第二邻域范围内的种子点的空间距离差值。m是平衡灰度空间与距离空间的参数,例如,在本申请实施例中,m=40。S是相邻两个种子点之间的空间距离。
在本申请实施例中,通过分别计算目标像素点与第二邻域范围内的种子点的灰度差值以及空间距离差值,并且根据灰度差值和空间距离差值计算得到目标像素点与第二邻域范围内的种子点之间的距离。如此可以实现通过灰度和空间距离两个方面确定目标像素点和种子点之间的距离,得到的距离更加准确地反映了目标像素点与种子点之间的差距。进而根据标像素点与种子点之间的距离划分的第一超像素更加准确。
在对第一超像素进行划分后,得到的医学影像图像中,还可能具有不连续的第一超像素以及尺寸过小的第一超像素。此类第一超像素的存在会影响到分割的第一超像素的连通性。
进一步的,在重复执行确定目标种子点的位置和对像素点进行划分的步骤之后,还可以对尺寸较小的第一超像素进行与相邻的第一超像素的合并。
重复执行预设次数计算医学影像图像中的目标像素点与目标像素点的第二邻域范围内各个种子点的距离以及后续步骤,所述方法还包括:
将尺寸小于第一阈值的第一超像素与相邻的第一超像素进行合并,得到超像素分割图像。
第一阈值可以是预先设定的第一超像素的最小尺寸。在确定第一超像素之后,可以检测医学影像图像中是否存在着尺寸小于第一阈值的第一超像素。如果存在,则将尺寸小于第一阈值的第一超像素与相邻的第一超像素进行合并,消除尺寸小于第一阈值的第一超像素,得到连通性更好的超像素分割图像。
在得到超像素分割图像之后,需要将相关的第一超像素进行合并,得到第二超像素。在一种可能的实现方式中,本申请实施例提供了一种S203,也就是根据超像素分割图像中的第一超像素的灰度平均值,将超像素分割图像中的第一超像素合并为至少一个第二超像素,得到待标注图像的具体实施方式,包括以下四个步骤:
C1:计算所述超像素分割图像中的第一超像素的灰度平均值。
计算第一超像素的灰度平均值,灰度平均值可以通过公式(4)计算得到
其中,n为第一超像素中的像素数量,Px为第一超像素中的第x个像素的灰度值,为第一超像素的灰度值总和。
C2:从超像素分割图像中的第一超像素中选择目标第一超像素。
在将第一超像素进行合并时,先从超像素分割图像中的第一超像素中选择需要进行合并的目标第一超像素。
本申请实施例不限定选择目标第一超像素的方法,可以根据第一超像素在医学影像图像中的位置依次将第一超像素选择为目标第一超像素。
C3:计算目标第一超像素的灰度平均值与相邻第一超像素的灰度平均值之差的绝对值,相邻第一超像素为与目标第一超像素相邻的第一超像素。
确定与目标第一超像素相邻的第一超像素作为相邻第一超像素。相邻第一超像素集合可以表示为Ri={Sa,Sb,...,Sm}。
根据上述C1的计算结果确定目标第一超像素的灰度平均值P1,以及相邻第一超像素的灰度平均值Pi,Pi={Pa,Pb,...,Pm}。
计算与目标第一超像素所相邻的第一超像素的灰度平均值之差的绝对值,得到Di,Di={Da,Db,...,Dm},Dj=|P1-Pj|,j∈Ri。
灰度平均值之差的绝对值可以反映目标第一超像素和相邻第一超像素之间的灰度平均值之间的差距。当灰度平均值之差的绝对值较大时,则说明目标第一超像素与相邻第一超像素之间的灰度平均值相差较大;当灰度平均值之差的绝对值较小时,则说明目标第一超像素与相邻第一超像素之间的灰度平均值相差较小,灰度值相近。
C4:将绝对值小于第二阈值对应的相邻第一超像素与目标第一超像素进行合并。
当目标第一超像素的灰度平均值与相邻第一超像素的灰度平均值之差的绝对值较小时,说明目标第一超像素和相邻第一超像素之间的灰度值相差较小,可能是在医学影像图像中位于同一区域的第一超像素。将绝对值小于第二阈值的对应的相邻第一超像素和目标第一超像素进行合并。在本申请实施例中,第二阈值可以为0.04。
C5:重复执行从超像素分割图像中的第一超像素中选择目标第一超像素以及后续步骤,直到第一超像素均被选择。
重复执行上述C2至C4的步骤,直到全部的第一超像素均被选择为目标第一超像素。
基于以上内容可知,通过超像素分割图像中的第一超像素中选择目标第一超像素,并且计算目标第一超像素的灰度平均值与相邻第一超像素的灰度平均值之差的绝对值,利用计算得到的绝对值确定是否将目标第一超像素与相邻第一超像素进行合并。通过将绝对值小于第二阈值的相邻第一超像素与目标第一超像素进行合并,可以将绝对值相近的第一超像素进行合并。进而使得得到的待标注图像中的第二超像素可以对应于医学影像图像中的同一区域,便于标注人员进行选择。
在选中目标第二超像素得到的目标第二超像素的标注结果图像中,可能存在着目标第二超像素的边缘不精细的问题,比如目标第二超像素的边缘与在实际的医学影像中的对应部分区域的边缘并不贴合,导致得到的目标第二超像素的标注结果图像不够准确。
因此,需要将目标第二超像素的标注结果图像输入标注修正模型中,对目标第二超像素的标注结果进行修正。
在一种可能的实现方式中,可以通过不同的分辨率的标注结果图像实现对于目标第二超像素的标注结果图像的修正。本申请实施例还提供了一种S205的具体实施方式,参见图6,该图为本申请实施例提供的一种得到目标第二超像素的修正标注结果图像的方法的示意图,该方法包括S601-S606:
S601:根据目标第二超像素的标注结果图像生成具有第1个至第n个分辨率的标注结果图像,第1个至第n个分辨率由小到大排序,且均小于目标第二超像素的标注结果图像的分辨率,n为正整数。
在得到目标第二超像素的标注结果图像之后,先根据目标第二超像素的标注结果图像生成从第1个至第n个分辨率的标注结果图像。其中,n为正整数,n可以根据修正的需要进行设置。
需要说明的是,第1个至第n个分辨率的标注结果图像的分辨率均小于目标第二超像素的标注结果图像的分辨率。例如,当目标第二超像素的标注结果图像的分辨率为800*600时,将分辨率为800*600作为100%分辨率。第1个至第n个分辨率的标注结果图像的分辨率均小于800*600。比如,可以是目标第二超像素的标注结果图像的分辨率的1/8,也就是100*75的分辨率。
另外,为了实现对于目标第二超像素的标注结果图像的逐步修正,提高修正后的目标第二超像素的修正标注结果图像的准确程度,将第1个至第n个分辨率进行由小到大的排序。作为一种示例,当n为3,目标第二超像素的标注结果图像的分辨率为100%,排序后的第1个至第3个分辨率可以分别为目标第二超像素的标注结果图像的分辨率的1/8、1/4和1/2。
S602:将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的标注结果图像输入标注修正模型,得到具有第i个分辨率的修正标注结果图像,i的初始值为1。
从医学影像图像中获取目标第二超像素对应的医学影像图像区域,目标第二超像素对应的医学影像图像区域中具有与第二超像素对应的医学影像图像的相关信息。将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的标注结果图像作为标注修正模型的输入数据。进而得到标注修正模型输出的第i个分辨率的修正标注结果图像。其中,i的初始值为1。
S603:判断i+1是否大于n。
判断i+1的数值与n之间的大小关系。若i+1大于n,执行S604;若i+1不大于n,执行S605以及后续步骤。
通过判断i+1的数值与n之间的大小关系,可以确定标注修正模型的修正程度。当i+1大于n时,则说明本次标注修正模型输出的分辨率的修正标注结果图像已经是第1个至第n个分辨率中最高的分辨率,需要得到目标第二超像素的修正标注结果图像。若i+1不大于n,则说明本次标注修正模型输出的分辨率的修正标注结果图像还未达到是第1个至第n个分辨率中最高的分辨率,可以进一步进行修正。
S604:如果i+1大于n,将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,得到目标第二超像素的修正标注结果图像。
如果i+1大于n,则将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型中,得到目标第二超像素的修正标注结果图像。需要说明的是,得到的目标第二超像素的修正标注结果图像的分辨率可以与目标第二超像素的标注结果图像的分辨率相等。
S605:如果i+1不大于n,第i个分辨率的修正标注结果图像上采样生成第i+1个至第n个分辨率的修正标注结果图像。
如果i+1不大于n,先对第i个分辨率的修正标注结果图像进行上采样,得到第i+1个至第n个分辨率的修正标注结果图像。利用通过上采样得到的第i+1个至第n个分辨率的修正标注结果图像,更新原有的第i+1个至第n个分辨率的修正标注结果图像。如此可以实现每次根据标注修正模型输出的第i个分辨率的修正标注结果图像,对第i+1个至第n个分辨率的修正标注结果图像进行更新。
S606:将i的取值加1,将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,重新得到具有第1个至第i个分辨率的修正标注结果图像,返回执行S603。
在对第i个分辨率的修正标注结果图像进行上采样之后,将i的取值加1。将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,其中,第i+1个至第n个分辨率的修正标注结果图像是上述S605采样生成的。进而得到标注修正模型的输出的具有第1个至第i个分辨率的修正标注结果图像。
在得到标注修正模型的输出的具有第1个至第i个分辨率的修正标注结果图像之后,本次修正完成,再返回至S603,执行判断i+1是否大于n以及后续步骤。
基于上述内容可知,通过生成第1个至第n个分辨率的标注结果图像,将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,并根据标注修正模型输出的具有第i个分辨率的修正标注结果图像进行上采样,更新第i+1个至第n个分辨率的修正标注结果图像。并且根据n的数值,多次进行上述步骤,最终得到较为准确的目标第二超像素的修正标注结果图像。
为了便于理解上述S205的具体实施方式,在此分别设n为1、2和3,进行举例。
参见图7,该图为本申请实施例提供的n=1时得到目标第二超像素的修正标注结果图像的示意图。
当n=1时,根据目标第二超像素的标注结果图像生成第1个分辨率的标注结果图像,此处设第1个分辨率为目标第二超像素的标注结果图像的分辨率的1/8,小于目标第二超像素的标注结果图像的分辨率。
将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像,以及第1个分辨率的标注结果图像,输入标注修正模型,得到具有第1个分辨率的修正标注结果图像,此处,i为初始值是1。
计算i+1等于2,大于n。将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及通过标注修正模型得到的第1个分辨率的修正标注结果图像输入标注修正模型,得到目标第二超像素的修正标注结果图像。目标第二超像素的修正标注结果图像的分辨率为100%,与目标第二超像素的标注结果图像的分辨率相同。
参见图8,该图为本申请实施例提供的n=2时得到目标第二超像素的修正标注结果图像的示意图。
当n=2时,根据目标第二超像素的标注结果图像生成第1个和第2个分辨率的标注结果图像,此处设第1个分辨率为目标第二超像素的标注结果图像的分辨率的1/8,第2个分辨率为目标第二超像素的标注结果图像的分辨率的1/4,第1个分辨率和第2个分辨率均小于目标第二超像素的标注结果图像的分辨率。
将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像,以及第1个分辨率的标注结果图像,第2个分辨率的标注结果图像,输入标注修正模型,得到具有第1个分辨率的修正标注结果图像,此处,i为初始值是1。
计算i+1等于2,等于n。对第1个分辨率的修正标注结果图像,也就是1/8分辨率的修正标注结果图像,进行上采样,生成第2个分辨率的修正标注结果图像,也就是1/4分辨率的修正标注结果图像。
将i的取值加1,得到的i=2。将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像,上述通过标注修正模型得到的第1个分辨率的修正标注结果图像,以及上述通过上采样生成第2个分辨率的修正标注结果图像,输入到标注修正模型中。重新得到第1个至第2个分辨率的修正标注结果图像。
计算i+1等于3,大于n。将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像,上述标注修正模型输出得到的第1个和第2个分辨率的修正标注结果图像,输入到标注修正模型中,得到目标第二超像素的修正标注结果图像,也就是分辨率为100%的目标第二超像素的修正标注结果图像。
当n=3时,根据目标第二超像素的标注结果图像生成第1个、第2个和第3个分辨率的标注结果图像。此处设第1个分辨率为目标第二超像素的标注结果图像的分辨率的1/8,第2个分辨率为目标第二超像素的标注结果图像的分辨率的1/4,第3个分辨率为目标第二超像素的标注结果图像的分辨率的1/2,均小于目标第二超像素的标注结果图像的分辨率。
将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像,以及第1个分辨率的标注结果图像,第2个分辨率的标注结果图像,第3个分辨率的标注结果图像,输入标注修正模型,得到具有第1个分辨率的修正标注结果图像。此处,i为初始值是1。
计算i+1等于2,小于n。对第1个分辨率的修正标注结果图像,也就是1/8分辨率的修正标注结果图像,进行上采样,生成第2个分辨率的修正标注结果图像和第3个分辨率的修正标注结果图像,也就是1/4分辨率的修正标注结果图像和1/2分辨率的修正标注结果图像。
将i的取值加1,得到的i=2。将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像,上述通过标注修正模型得到的第1个分辨率的修正标注结果图像,上述通过上采样生成第2个分辨率的修正标注结果图像,上述通过上采样生成第3个分辨率的修正标注结果图像,输入到标注修正模型中。重新得到第1个至第2个分辨率的修正标注结果图像。
返回执行判断i+1与n的大小关系,i+1=3,与n相等。对第2个分辨率的修正标注结果图像,也就是1/4分辨率的修正标注结果图像,进行上采样,生成第3个分辨率的修正标注结果图像,也就是1/2分辨率的修正标注结果图像。
将i的取值加1,得到i=3。将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像,上述通过标注修正模型重新得到的第1个分辨率的修正标注结果图像、第2个分辨率的修正标注结果图像,以及上采样生成第3个分辨率的修正标注结果图像,输入至标注修正模型中。重新得到具有第1个至第3个分辨率的修正标注结果图像。
返回执行判断i+1是否大于n,i+1=4大于3。将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像,上述标注修正模型输出得到的第1个、第2个和第3个分辨率的修正标注结果图像,输入到标注修正模型中,得到目标第二超像素的修正标注结果图像,也就是100%分辨率的目标第二超像素的修正标注结果图像。
在一种可能的实现方式中,标注修正模型中可以包括金字塔池化层。通过提取输入的图像的图像特征,将图像特征输入至金字塔池化层中,对应的得到修正后的标注结果图像。
具体的,将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的标注结果图像输入标注修正模型,得到具有第i个分辨率的修正标注结果图像,包括:
提取目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的标注结果图像的第一图像特征,将第一图像特征输入标注修正模型中的金字塔池化层,得到具有第i个分辨率的修正标注结果图像。
参见图9,该图为本申请实施例提供的一种当n=2时标注修正模型的示意图。先提取目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及第1个至第2个分辨率的标注结果图像的第一图像特征。第一图像特征可以采用ResNet(ResidualNeural Network,残差神经网络)50进行提取,输入ResNet50的目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及第1个至第2个分辨率的标注结果图像可以通过4+n个通道,也就是6个通道表示。其中,目标第二超像素对应的医学影像图像区域可以是彩色图像,对应3个通道;目标第二超像素的标注结果图像可以是灰度图像,对应1个通道;第1个至第2个分辨率的标注结果图像可以是灰度图像,分别对应1个通道,通道对应的具体数值可以表示图像的灰度值。第一图像特征可以用于表示经过特征提取,得到的不同分辨率的标注结果图像的图像特征,其中,至少包括第1个至第n个分辨率的标注结果图像的图像特征。例如,当n=2时,得到的第一图像特征可以是至少包括用于表示第1个至第2个分辨率的标注结果图像的图像特征。
参见图10,该图为本申请实施例提供的一种金字塔池化层结构的示意图。将获取到的第一图像特征输入至金字塔池化层中,通过将第一图像特征输入至标注修正模型的金字塔池化层,可以得到金字塔池化层输出的具有第i个分辨率的修正标注结果图像。在一种可能的实现方式中,可以将金字塔池化层输出的具有第i个分辨率的修正标注结果图像,与通过第一图像特征所表示的第i个分辨率的标注结果图像进行混合,利用第一图像特征对第i个分辨率的修正标注结果图像进行修正,得到最终输出的较为准确的具有第i个分辨率的修正标注结果图像。
在本申请实施例中,通过先对输入标注修正模型的图像进行图像特征的提取,再将提取到的第一图像特征输入至标注修正模型的金字塔池化层中,得到金字塔池化层输出的具有第i个分辨率的修正标注结果图像。通过金字塔池化层,可以得到较为准确的第i个分辨率的修正标注结果图像。
进一步的,标注修正模型还具有上采样层。具体的,将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,得到目标第二超像素的修正标注结果,包括:
提取目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像的第二图像特征,将第二图像特征输入标注修正模型中的金字塔池化层,得到具有第1个分辨率的修正标注结果图像;
根据第二图像特征,对具有第1个分辨率的修正标注结果图像进行上采样,得到具有100%分辨率的修正标注结果图像作为目标第二超像素的修正标注结果图像。
参见图11,该图为本申请实施例提供的一种标注修正模型的示意图。
在n=1时,在输入标注修正模型之前,先提取目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及具有第1个分辨率的修正标注结果图像的第二图像特征。提取第二图像特征的方法与上述提取第一图像特征的方法相同,在此不再赘述。此时提取到的第二图像特征可以是用于表示第1个分辨率的标注结果图像的图像特征,通过第二图像特征,可以得到对应的第1个分辨率的标注结果图像。
将提取到的第二图像特征输入至标注修正模型中的金字塔池化层,得到具有第1个分辨率的修正标注结果图像。在一种可能的实现方式中,可以将第二图像特征中的第1个分辨率的标注结果图像,与通过金字塔池化层输出的第1个分辨率的修正标注结果图像进行混合,得到最终输出的第1个分辨率的修正标注结果图像。在一种可能的实现方式中,图像混合可以采取卷积的方式。通过利用第二图像特征对金字塔池化层输出的第1个分辨率的修正标注结果图像进行修正,可以使得最终输出的第1个分辨率的修正标注结果图像更加准确。
根据提取到的第二图像特征,对金字塔池化层输出的第1个分辨率的修正标注结果图像进行上采样。通过上采样可以得到具有100%分辨率的修正标注结果图像,将得到的100%分辨率的修正标注结果图像作为目标第二超像素的修正标注结果图像。具体的,将通过上采样层得到的具有100%分辨率的修正标注结果图像,和第二图像特征中的目标第二超像素的标注结果图像进行混合,得到最终输出的具有100%分辨率的修正标注结果图像。在本申请实施例中,在通过金字塔池化层得到第1个分辨率的修正标注结果图像之后,可以根据第二图像特征对第1个分辨率的修正标注结果图像通过上采样层进行上采样。通过对第1个分辨率的修正标注结果图像进行上采样,可以在修正标注结果图像较为准确的前提下,得到分辨率更高的修正标注结果图像,进而得到较为准确的100%分辨率的修正标注结果图像,也就是目标第二超像素的修正标注结果图像。
进一步的,将目标第二超像素对应的医学影像图像区域、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,重新得到具有第1个至第i个分辨率的修正标注结果图像,包括:
提取目标第二超像素对应的医学影像图像、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像的第三图像特征,将第三图像特征输入标注修正模型中的金字塔池化层,得到具有第1个分辨率的修正标注结果图像;
根据第三图像特征,对具有第1个分辨率的修正标注结果图像进行上采样,得到具有第2个至第i个分辨率的修正标注结果图像。
提取目标第二超像素对应的医学影像图像、目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像的第三图像特征。第三图像特征的提取方法与上述第一图像特征的提取方法类似,在此不再赘述。
将提取到的第三图像特征输入至金字塔池化层中,得到具有第1个分辨率的修正标注结果图像。再根据第三图像特征,对金字塔池化层输出的第1个分辨率的修正标注结果图像进行上采样,得到第2个至第i个分辨率的修正标注结果图像。其中,得到的第2个至第i个分辨率的修正标注结果图像,是通过上采样层输出的第2个至第i个分辨率的修正标注结果图像,与第三图像特征所表示的第2个至第i个分辨率的标注结果图像进行混合后得到的。
当i大于等于3时,参见图12,该图为本申请实施例提供的一种标注修正模型的示意图。先根据第三图像特征,对金字塔池化层输出的第1个分辨率的修正标注结果图像通过第一层上采样层,得到第2个分辨率的修正标注结果图像。再将通过第一层上采样层得到第2个分辨率的修正标注结果图像与第三图像特征所表示的第2个分辨率的标注结果图像进行混合,得到最终的第2个分辨率的修正标注结果图像。再根据第三图像特征,将第2个分辨率的修正标注结果图像输入至第二层上采样层中,得到第3个分辨率的修正标注结果图像。再利用第二层上采样层输出的第3个分辨率的修正标注结果图像和第三图像特征所表示的第3个分辨率的标注结果图像进行混合,得到最终的第3个分辨率的修正标注结果图像。并依次类推,根据第三图像特征,对将前一层上采样层输出的修正标注结果图像进行上采样,直到得到第i个分辨率的修正标注结果图像。
在本申请实施例中,标注修正模型中具有多层上采样层,可以根据第三图像特征对前一层输出的修正标注结果图像进行上采样,得到下一个分辨率的修正标注结果图像。
此外,本申请实施例还提供了一种标注修正模型的训练方法,标注修正模型是根据训练数据以及训练数据对应的标签训练得到的,训练数据包括原始图像、原始图像的非标准标注结果图像以及原始图像对应的具有第1个至第n个分辨率的非标准标注结果图像,训练数据对应的标签为原始图像的标准标注结果图像。
其中,原始图像为原始医学影像图像或者是原始医学影像图像中的部分图像。根据原始图像可以确定标准标注结果图像,标准标注结果图像可以是原始图像通过标准的边缘标注得到的。标准标注结果图像具有较高的分辨率,与目标第二超像素的标注结果图像分辨率相同。通过对标准标注结果图像进行处理,可以得到原始图像的非标准标注结果图像。再对非标准标注结果图像进行降低分辨率的处理,可以得到原始图像对应的具有第1个至第n个分辨率的非标准标注结果图像。将原始图像、原始图像的非标准标注结果图像、原始图像对应的具有第1个至第n个分辨率的非标准标注结果图像作为训练数据,将标准标注结果图像作为训练数据所对应的标签,通过训练数据以及训练数据对应的标签可以训练得到标注修正模型。
基于上述实现医学影像数据标注的方法的相关内容,本申请实施例还提供了一种实现医学影像数据标注的装置,下面结合附图进行说明。参见图13,该图为本申请实施例提供的一种实现医学影像数据标注的装置的结构示意图,该装置包括:
获取单元1301,用于获取医学影像图像;
分割单元1302,用于将所述医学影像图像分割为多个第一超像素,得到超像素分割图像;
合并单元1303,用于根据所述超像素分割图像中的第一超像素的灰度平均值,将所述超像素分割图像中的第一超像素合并为至少一个第二超像素,得到待标注图像;
标注单元1304,用于响应于对所述待标注图像中目标第二超像素的选中操作,得到所述目标第二超像素的标注结果图像,所述目标第二超像素为所述第二超像素中的任意一个或多个;
修正单元1305,用于将所述目标第二超像素对应的医学影像图像以及所述目标第二超像素的标注结果图像输入标注修正模型,得到所述目标第二超像素的修正标注结果图像。
在一种可能的实现方式中,所述分割单元1302,包括:
第一确定子单元,用于根据预设的第一超像素初始尺寸,确定所述医学影像图像中的种子点的初始位置;
第一移动子单元,用于将目标种子点由所述目标种子点的初始位置移动到在所述目标种子点的第一邻域范围内像素梯度值最小的位置,得到所述目标种子点的第一更新位置,所述目标种子点为所述种子点中的每一个;
第一计算子单元,用于计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的距离,所述目标像素点为所述医学影像图像的像素点中的每一个;
划分子单元,用于将所述目标像素点划分到在所述第二邻域范围内距离最近的种子点对应的第一超像素;
第二移动子单元,用于将所述目标种子点由所述第一更新位置移动到所述目标种子点对应的第一超像素的中心位置,得到所述目标种子点的第二更新位置;
第二确定子单元,用于将所述目标种子点的第二更新位置确定为所述目标种子点的初始位置,并重复执行预设次数所述计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的距离以及后续步骤,得到超像素分割图像。
在一种可能的实现方式中,所述第一计算子单元,具体用于计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的灰度差值;
计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的空间距离差值;
根据所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的灰度差值以及空间距离差值,计算得到所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的距离。
在一种可能的实现方式中,所述装置还包括:
第一合并子单元,用于将尺寸小于第一阈值的第一超像素与相邻的第一超像素进行合并,得到超像素分割图像。
在一种可能的实现方式中,所述合并单元1303,包括:
第二计算子单元,用于计算所述超像素分割图像中的第一超像素的灰度平均值;
选择子单元,用于从所述超像素分割图像中的第一超像素中选择目标第一超像素;
第三计算子单元,用于计算所述目标第一超像素的灰度平均值与相邻第一超像素的灰度平均值之差的绝对值,所述相邻第一超像素为与所述目标第一超像素相邻的第一超像素;
第二合并子单元,用于将所述绝对值小于第二阈值对应的相邻第一超像素与所述目标第一超像素进行合并;
执行子单元,用于重复执行从所述超像素分割图像中的第一超像素中选择目标第一超像素以及后续步骤,直到所述第一超像素均被选择。
在一种可能的实现方式中,所述修正单元1305,包括:
生成子单元,用于根据所述目标第二超像素的标注结果图像生成具有第1个至第n个分辨率的标注结果图像,所述第1个至第n个分辨率由小到大排序,且均小于所述目标第二超像素的标注结果图像的分辨率,n为正整数;
第一输入子单元,用于将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的标注结果图像输入标注修正模型,得到具有第i个分辨率的修正标注结果图像,i的初始值为1;
判断子单元,用于判断i+1是否大于n;
第二输入子单元,用于如果i+1大于n,将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,得到所述目标第二超像素的修正标注结果图像;
上采样子单元,用于如果i+1不大于n,第i个分辨率的修正标注结果图像上采样生成第i+1个至第n个分辨率的修正标注结果图像;
第三输入子单元,用于将i的取值加1,将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,重新得到具有第1个至第i个分辨率的修正标注结果图像,返回执行判断i+1是否大于n以及后续步骤。
在一种可能的实现方式中,所述第一输入子单元,具体用于提取所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的标注结果图像的第一图像特征,将所述第一图像特征输入标注修正模型中的池化层,得到具有第i个分辨率的修正标注结果图像。
在一种可能的实现方式中,所述第二输入子单元,具体用于提取所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像的第二图像特征,将所述第二图像特征输入标注修正模型中的池化层,得到具有第1个分辨率的修正标注结果图像;
根据所述第二图像特征,对所述具有第1个分辨率的修正标注结果图像进行上采样,得到具有100%分辨率的修正标注结果图像作为所述目标第二超像素的修正标注结果图像。
在一种可能的实现方式中,所述第三输入子单元,具体用于提取所述目标第二超像素对应的医学影像图像、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像的第三图像特征,将所述第三图像特征输入标注修正模型中的池化层,得到具有第1个分辨率的修正标注结果图像;
根据所述第三图像特征,对所述具有第1个分辨率的修正标注结果图像进行上采样,得到具有第2个至第i个分辨率的修正标注结果图像。
在一种可能的实现方式中,所述标注修正模型是根据训练数据以及所述训练数据对应的标签训练得到的,所述训练数据包括原始图像、原始图像的非标准标注结果图像以及所述原始图像对应的具有第1个至第n个分辨率的非标准标注结果图像,所述训练数据对应的标签为所述原始图像的标准标注结果图像。
由此可见,通过先对图像进行分割,得到多个第一超像素,再根据灰度平均值将相同或者近似的灰度的第一超像素进行合并,得到具有至少一个第二超像素的待标注图像。标注人员通过选中待标注图像中的任意一个第二超像素,就可以确定对应的目标第二超像素的标注结果图像。标注人员通过较为简单的选中操作即可实现对于医学影像数据的标注,提高了医学影像数据的标注效率。并且,最后通过标注修正模型可以对标注结果图像进行修正,得到更为准确的标注结果图像,可以提高医学影像数据的标注效率并且得到更为准确的标注结果。
另外,本申请实施例还提供了一种实现医学影像数据标注的设备,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如上述实施例所述的实现医学影像数据标注方法的任一实施方式。
另外,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行如上述实施例所述的实现医学影像数据标注方法的任一实施方式。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***或装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (12)
1.一种实现医学影像数据标注的方法,其特征在于,所述方法包括:
获取医学影像图像;
将所述医学影像图像分割为多个第一超像素,得到超像素分割图像;
根据所述超像素分割图像中的第一超像素的灰度平均值,将所述超像素分割图像中的第一超像素合并为至少一个第二超像素,得到待标注图像;
响应于对所述待标注图像中目标第二超像素的选中操作,得到所述目标第二超像素的标注结果图像,所述目标第二超像素为所述第二超像素中的任意一个或多个;
将所述目标第二超像素对应的医学影像图像以及所述目标第二超像素的标注结果图像输入标注修正模型,得到所述目标第二超像素的修正标注结果图像;
将所述目标第二超像素对应的医学影像图像以及所述目标第二超像素的标注结果图像输入标注修正模型,得到所述目标第二超像素的修正标注结果图像,包括:
根据所述目标第二超像素的标注结果图像生成具有第1个至第n个分辨率的标注结果图像,所述第1个至第n个分辨率由小到大排序,且均小于所述目标第二超像素的标注结果图像的分辨率,n为正整数;
将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的标注结果图像输入标注修正模型,得到具有第i个分辨率的修正标注结果图像,i的初始值为1;
判断i+1是否大于n;
如果i+1大于n,将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,得到所述目标第二超像素的修正标注结果图像;
如果i+1不大于n,第i个分辨率的修正标注结果图像上采样生成第i+1个至第n个分辨率的修正标注结果图像;
将i的取值加1,将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,重新得到具有第1个至第i个分辨率的修正标注结果图像,返回执行判断i+1是否大于n以及后续步骤。
2.根据权利要求1所述的方法,其特征在于,所述将所述医学影像图像分割为多个第一超像素,得到超像素分割图像,包括:
根据预设的第一超像素初始尺寸,确定所述医学影像图像中的种子点的初始位置;
将目标种子点由所述目标种子点的初始位置移动到在所述目标种子点的第一邻域范围内像素梯度值最小的位置,得到所述目标种子点的第一更新位置,所述目标种子点为所述种子点中的每一个;
计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的距离,所述目标像素点为所述医学影像图像的像素点中的每一个;
将所述目标像素点划分到在所述第二邻域范围内距离最近的种子点对应的第一超像素;
将所述目标种子点由所述第一更新位置移动到所述目标种子点对应的第一超像素的中心位置,得到所述目标种子点的第二更新位置;
将所述目标种子点的第二更新位置确定为所述目标种子点的初始位置,并重复执行所述计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的距离以及后续步骤,直至重复执行达到预设次数,得到超像素分割图像。
3.根据权利要求2所述的方法,其特征在于,所述计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的距离,包括:
计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的灰度差值;
计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的空间距离差值;
根据所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的灰度差值以及空间距离差值,计算得到所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的距离。
4.根据权利要求2所述的方法,其特征在于,重复执行所述计算所述医学影像图像中的目标像素点与所述目标像素点的第二邻域范围内各个种子点的距离以及后续步骤,直至重复执行达到预设次数,所述方法还包括:
将尺寸小于第一阈值的第一超像素与相邻的第一超像素进行合并,得到超像素分割图像。
5.根据权利要求1所述的方法,其特征在于,所述根据所述超像素分割图像中的第一超像素的灰度平均值,将所述超像素分割图像中的第一超像素合并为至少一个第二超像素,得到待标注图像,包括:
计算所述超像素分割图像中的第一超像素的灰度平均值;
从所述超像素分割图像中的第一超像素中选择目标第一超像素;
计算所述目标第一超像素的灰度平均值与相邻第一超像素的灰度平均值之差的绝对值,所述相邻第一超像素为与所述目标第一超像素相邻的第一超像素;
将所述绝对值小于第二阈值对应的相邻第一超像素与所述目标第一超像素进行合并;
重复执行从所述超像素分割图像中的第一超像素中选择目标第一超像素以及后续步骤,直到所述第一超像素均被选择。
6.根据权利要求1所述的方法,其特征在于,所述将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的标注结果图像输入标注修正模型,得到具有第i个分辨率的修正标注结果图像,包括:
提取所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的标注结果图像的第一图像特征,将所述第一图像特征输入标注修正模型中的池化层,得到具有第i个分辨率的修正标注结果图像。
7.根据权利要求1所述的方法,其特征在于,所述将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,得到所述目标第二超像素的修正标注结果,包括:
提取所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像的第二图像特征,将所述第二图像特征输入标注修正模型中的池化层,得到具有第1个分辨率的修正标注结果图像;
根据所述第二图像特征,对所述具有第1个分辨率的修正标注结果图像进行上采样,得到具有100%分辨率的修正标注结果图像作为所述目标第二超像素的修正标注结果图像。
8.根据权利要求1所述的方法,其特征在于,所述将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,重新得到具有第1个至第i个分辨率的修正标注结果图像,包括:
提取所述目标第二超像素对应的医学影像图像、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像的第三图像特征,将所述第三图像特征输入标注修正模型中的池化层,得到具有第1个分辨率的修正标注结果图像;
根据所述第三图像特征,对所述具有第1个分辨率的修正标注结果图像进行上采样,得到具有第2个至第i个分辨率的修正标注结果图像。
9.根据权利要求1、6-8任一项所述的方法,其特征在于,所述标注修正模型是根据训练数据以及所述训练数据对应的标签训练得到的,所述训练数据包括原始图像、原始图像的非标准标注结果图像以及所述原始图像对应的具有第1个至第n个分辨率的非标准标注结果图像,所述训练数据对应的标签为所述原始图像的标准标注结果图像。
10.一种实现医学影像数据标注的装置,其特征在于,所述装置包括:
获取单元,用于获取医学影像图像;
分割单元,用于将所述医学影像图像分割为多个第一超像素,得到超像素分割图像;
合并单元,用于根据所述超像素分割图像中的第一超像素的灰度平均值,将所述超像素分割图像中的第一超像素合并为至少一个第二超像素,得到待标注图像;
标注单元,用于响应于对所述待标注图像中目标第二超像素的选中操作,得到所述目标第二超像素的标注结果图像,所述目标第二超像素为所述第二超像素中的任意一个或多个;
修正单元,用于将所述目标第二超像素对应的医学影像图像以及所述目标第二超像素的标注结果图像输入标注修正模型,得到所述目标第二超像素的修正标注结果图像;
所述修正单元,包括:
生成子单元,用于根据所述目标第二超像素的标注结果图像生成具有第1个至第n个分辨率的标注结果图像,所述第1个至第n个分辨率由小到大排序,且均小于所述目标第二超像素的标注结果图像的分辨率,n为正整数;
第一输入子单元,用于将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的标注结果图像输入标注修正模型,得到具有第i个分辨率的修正标注结果图像,i的初始值为1;
判断子单元,用于判断i+1是否大于n;
第二输入子单元,用于如果i+1大于n,将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,得到所述目标第二超像素的修正标注结果图像;
上采样子单元,用于如果i+1不大于n,第i个分辨率的修正标注结果图像上采样生成第i+1个至第n个分辨率的修正标注结果图像;
第三输入子单元,用于将i的取值加1,将所述目标第二超像素对应的医学影像图像区域、所述目标第二超像素的标注结果图像以及具有第1个至第n个分辨率的修正标注结果图像输入标注修正模型,重新得到具有第1个至第i个分辨率的修正标注结果图像,返回执行判断i+1是否大于n以及后续步骤。
11.一种实现医学影像数据标注的设备,其特征在于,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-9任一项所述的实现医学影像数据标注的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行如权利要求1-9任一项所述的实现医学影像数据标注的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011313820.8A CN112381811B (zh) | 2020-11-20 | 2020-11-20 | 一种实现医学影像数据标注的方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011313820.8A CN112381811B (zh) | 2020-11-20 | 2020-11-20 | 一种实现医学影像数据标注的方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112381811A CN112381811A (zh) | 2021-02-19 |
CN112381811B true CN112381811B (zh) | 2024-05-28 |
Family
ID=74587254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011313820.8A Active CN112381811B (zh) | 2020-11-20 | 2020-11-20 | 一种实现医学影像数据标注的方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112381811B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113516050A (zh) * | 2021-05-19 | 2021-10-19 | 江苏奥易克斯汽车电子科技股份有限公司 | 基于深度学习的场景变换检测方法及装置 |
JP2024065925A (ja) * | 2022-10-31 | 2024-05-15 | キヤノン株式会社 | 画像処理装置及び方法、プログラム及び記憶媒体 |
CN115439474B (zh) * | 2022-11-07 | 2023-01-24 | 山东天意机械股份有限公司 | 一种电力设备故障快速定位方法 |
CN117152138B (zh) * | 2023-10-30 | 2024-01-16 | 陕西惠宾电子科技有限公司 | 一种基于无监督学习的医学图像肿瘤目标检测方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107424159A (zh) * | 2017-07-28 | 2017-12-01 | 西安电子科技大学 | 基于超像素边缘和全卷积网络的图像语义分割方法 |
CN108596923A (zh) * | 2018-05-14 | 2018-09-28 | 江苏哈工智能机器人股份有限公司 | 三维数据的获取方法、装置以及电子设备 |
CN109509197A (zh) * | 2018-09-26 | 2019-03-22 | 沈阳东软医疗***有限公司 | 一种分割感兴趣区域的方法、装置、设备及存储介质 |
CN110148192A (zh) * | 2019-04-18 | 2019-08-20 | 上海联影智能医疗科技有限公司 | 医学影像成像方法、装置、计算机设备和存储介质 |
SE1850481A1 (en) * | 2018-04-24 | 2019-10-25 | Superannotate Ai Inc | Method for merging superpixels |
CN110796670A (zh) * | 2019-10-30 | 2020-02-14 | 北京理工大学 | 一种夹层动脉分割方法及装置 |
CN111598900A (zh) * | 2020-05-18 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 一种图像区域分割模型训练方法、分割方法和装置 |
CN111709483A (zh) * | 2020-06-18 | 2020-09-25 | 山东财经大学 | 一种基于多特征的超像素聚类方法及设备 |
WO2020199593A1 (zh) * | 2019-04-04 | 2020-10-08 | 平安科技(深圳)有限公司 | 图像分割模型训练方法、图像分割方法、装置、设备及介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986119B (zh) * | 2018-07-25 | 2020-07-28 | 京东方科技集团股份有限公司 | 图像分割方法及装置、计算机设备及可读存储介质 |
-
2020
- 2020-11-20 CN CN202011313820.8A patent/CN112381811B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107424159A (zh) * | 2017-07-28 | 2017-12-01 | 西安电子科技大学 | 基于超像素边缘和全卷积网络的图像语义分割方法 |
SE1850481A1 (en) * | 2018-04-24 | 2019-10-25 | Superannotate Ai Inc | Method for merging superpixels |
CN108596923A (zh) * | 2018-05-14 | 2018-09-28 | 江苏哈工智能机器人股份有限公司 | 三维数据的获取方法、装置以及电子设备 |
CN109509197A (zh) * | 2018-09-26 | 2019-03-22 | 沈阳东软医疗***有限公司 | 一种分割感兴趣区域的方法、装置、设备及存储介质 |
WO2020199593A1 (zh) * | 2019-04-04 | 2020-10-08 | 平安科技(深圳)有限公司 | 图像分割模型训练方法、图像分割方法、装置、设备及介质 |
CN110148192A (zh) * | 2019-04-18 | 2019-08-20 | 上海联影智能医疗科技有限公司 | 医学影像成像方法、装置、计算机设备和存储介质 |
CN110796670A (zh) * | 2019-10-30 | 2020-02-14 | 北京理工大学 | 一种夹层动脉分割方法及装置 |
CN111598900A (zh) * | 2020-05-18 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 一种图像区域分割模型训练方法、分割方法和装置 |
CN111709483A (zh) * | 2020-06-18 | 2020-09-25 | 山东财经大学 | 一种基于多特征的超像素聚类方法及设备 |
Non-Patent Citations (5)
Title |
---|
seed:superpixels extracted via energy-driven sampling;van den bergh;international journal of computer;第111卷(第3期);298-314 * |
基于SLIC与分水岭算法的彩色图像分割;候志强;光电工程;第46卷(第6期);78-86 * |
基于条件随机场的医学文本与图像标注模型构建及应用研究;燕杨;中国博士学位论文全文数据库(信息科技辑)(第2015/08期);I138-19 * |
基于深度学习和条件随机场模型的图像语义分割研究;李欢;中国优秀硕士学位论文全文数据库(信息科技辑)(第2019/02期);I138-2225 * |
基于深度级联卷积网络的脑肿瘤精细分割;李晓川;中国优秀硕士学位论文全文数据库(医药卫生科技辑)(第2020/06期);E070-148 * |
Also Published As
Publication number | Publication date |
---|---|
CN112381811A (zh) | 2021-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112381811B (zh) | 一种实现医学影像数据标注的方法、装置及设备 | |
CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
CN107492071B (zh) | 医学图像处理方法及设备 | |
US10885392B2 (en) | Learning annotation of objects in image | |
CN111429421B (zh) | 模型生成方法、医学图像分割方法、装置、设备及介质 | |
CN110678903B (zh) | 用于3d图像中异位骨化的分析的***和方法 | |
CN111091589A (zh) | 基于多尺度监督学习的超声和核磁图像配准方法及装置 | |
CN112132166B (zh) | 一种数字细胞病理图像智能分析方法、***及装置 | |
CN112967236A (zh) | 图像的配准方法、装置、计算机设备和存储介质 | |
CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
US20210248716A1 (en) | Systems and methods for consistent presentation of medical images using deep neural networks | |
CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
CN111223158A (zh) | 心脏冠脉图像的伪影校正方法和可读存储介质 | |
CN116468923A (zh) | 一种基于加权重采样聚类不稳定性的图像强化方法及装置 | |
CN116128942A (zh) | 基于深度学习的三维多模块医学影像的配准方法和*** | |
CN115880358A (zh) | 定位模型的构建方法、影像标志点的定位方法及电子设备 | |
JP7019104B2 (ja) | 閾値の学習方法 | |
CN114627136A (zh) | 一种基于特征金字塔网络的舌象分割与对齐方法 | |
CN112785580A (zh) | 确定血管流速的方法及装置 | |
CN107610105B (zh) | 定位roi的方法、装置、设备及机器可读存储介质 | |
Sreelekshmi et al. | A Review on Multimodal Medical Image Fusion | |
CN113822904B (zh) | 一种图像标注装置、方法及可读存储介质 | |
Rickmann et al. | Vertex Correspondence in Cortical Surface Reconstruction | |
Punitha et al. | Innovations in CT Angiography Image Analysis: Machine Learning Methods for Plaque Segmentation | |
KR20080020586A (ko) | 두부계측 방사선사진 상에 계측점을 지정하는 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |