CN113822904A - 一种图像标注装置、方法及可读存储介质 - Google Patents

一种图像标注装置、方法及可读存储介质 Download PDF

Info

Publication number
CN113822904A
CN113822904A CN202111034189.2A CN202111034189A CN113822904A CN 113822904 A CN113822904 A CN 113822904A CN 202111034189 A CN202111034189 A CN 202111034189A CN 113822904 A CN113822904 A CN 113822904A
Authority
CN
China
Prior art keywords
image
training
standard
classification
case
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111034189.2A
Other languages
English (en)
Other versions
CN113822904B (zh
Inventor
马斌
阎淑敏
郑旭
王冠
牛牧
席梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Alemu Health Technology Co ltd
Original Assignee
Shanghai Alemu Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Alemu Health Technology Co ltd filed Critical Shanghai Alemu Health Technology Co ltd
Priority to CN202111034189.2A priority Critical patent/CN113822904B/zh
Publication of CN113822904A publication Critical patent/CN113822904A/zh
Application granted granted Critical
Publication of CN113822904B publication Critical patent/CN113822904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像标注装置、方法及可读存储介质，本发明通过对大量的牙齿曲断X光片进行图像处理生成训练集，基于深度学习网络模型对训练集进行深度学习，训练后的模型能分割、标注图像中病变牙齿信息，将信息显示在可读存储介质。减少了医生的视觉疲劳，具有易识别、准确率高的优势。

Description

一种图像标注装置、方法及可读存储介质
技术领域
本发明涉及计算机图像处理领域，尤其是用于分割并标注病例图像上的牙齿信息的一种图像标注装置、方法及可读存储介质。
背景技术
牙齿曲断X光片是牙齿曲面断层X光片的简称，临床上通过对患者的口腔进行小剂量曲面断层X光拍摄生成，通过对牙齿曲断X光片的分析，能够判断牙齿脱落、龋齿等病变情况。
临床上长期以来对牙齿曲断X光片的分析都是通过肉眼直接观看，但是口腔内牙齿很多，排列情况错综复杂，在黑白图像的牙齿曲断X光片中去分辨不同牙齿的轮廓，并进行固定标号，容易发生错标、漏标等现象，在很大程度上增加了分析、判断牙齿病变的困难程度。
计算机领域的图像实例分割技术应用在牙齿图像辅诊成为越来越多人追捧技术，但由于口腔内牙齿结构复杂，直接将现有的图像实例分割技术运用到牙齿曲断X光片的分割、标注上，效果有很大局限性，很难准确、高效地自动分割牙齿图像。
基于以上口腔医疗领域中存在的问题，需要一种能够快速、准确地对牙齿曲断X光片进行图像分割、标号等操作的装置、方法及可读存储介质。
发明内容
本发明所要解决的问题是弥补上述现有技术的缺陷，提供一种能够快速、准确地对从牙齿曲断X光片中分割、标注病变牙齿的装置、方法及可读存储介质。
本发明的技术问题可以通过以下技术方案解决：
本发明的一个方面提供一种图像标注装置，用于分割并标注病例图像上的牙齿信息，所述病例图像为病例的牙齿曲断X光片图像，包括：
训练集确定单元，被配置为基于多个训练用原始图像，确定训练数据集，所述训练用原始图像为用于训练的病例的牙齿曲断X光片图像；
训练单元，被配置为通过所述训练数据集对图像分类模型进行训练，得到训练后的图像分类模型；
分割标注单元，被配置为利用所述训练后的图像分类模型分割并标注所述病例图像，生成辅助诊断图像，所述辅助诊断图像为包含标注及着色信息的所述病例的牙齿曲断X光片图像；以及，
显示单元，被配置为显示所述多个训练用原始图像、所述训练数据集、所述病例图像及所述辅助诊断图像。
进一步地，所述训练集确定单元包括：
图像分割模块，被配置为对所述多个训练用原始图像进行人工描迹，确定所述多个训练用原始图像的牙齿轮廓信息；
类别标定模块，被配置为根据所述多个训练用原始图像的牙齿轮廓信息，生成所述多个训练用原始图像的分类标号数据文件，所述分类标号数据文件包括N个图像类别对应的轮廓信息及病变信息，其中N为预先确定的图像类别的数量，所述图像类别的数量根据牙齿、组织结构的位置、病变情况以及背景和前景的位置信息确定；
训练集输出模块，被配置为输出训练数据集，所述训练数据集包括所述多个训练用原始图像及所述多个训练用原始图像的分类标号数据文件。
进一步地，所述训练单元包括：
图像预处理模块，被配置为根据所述训练数据集确定多个批次的训练用标准图像集，每批所述训练用标准图像集包括K个M×M像素的训练用标准图像，其中K为每个批次的训练用标准图像集的图像数量，M×M为每个训练用标准图像的像素数量；
分类蒙版确定模块，被配置为基于所述训练数据集确定每个训练用标准图像对应的分类蒙版Cij，i＝1...M，j＝1....M，其中，Cij为所述每个训练用标准图像第(i，j)个像素的分类标号；
损失函数权重蒙版确定模块，被配置为根据所述分类蒙版确定每个训练用标准图像对应的损失函数蒙版wij，i＝1...M，j＝1....M，其中，wij为每个所述训练用标准图像第(i，j)个像素的损失函数权重，所述wij根据所述第(i，j)个像素属于的图像类别所包括的面积与背景所包括的面积比值的倒数确定；
模型训练模块，被配置为：将所述多个批次的训练用标准图像集依次输入所述图像分类模型进行迭代训练，当平均加权损失函数小于预设值或所述多个批次的训练用标准图像集全部完成训练后停止训练，得到训练后图像分类模型。
进一步地，所述图像分类模型为基于卷积网络的多层深度学习模型；所述图像分类模型的输出结果为K个分类概率矩阵，所述分类概率矩阵为M×M×N的矩阵，代表所述训练用标准图像每个像素分别属于所述N个分类的概率。
进一步地，所述平均加权损失函数由以下公式确定：
Figure BDA0003246320370000031
其中，Ewright为平均加权损失函数，Eij为每个所述标准训练图像的第(i，j)个像素的标准损失函数，Eij通过所述图像分类模型的输出结果和所述分类蒙版Cij计算得到，
Figure BDA0003246320370000032
为每个所述标准训练图像的输出结果的加权损失函数。
进一步地，所述将多个批次的训练用标准图像集依次输入所述图像分类模型进行迭代训练，包括利用反向传播算法计算反向传播梯度并更新所述图像分类模型各层权重参数，并输入新的批次的所述训练用标准图像集进行正向传播；
所述利用反向传播算法计算反向传播梯度并更新所述图像分类模型各层权重参数通过以下步骤实现：
当训练批次不等于I的整数倍时，不进行清空所述反向传播梯度并更新所述图像分类模型各层权重参数的操作，其中，I为预设的延迟清空所述反向传播梯度的批次数；
当训练批次等于I的整数倍时，清空所述反向传播梯度并将所述平均加权损失函数Ewrighi除以I。
进一步地，分割标注单元包括：
图像处理模块，被配置为通过以下步骤得到病例图像的分类概率矩阵：
将所述病例图像进行处理，转换为M×M的标准病例图像，
将所述标准病例图像输入所述训练后图像分类模型，得到所述标准病例图像的分类概率矩阵；
类别判定模块，被配置为根据所述标准病例图像的分类概率矩阵，确定类别判定阈值，根据所述类别判定阈值判定所述标准病例图像每个像素的分类标号；
轮廓分割模块，被配置为通过以下步骤对所述标准病例图像进行轮廓分割：
去除所述标准病例图像的背景类别所对应的像素区域，
基于所述标准病例图像每个像素的分类标号绘制所述标准病例图像每个牙齿的轮廓，
基于所述标准病例图像每个像素的分类标号对所述标准病例图像的每个牙齿内部进行着色及标号，生成所述辅助诊断图像。
进一步地，所述类别判定阈值通过最小二乘法确定。
本发明的另一个方面提供一种训练并使用上述图像标注装置分割并标注病例图像上的牙齿信息的方法，所述病例图像为病例的牙齿曲断X光片图像，该方法通过以下步骤实现：
S1确定训练集，基于多个训练用原始图像，确定训练数据集，所述训练用原始图像为用于训练的病例的牙齿曲断X光片图像；
S2训练，通过所述训练数据集对图像分类模型进行训练，得到训练后图像分类模型；
S3分割标注，利用所述训练后图像分类模型分割并标注所述病例图像，生成辅助诊断图像，所述辅助诊断图像为包含标注及着色信息的所述病例的牙齿曲断X光片图像；
S4显示，显示所述多个训练用原始图像、所述训练数据集、所述病例图像及所述辅助诊断图像。
进一步地，在所述S1确定训练集中，具体包括以下步骤：
S101图像分割，对所述多个训练用原始图像进行人工描迹，确定所述多个训练用原始图像的牙齿轮廓信息；
S102类别标定，根据所述多个训练用原始图像的牙齿轮廓信息，生成所述多个训练用原始图像的分类标号数据文件，所述分类标号数据文件包括N个图像类别对应的轮廓信息及病变信息，其中N为预先确定的图像类别的数量，所述图像类别的数量根据牙齿、组织结构的位置、病变情况以及背景和前景的位置信息确定；
S103训练集输出，输出多个训练用原始图像及所述多个训练用原始图像的分类标号数据文件。
进一步地，在所述S2训练中，具体包括以下步骤：
S201图像预处理，根据所述训练数据集确定多个批次的训练用标准图像集，每批所述训练用标准图像集包括K个M×M像素的训练用标准图像，其中K为每个批次的训练用标准图像集的图像数量，M×M为每个训练用标准图像的像素数量；
S202确定图像分类蒙版，根据所述训练数据集确定每个训练用标准图像对应的分类蒙版Cij，i＝1...M，j＝1....M，其中，Cij为所述每个训练用标准图像第(i，j)个像素的分类标号；
S203确定损失函数权重蒙版，根据所述分类蒙版确定每个训练用标准图像对应的损失函数蒙版wij，i＝1...M，j＝1....M，其中，wij为每个所述训练用标准图像第(i，j)个像素的损失函数权重，所述wij根据所述第(i，j)个像素属于的图像类别所包括的面积与背景所包括的面积比值的倒数确定；
S204模型训练，将所述多个批次的训练用标准图像集依次输入所述图像分类模型进行迭代训练，当平均加权损失函数小于预设值或所述多个批次的训练用标准图像集全部完成训练后停止训练，得到训练后图像分类模型；
进一步地，所述图像分类模型为基于卷积网络的多层深度学习模型；所述图像分类模型的输出结果为K个分类概率矩阵，所述分类概率矩阵为M×M×N的矩阵，代表所述训练用标准图像每个像素分别属于所述N个分类的概率。
进一步地，所述平均加权损失函数由以下公式确定：
Figure BDA0003246320370000051
其中，Ewright为平均加权损失函数，Eij为每个所述标准训练图像的第(i，j)个像素的标准损失函数，通过所述图像分类模型的输出结果和所述分类蒙版Cij计算得到，
Figure BDA0003246320370000052
为每个所述标准训练图像的输出结果的加权损失函数。
进一步地，将所述多个批次的训练用标准图像集依次输入所述图像分类模型进行迭代训练，包括利用反向传播算法计算反向传播梯度并更新所述图像分类模型各层权重参数，并输入新的批次的所述训练用标准图像集进行正向传播；
所述利用反向传播算法计算反向传播梯度并更新所述图像分类模型各层权重参数通过以下步骤实现：
当训练批次不等于I的整数倍时，不进行清空所述反向传播梯度并更新所述图像分类模型各层权重参数的操作，所述I为延迟清空所述反向传播梯度的批次数；
当训练批次等于I的整数倍时，清空所述反向传播梯度并将所述平均加权损失函数Ewright除以I。
进一步地，在所述S3分割标注中，具体包括以下步骤：
S301图像处理，将所述病例图像进行处理，转换为M×M的标准病例图像，将所述标准病例图像输入所述训练后图像分类模型，得到所述标准病例图像的分类概率矩阵；
S302类别判定，根据所述标准病例图像的分类概率矩阵，确定类别判定阈值，根据所述类别判定阈值判定所述标准病例图像每个像素的分类标号；
S303轮廓分割，通过以下步骤对所述标准病例图像进行轮廓分割：
去除所述标准病例图像的背景类别所对应的像素区域，
基于所述标准病例图像每个像素的分类标号绘制所述标准病例图像每个牙齿的轮廓，
基于所述标准病例图像每个像素的分类标号对所述标准病例图像的每个牙齿内部进行着色及标号，生成所述辅助诊断图像。
进一步地，所述类别判定阈值通过最小二乘法确定。
本发明的又一个方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述训练并使用上述图像分割标注装置分割并标注病例图像的方法。
与现有技术相比，本发明达到的有益效果是：
1、可以对牙齿曲断X光片不同区域着色，有明显病变的牙齿，可以直接在图像上进行标记，便于医生识别，减少牙科医生看曲断X光片的干扰因素。
2、基于残差网络进行***训练，通过叠加梯度信息，可以达到不增加计算机GPU显存的基础上，增大牙齿曲断X光片训练批数量的效果，使***收敛更快速、稳定。
3、在语义分割网络中，由于对损失函数的算法进行优化，可以达到数据增强的效果，提高了图像分割的准确率。
4、进行***训练优化后所输出保存的深度学习模型，可以排除非牙齿的背景信息，干扰噪声少了很多，在进行语义分割时，所分割出的牙齿多边形更加准确，准确率能提高9.3％。
附图说明
图1为根据本发明实施例的一种图像标注装置的整体构架示意图；
图2为本发明实施例的一个具体的已完成人工描迹的训练用原始图像；
图3为本发明实施例的一个具体的训练用原始图像的标号信息；
图4为本实施例的一个具体的病例图像的牙齿轮廓分割结果；
图5为基于现有技术的语义分割方法进行牙齿轮廓分割的结果；
图6为本实施例的一个具体的病例图像经过着色及标号后所生成的辅助诊断图像；
图7为本实施例的具体步骤示意图；
图8为本实施例S1确定训练集的具体步骤示意图；
图9为本实施例S2训练的具体步骤示意图；
图10为本实施例S3分割标注的具体步骤示意图。
具体实施方式
以下，基于优选的实施方式并参照附图对本发明进行进一步说明。
此外，为了方便理解，放大(厚)或者缩小(薄)了图纸上的各种构件，但这种做法不是为了限制本发明的保护范围。
单数形式的词汇也包括复数含义，反之亦然。
在本发明实施例中的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，本发明的描述中，为了区分不同的单元，本说明书上用了第一、第二等词汇，但这些不会受到制造的顺序限制，也不能理解为指示或暗示相对重要性，其在发明的详细说明与权利要求书上，其名称可能会不同。
本发明实施例提供一种图像标注装置，用于分割并标注病例图像上的牙齿信息，所述病例图像为病例的牙齿曲断X光片图像，图1为本实施例的图像标注装置的***架构图。
如图1所示，本发明实施例的图像标注装置包括：
训练集确定单元，被配置为基于多个训练用原始图像，确定训练数据集，所述训练用原始图像为用于训练的病例的牙齿曲断X光片图像；
训练单元，被配置为通过所述训练数据集对图像分类模型进行训练，得到训练后的图像分类模型；
分割标注单元，被配置为利用所述训练后的图像分类模型分割并标注所述病例图像，生成辅助诊断图像，所述辅助诊断图像为包含标注及着色信息的所述病例的牙齿曲断X光片图像；以及，
显示单元，被配置为显示所述多个训练用原始图像、所述训练数据集、所述病例图像及所述辅助诊断图像。
以下，对本实施例的训练集确定单元进行详细说明，训练集确定单元包括：
图像分割模块，被配置为对所述多个训练用原始图像进行人工描迹，确定所述多个训练用图像的牙齿轮廓信息。
具体地，在本发明的实施例中，由具有经验的人员利用标记绘图软件对多个训练用原始图像依次进行人工描迹，确定多个训练用原始图像的牙齿轮廓信息，具体操作步骤为：通过人工肉眼进行观察，对牙齿曲断X光片中的每颗牙齿进行打点标记，将每颗牙齿对应的牙冠和牙根打点标记在一个轮廓内，每颗牙齿轮廓由点连接成封闭区域，每个点都有其对应一个x、y坐标轴，最终得到多个训练用原始图像的牙齿轮廓信息。
在本发明的一些实施例中，多个训练用原始图像可以是从病例数据库***中取得的牙齿曲断X光片，也可以是来自口腔医院接诊的患者的电子病历照片，并可以将患者病例照片的临床诊断结果作为数据标注依据的标准；多个训练用原始图像的存储格式可以是JPG或其他标准图像格式。
图2示出本发明实施例的一个具体的已完成人工描迹的训练用原始图像。
训练集确定单元还包括：
类别标定模块，被配置为根据所述原始牙齿轮廓信息，生成所述多个训练用原始图像的分类标号数据文件，所述分类标号数据文件包括N个图像类别对应的轮廓信息及病变信息，其中N为预先确定的图像类别的数量，所述图像类别的数量根据牙齿、组织结构的位置、病变情况以及背景和前景的位置信息确定。
具体地，在本发明的本实施例中，根据人体牙齿及组织结构的位置、数量，典型病变的情况以及背景和前景的位置信息预先确定牙齿曲断X光片所包含的N个类别，然后按照预先确定的N个类别对上述完成人工描迹的多个训练用原始图像进行人工分类及标号，使得每颗牙齿轮廓内都标有其对应类别的数字标号，具体的标号过程为，结合临床诊断结果对被观察对象图像中的牙齿进行分类，需要说明的是，根据诊断结果，一颗牙齿可有多能会有多种病变类型描述，即包含属于多个类别的区域，相应的，一颗牙齿的不同区域可能会对应多个分类号，因此，N一般大于牙齿的数量。图3示出本发明实施例的一个具体的训练用原始图像的标号信息，其中，预先确定的类别数量为52个。在本发明的一些实施例中，N的数量还可以根据组织结构的位置、病变情况等选取更大的值。
对上述训练用原始图像进行人工分类与标号后，类别标定模块根据上述每个牙齿的标号信息生成多个训练用原始图像的分类标号数据文件。在本申请的实施例中，分类标号数据文件可以是json格式的文件，对每个训练用原始图像进行人工分类及标号后，以N个牙号作为key存储，每个key下有对应牙齿的轮廓数据和病变数据，从而得到该训练用原始图像的分类标号数据文件。例如，将图3所示的一个具体的训练用原始图像的以01号牙、02号牙等牙号作为key存储，每个key下有与牙号对应牙齿的轮廓数据和病变类型数据，从而得到该训练用原始图像的分类标号数据文件。
类别标定模块依次对多个训练用原始图像进行人分类及标号，并生成多个训练用原始图像的分类标号文件。
训练集确定单元还包括：
训练集输出模块，被配置为输出训练数据集，所述训练数据集包括所述多个训练用原始图像及所述多个训练用原始图像的分类标号数据文件。
具体地，在本发明的实施例中，训练集输出模块将上述多个训练用原始图像和与每个训练用原始图像对应的json格式的分类标号文件作为训练数据集输出，供训练单元进行训练。
以下对本实施例的训练单元进行详细介绍，所述训练单元包括：
图像预处理模块，被配置为根据所述训练数据集的多个训练用图像确定用于训练的多个批次的训练用标准图像集，每批所述训练用标准图像集包括K个M×M的训练用标准图像，其中K为每个批次的所述训练用标准图像集的图像数量，M×M为每个训练用标准图像的像素数量；
具体地，在本实施例中，图像预处理模块对所述多个训练用原始图像依次进行扭转、平移、旋转、缩放等操作，使其统一调整为M×M的训练用标准图像，M为横向及纵向的像素数；此外，还可以对训练用原始图像进行高斯模糊等操作，以加强分割能力。
为了提高训练速度，图像预处理模块将上述多个训练用标准图像进行分为多个批次的训练用标准图像集，其中每批训练用标准图像集包括K个训练用标准图像。
在本实施例的一种具体的实现方式中，图像预处理模块将多个训练用标准图像统一调整为800×800像素的训练用标准图像，并将每24个训练用标准图像划分为同一批训练用标准图像集，最终得到多个批次的训练用标准图像集。
训练单元还包括：
分类蒙版确定模块，被配置为基于所述训练数据集确定每个训练用标准图像对应的分类蒙版Cij，i＝1...M，j＝1....M，其中，Cij为所述每个训练用标准图像第(i，j)个像素的分类标号。
具体地，每个分类蒙版均对应于一个训练用标准图像，分类蒙版的大小与训练用标准图像的大小相同，用于保存训练用标准图像的每一个像素所属于的分类标号，即：分类蒙版Cij，i＝1...M，j＝1....M为M×M矩阵，每个矩阵元素Cij代表该训练用标准图像第(i，j)个像素所属的类别标号。
在申请的实施例中，分类蒙版确定模块可以通过以下步骤确定每个训练用标准图像的分类蒙版：
第一步，生成一个元素值全部为0的M×M矩阵作为初始分类蒙版；
第二步，读取训练用标准图像对应的分类标号数据文件；
第三步，获取分类标号数据文件中01号牙对应的闭合区域的坐标信息；
第四步，对上述闭合区域的坐标信息进行与训练用标准图像生成过程同样的扭转、平移、旋转、缩放等操作，以获得01号牙在训练用标准图像上对应的闭合区域的坐标信息，在初始分类蒙版上将对应坐标的元素值标为标号01；
第五步，依次对02号牙到第N号牙重复进行第三步、第四步的操作，最终生成该训练用标准图像的分类蒙版。
分类蒙版Cij的每一个元素值代表了该训练用标准图像的第(i，j)个像素经人工标定确定的所述类别信息，用于与训练结果进行比较以得到标准的损失函数。
训练单元还包括：
损失函数权重蒙版确定模块，被配置为根据所述分类蒙版确定每个训练用标准图像对应的损失函数蒙版wij，i＝1...M，j＝1....M，其中，wij为每个所述训练用标准图像第(i，j)个像素的损失函数权重，所述wij根据所述第(i，j)个像素属于的图像类别所包括的面积与背景所包括的面积比值的倒数确定。
具体地，每个损失函数权重蒙版对应于一个训练用标准图像，分类蒙版的大小与训练用标准图像的大小相同，用于保存训练用标准图像的每一个像素所属于的损失函数权重，即：wij，i＝1...M，j＝1....M为M×M矩阵，每个矩阵元素wij代表该训练用标准图像第(i，j)个像素的损失函数权重。
在申请的实施例中，损失函数权重蒙版确定模块根据每个训练用标准图像的分类蒙版计算得到每个分类标号所包括的面积，计算得到该面积与背景所包括的面积比值的倒数，将属于该类别标号的像素(i，j)所对应的权重wij设为该倒数。
损失函数权重蒙版用于对训练结果的标准损失函数进行加权处理，由于牙齿曲断X光片中各个类别所包括的区域大小差异巨大，部分病变区域面积较小，其对损失函数的贡献较小，进而导致无法通过训练提升对其的分割能力。通过将每个像素的损失函数权重设为该像素所述类别的面积与背景面积比值的倒数，可以有效地提高面积较小的类别在损失函数计算中的权重，进而可以大大提升对于某些小面积的病变组织的分割能力。
训练单元还包括：
模型训练模块，被配置为：将所述多个批次的训练用标准图像集依次输入所述图像分类模型进行迭代训练，当平均加权损失函数小于预设值或所述多个批次的训练用标准图像集全部完成训练后停止训练，得到训练后图像分类模型。
进一步地，所述图像分类模型为基于卷积网络的多层深度学习模型；所述图像分类模型的输出结果为K个分类概率矩阵，所述分类概率矩阵为M×M×N的矩阵，代表所述训练用标准图像每个像素分别属于所述N个分类的概率。
进一步地，所述平均加权损失函数由以下公式确定：
Figure BDA0003246320370000111
其中，Ewright为平均加权损失函数，Eij为每个所述标准训练图像的第(i，j)个像素的标准损失函数，Eij通过所述图像分类模型的输出结果和所述分类蒙版Cij计算得到，
Figure BDA0003246320370000112
为每个所述标准训练图像的输出结果的加权损失函数。
进一步地，所述将多个批次的训练用标准图像集依次输入所述图像分类模型进行迭代训练，包括利用反向传播算法计算反向传播梯度并更新所述图像分类模型各层权重参数，并输入新的批次的所述标准图像集进行正向传播。
具体地，在本实施例中，模型训练模块用于训练图像分类模型，图像分类模型可以是基于卷积网络的多层深度学习模型，具体的训练步骤为：
第一步，模型训练模块每次将一个训练用标准图像集的K个训练用标准图像同时输入图像分类模型，图像分类模型的输出结果为对应的K个分类概率矩阵，每个分类概率矩阵可以是M×M×N矩阵，即对每个训练用标准图像的每个像素生成一个1×N的向量，对应于该像素分别属于N个分类的概率。
在本实施例的一个具体实施方式中，图像分类模型可以是10层卷积残差网络，前5层为特征提取层，第1层的特征图数量(Feature Map)为1024个，第2层至第5层的特征图数量逐层减半(即：1024-＞512-＞256-＞128-＞64)，后5层为特征匹配层，第6层的特征图数量为64，第7层至第10层的特征图数量逐层加倍(即：64-＞128-＞256-＞512-＞1024)；图像分类模型还可以包括SoftMax层，用于对输出结果进行正规化；将每一批的24个800×800的训练用标准图像输入图像分类模型，输出为24个800×800×52的矩阵，代表24个训练用标准图像的分割结果，每个分割结果包括800×800个1×52的向量，其每个向量元素代表该像素属于分别属于预设的52个类别的概率。
第二步，利用图像分类模型的输出结果、分类蒙版Cij和损失函数权重蒙版wij，根据以下公式计算平均加权损失函数：
Figure BDA0003246320370000113
其中，Ewright为平均加权损失函数，Eij为每个所述标准训练图像的第(i，j)个像素的标准损失函数，Eij通过所述图像分类模型的输出结果和所述分类蒙版Cij计算得到，
Figure BDA0003246320370000121
为每个所述标准训练图像的输出结果的加权损失函数。
在本实施例的一个具体实施方式中，利用输出的24个800×800×52的矩阵和通过人工标定确定的分类蒙版Cij可以得到标准的损失函数Eij，其中标准损失函数Eij可以是交叉熵损失函数(Cross-Entropy Loss)、均方差损失函数(Mean Squared Error)或其他用于评价深度学***均，从而得到该批次训练的输出结果的加权损失函数：
Figure BDA0003246320370000122
本实施例中，利用损失函数权重蒙版对标准损失函数进行加权平均，损失函数权重与每个类别所包括面积的倒数相关，从而有效地增加了图像分类模型对于牙齿的某些局部或细微的病变区域的分割能力。
第三步，基于平均加权损失函数，利用反向传播算法计算反向传播梯度并更新图像分类模型各层的权重参数。
第四步，重复执行第一步至第三步的训练步骤，直到平均加权损失函数小于预设的阈值或全部批次的训练用标准图像集训练完毕，将此时得到的图像分类模型存储为训练后图像分类模型。
在本实施例的一个具体实施方式中，预设的阈值为0.3，初始训练学***均损失函数Ewright小于0.3或全部训练批次训练完成时结束训练，将此时的图像分类模型作为训练后图像分类模型进行保存。
在本实施例的一种优化的实施方式中，为了在现有的训练环境下加快训练速度，使用以下方式计算反向传播梯度并更新所述图像分类模型各层权重参数：
当训练批次不等于I的整数倍时，不进行清空所述反向传播梯度并更新所述图像分类模型各层权重参数的操作，其中，I为预设的延迟清空所述反向传播梯度的批次数；
当训练批次等于I的整数倍时，清空所述反向传播梯度并将所述平均加权损失函数Ewright除以I。
具体地，在该实施方式中，I的取值为4，每个批次的训练用标准图像为24，即每经过4个批次共96个训练用标准图像的训练后再清空网络梯度并更新各层权重，同时将加权平均损失函数Ewright除以4。
在本实施例中，在进行反向传播时可以采用延迟清空并叠加梯度信息的方式，达到多个批次同时训练的效果。梯度下降更新权重时，通过每经过I个批次延后清空网络梯度，加权平均损失函数同样除以I，在不增加GPU显存基础上，实现了增加同批次训练用标准图像数量，达到***收敛更快速、更稳定的更优效果。
以下对本实施例的分割标注单元进行详细介绍，分割标注单元包括：
图像处理模块，被配置为通过以下步骤得到病例图像的分类概率矩阵：
第一步，将所述病例图像进行处理，转换为M×M的标准病例图像；
第二步，将所述标准病例图像输入所述训练后图像分类模型，得到所述标准病例图像的分类概率矩阵。
在本实施例的一个具体的实施方式中，病例图像为病例的牙齿曲断X光片，图像处理模块对病例图像进行扭转、平移、旋转、缩放等处理，使其转换为800×800的标准病例图像，以适配于训练后的图像分类模型；将处理后的标准病例图像输入训练后的图像分类模型进行分类，得到病例图像的分类概率矩阵，该分类概率矩阵的数据结构为800×800×52的矩阵，包含800×800个1×52向量，每个向量的52个元素值分别代表该像素属于52类别的概率。
分割标注单元还包括：
类别判定模块，被配置为根据所述标准病例图像的分类概率矩阵，确定类别判定阈值，根据所述类别判定阈值判定所述标准病例图像每个像素的分类标号；
优选地，所述类别判定阈值通过最小二乘法确定。
在本实施例的一个具体实施方式中，基于800×800×52的的分类概率矩阵，利用最小二乘法求得类别判定阈值，利于该阈值对800×800个像素所述类别进行判定，将其对应的1×52向量中大于判定阈值的元素值所属类别确定为该像素的类别，如该1×52向量中所有元素值均不超过判定阈值，则判定为背景。
分割标注单元还包括：
轮廓分割模块，被配置为通过以下步骤对所述标准病例图像进行轮廓分割：
第一步，去除所述标准病例图像的背景类别所对应的像素区域，
第二步，基于所述标准病例图像每个像素的分类标号绘制所述标准病例图像每个牙齿的轮廓，
第三步，基于所述标准病例图像每个像素的分类标号对所述标准病例图像的每个牙齿内部进行着色及标号，生成所述辅助诊断图像。
在本实施例中，轮廓分割模块首先利用类别判定模块生成的标准病例图像每个像素的类别标号，进行去除背景操作，然后基于每个像素的分类标号绘制每个牙齿的轮廓，最后在每个牙齿内部进行着色及标号，生成辅助诊断图像。
图4为本实施例的一个具体的病例图像的牙齿轮廓分割结果，图5为基于现有技术的语义分割方法进行牙齿轮廓分割的结果(图中矩形框内部分)，通过比较可以看出，本实施例的技术方案在将非牙齿的背景干扰因素去除的基础上，通过打点标记方式将目标牙齿图像进行准确标记，和现有技术中利用轮廓矩形分类方法相比,能够有效地提高牙齿图像分割结果的准确性。
图6为本实施例的一个具体的病例图像经过着色及标号后所生成的辅助诊断图像。
在本实施例中，显示单元可以是台式电脑的显示器或笔记本电脑、平板电脑等智能设备的屏幕，用于显示所述多个训练用原始图像、所述训练数据集、所述病例图像及所述辅助诊断图像。
本发明的实施例另一个方面提供一种训练并使用上述图像标注装置分割并标注病例图像上的牙齿信息的方法，所述病例图像为病例的牙齿曲断X光片图像，图7为本实施例的具体步骤示意图，如图7所示，该方法通过以下步骤实现：
S1确定训练集，基于多个训练用原始图像，确定训练数据集，所述训练用原始图像为用于训练的病例的牙齿曲断X光片图像。
S2训练，通过所述训练数据集对图像分类模型进行训练，得到训练后图像分类模型。
S3分割标注,利用所述训练后图像分类模型分割并标注所述病例图像，生成辅助诊断图像，所述辅助诊断图像为包含标注及着色信息的所述病例的牙齿曲断X光片图像。
S4显示，显示所述多个训练用原始图像、所述训练数据集、所述病例图像及所述辅助诊断图像。
图8为本实施例S1确定训练集的具体步骤示意图，如图8所示，以下对本实施例的S1确定训练集进行详细说明，具体包括以下步骤：
S101图像分割，对所述多个训练用原始图像进行人工描迹，确定所述多个训练用原始图像的牙齿轮廓信息。
S102类别标定，根据所述多个训练用原始图像的牙齿轮廓信息，生成所述多个训练用原始图像的分类标号数据文件，所述分类标号数据文件包括N个图像类别对应的轮廓信息及病变信息，其中N为预先确定的图像类别的数量，所述图像类别的数量根据牙齿、组织结构的位置、病变情况以及背景和前景的位置信息确定。
S103训练集输出，输出多个训练用原始图像及所述多个训练用原始图像的分类标号数据文件。
图9为本实施例S2训练的具体步骤示意图，如图9所示，在所述S2训练中，具体包括以下步骤：
S201图像预处理，根据所述训练数据集确定多个批次的训练用标准图像集，每批所述训练用标准图像集包括K个M×M像素的训练用标准图像，其中K为每个批次的训练用标准图像集的图像数量，M×M为每个训练用标准图像的像素数量。
S202确定图像分类蒙版，根据所述训练数据集确定每个训练用标准图像对应的分类蒙版Cij，i＝1...M，j＝1....M，其中，Cij为所述每个训练用标准图像第(i，j)个像素的分类标号。
S203确定损失函数权重蒙版，根据所述分类蒙版确定每个训练用标准图像对应的损失函数蒙版wij，i＝1...M，j＝1....M，其中，wij为每个所述训练用标准图像第(i，j)个像素的损失函数权重，所述wij根据所述第(i，j)个像素属于的图像类别所包括的面积与背景所包括的面积比值的倒数确定。
S204模型训练，将所述多个批次的训练用标准图像集依次输入所述图像分类模型进行迭代训练，当平均加权损失函数小于预设值或所述多个批次的训练用标准图像集全部完成训练后停止训练，得到训练后图像分类模型。
具体的，所述图像分类模型为基于卷积网络的多层深度学习模型；所述图像分类模型的输出结果为K个分类概率矩阵，所述分类概率矩阵为M×M×N的矩阵，代表所述训练用标准图像每个像素分别属于所述N个分类的概率。
其中，所述平均加权损失函数由以下公式确定：
Figure BDA0003246320370000151
其中，Ewright为平均加权损失函数，Eij为每个所述标准训练图像的第(i，j)个像素的标准损失函数，通过所述图像分类模型的输出结果和所述分类蒙版Cij计算得到，
Figure BDA0003246320370000152
为每个所述标准训练图像的输出结果的加权损失函数。
具体的，将所述多个批次的训练用标准图像集依次输入所述图像分类模型进行迭代训练，包括利用反向传播算法计算反向传播梯度并更新所述图像分类模型各层权重参数，并输入新的批次的所述标准图像集进行正向传播。
其中，所述利用反向传播算法计算反向传播梯度并更新所述图像分类模型各层权重参数通过以下步骤实现：
当训练批次不等于I的整数倍时，不进行清空所述反向传播梯度并更新所述标注分割模型各层权重参数的操作，所述I为延迟清空所述反向传播梯度的批次数；
当训练批次等于I的整数倍时，清空所述反向传播梯度并将所述平均加权损失函数Ewright除以I。
图10为本实施例S3分割标注的具体步骤示意图，如图10所示，在所述S3分割标注中，具体包括以下步骤：
S301图像处理，将所述病例图像进行处理，转换为M×M的标准病例图像，将所述标准病例图像输入所述训练后图像分类模型，得到所述标准病例图像的分类概率矩阵；
S302类别判定，根据所述标准病例图像的分类概率矩阵，确定类别判定阈值，根据所述类别判定阈值判定所述标准病例图像每个像素的分类标号；
S303轮廓分割，通过以下步骤对所述标准病例图像进行轮廓分割：
去除所述标准病例图像的背景类别所对应的像素区域；
基于所述标准病例图像每个像素的分类标号绘制所述标准病例图像每个牙齿的轮廓；
基于所述标准病例图像每个像素的分类标号对所述标准病例图像的每个牙齿内部进行着色及标号，生成所述辅助诊断图像。
具体的，所述类别判定阈值通过最小二乘法确定。
本发明的又一个方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述训练并使用上述图像分割标注装置分割并标注病例图像的方法。
以上对本发明的具体实施方式进行了详细介绍，对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰和改进，这些修饰和改进也都属于本发明权利要求的保护范围。

Claims (17)

1.一种图像标注装置，用于分割并标注病例图像上的牙齿信息，所述病例图像为病例的牙齿曲断X光片图像，其特征在于，包括：
训练集确定单元，被配置为基于多个训练用原始图像，确定训练数据集，所述训练用原始图像为用于训练的病例的牙齿曲断X光片图像；
训练单元，被配置为通过所述训练数据集对图像分类模型进行训练，得到训练后图像分类模型；
分割标注单元，被配置为利用所述训练后图像分类模型分割并标注所述病例图像，生成辅助诊断图像，所述辅助诊断图像为包含标注及着色信息的所述病例的牙齿曲断X光片图像；以及，
显示单元，被配置为显示所述多个训练用原始图像、所述训练数据集、所述病例图像及所述辅助诊断图像。
2.根据权利要求1所述的一种图像标注装置，其特征在于，所述训练集确定单元包括：
图像分割模块，被配置为对所述多个训练用原始图像进行人工描迹，确定所述多个训练用原始图像的牙齿轮廓信息；
类别标定模块，被配置为根据所述多个训练用原始图像的牙齿轮廓信息，生成所述多个训练用原始图像的分类标号数据文件，所述分类标号数据文件包括N个图像类别对应的轮廓信息及病变信息，其中N为预先确定的图像类别的数量，所述图像类别的数量根据牙齿、组织结构的位置、病变情况以及背景和前景的位置信息确定；
训练集输出模块，被配置为输出训练数据集，所述训练数据集包括所述多个训练用原始图像及所述多个训练用原始图像的分类标号数据文件。
3.根据权利要求1所述的一种图像标注装置，其特征在于，所述训练单元包括：
图像预处理模块，被配置为根据所述训练数据集确定多个批次的训练用标准图像集，每批所述训练用标准图像集包括K个M×M像素的训练用标准图像，其中K为每个批次的训练用标准图像集的图像数量，M×M为每个训练用标准图像的像素数量；
分类蒙版确定模块，被配置为基于所述训练数据集确定每个训练用标准图像对应的分类蒙版Cij，i＝1...M，j＝1....M,其中，Cij为所述每个训练用标准图像第(i，j)个像素的分类标号；
损失函数权重蒙版确定模块，被配置为根据所述分类蒙版确定每个训练用标准图像对应的损失函数蒙版wij，i＝1...M，j＝1....M,其中，wij为每个所述训练用标准图像第(i，j)个像素的损失函数权重，所述wij根据所述第(i，j)个像素属于的图像类别所包括的面积与背景所包括的面积比值的倒数确定；
模型训练模块，被配置为：将所述多个批次的训练用标准图像集依次输入所述图像分类模型进行迭代训练，当平均加权损失函数小于预设值或所述多个批次的训练用标准图像集全部完成训练后停止训练，得到训练后图像分类模型。
4.根据权利要求3所述的一种图像标注装置，其特征在于：
所述图像分类模型为基于卷积网络的多层深度学习模型；
所述图像分类模型的输出结果为K个分类概率矩阵，所述分类概率矩阵为M×M×N的矩阵，代表所述训练用标准图像每个像素分别属于所述N个分类的概率。
5.根据权利要求3所述的一种图像标注装置，其特征在于：
所述平均加权损失函数由以下公式确定：
Figure FDA0003246320360000021
其中，Ewright为平均加权损失函数，Eij为每个所述标准训练图像的第(i，j)个像素的标准损失函数，通过所述图像分类模型的输出结果和所述分类蒙版Gij计算得到，
Figure FDA0003246320360000022
为每个所述标准训练图像的输出结果的加权损失函数。
6.根据权利要求5所述的一种图像标注装置，其特征在于：
将所述多个批次的训练用标准图像集依次输入所述图像分类模型进行迭代训练，包括利用反向传播算法计算反向传播梯度并更新所述图像分类模型各层权重参数，并输入新的批次的所述训练用标准图像集进行正向传播；
所述利用反向传播算法计算反向传播梯度并更新所述图像分类模型各层权重参数通过以下步骤实现：
当训练批次不等于I的整数倍时，不进行清空所述反向传播梯度并更新所述图像分类模型各层权重参数的操作，所述I为延迟清空所述反向传播梯度的批次数；
当训练批次等于I的整数倍时，清空所述反向传播梯度并将所述平均加权损失函数Ewright除以I。
7.根据权利要求1所述的一种图像标注装置，其特征在于，所述分割标注单元包括：
图像处理模块，被配置为通过以下步骤得到病例图像的分类概率矩阵：
将所述病例图像进行处理，转换为M×M的标准病例图像，
将所述标准病例图像输入所述训练后图像分类模型，得到所述标准病例图像的分类概率矩阵；
类别判定模块，被配置为根据所述标准病例图像的分类概率矩阵，确定类别判定阈值，根据所述类别判定阈值判定所述标准病例图像每个像素的分类标号；
轮廓分割模块，被配置为通过以下步骤对所述标准病例图像进行轮廓分割：
去除所述标准病例图像的背景类别所对应的像素区域，
基于所述标准病例图像每个像素的分类标号绘制所述标准病例图像每个牙齿的轮廓，
基于所述标准病例图像每个像素的分类标号对所述标准病例图像的每个牙齿内部进行着色及标号，生成所述辅助诊断图像。
8.根据权利要求7所述的一种图像标注装置，其特征在于：
所述类别判定阈值通过最小二乘法确定。
9.一种图像标注方法，用于分割并标注病例图像上的牙齿信息，所述病例图像为病例的牙齿曲断X光片图像，其特征在于：包括以下步骤
S1确定训练集，基于多个训练用原始图像，确定训练数据集，所述训练用原始图像为用于训练的病例的牙齿曲断X光片图像；
S2训练，通过所述训练数据集对图像分类模型进行训练，得到训练后图像分类模型；
S3分割标注,利用所述训练后图像分类模型分割并标注所述病例图像，生成辅助诊断图像，所述辅助诊断图像为包含标注及着色信息的所述病例的牙齿曲断X光片图像；
S4显示，显示所述多个训练用原始图像、所述训练数据集、所述病例图像及所述辅助诊断图像。
10.根据权利要求9所述的一种图像标注方法，其特征在于：在所述S1确定训练集中，具体包括以下步骤
S101图像分割，对所述多个训练用原始图像进行人工描迹，确定所述多个训练用原始图像的牙齿轮廓信息；
S102类别标定，根据所述多个训练用原始图像的牙齿轮廓信息，生成所述多个训练用原始图像的分类标号数据文件,所述分类标号数据文件包括N个图像类别对应的轮廓信息及病变信息，其中N为预先确定的图像类别的数量，所述图像类别的数量根据牙齿、组织结构的位置、病变情况以及背景和前景的位置信息确定；
S103训练集输出，输出多个训练用原始图像及所述多个训练用原始图像的分类标号数据文件。
11.根据权利要求9所述的一种图像标注方法，其特征在于：在所述S2训练中，具体包括以下步骤
S201图像预处理，根据所述训练数据集确定多个批次的训练用标准图像集，每批所述训练用标准图像集包括K个M×M像素的训练用标准图像，其中K为每个批次的训练用标准图像集的图像数量，M×M为每个训练用标准图像的像素数量；
S202确定图像分类蒙版，根据所述训练数据集确定每个训练用标准图像对应的分类蒙版Cij，i＝1...M，j＝1....M,其中，Cij为所述每个训练用标准图像第(i，j)个像素的分类标号；
S203确定损失函数权重蒙版，根据所述分类蒙版确定每个训练用标准图像对应的损失函数蒙版wij，i＝1...M，j＝1....M,其中，wij为每个所述训练用标准图像第(i，j)个像素的损失函数权重，所述wij根据所述第(i，j)个像素属于的图像类别所包括的面积与背景所包括的面积比值的倒数确定；
S204模型训练，将所述多个批次的训练用标准图像集依次输入所述图像分类模型进行迭代训练，当平均加权损失函数小于预设值或所述多个批次的训练用标准图像集全部完成训练后停止训练，得到训练后图像分类模型。
12.根据权利要求11所述的一种图像标注方法，其特征在于：
所述图像分类模型为基于卷积网络的多层深度学习模型；
所述图像分类模型的输出结果为K个分类概率矩阵，所述分类概率矩阵为M×M×N的矩阵，代表所述训练用标准图像每个像素分别属于所述N个分类的概率。
13.根据权利要求11所述的一种图像标注方法，其特征在于：
所述平均加权损失函数由以下公式确定：
Figure FDA0003246320360000041
其中，Ewright为平均加权损失函数，Eij为每个所述标准训练图像的第(i，j)个像素的标准损失函数，通过所述图像分类模型的输出结果和所述分类蒙版Cij计算得到，
Figure FDA0003246320360000042
为每个所述标准训练图像的输出结果的加权损失函数。
14.根据权利要求13所述的一种图像标注方法，其特征在于：
将所述多个批次的训练用标准图像集依次输入所述图像分类模型进行迭代训练，包括利用反向传播算法计算反向传播梯度并更新所述图像分类模型各层权重参数，并输入新的批次的所述训练用标准图像集进行正向传播；
所述利用反向传播算法计算反向传播梯度并更新所述图像分类模型各层权重参数通过以下步骤实现：
当训练批次不等于I的整数倍时，不进行清空所述反向传播梯度并更新所述图像分类模型各层权重参数的操作，所述I为延迟清空所述反向传播梯度的批次数；
当训练批次等于I的整数倍时，清空所述反向传播梯度并将所述平均加权损失函数Ewright除以I。
15.根据权利要求9所述的一种图像标注方法，其特征在于：在所述S3分割标注中，具体包括以下步骤
S301图像处理，将所述病例图像进行处理，转换为M×M的标准病例图像，将所述标准病例图像输入所述训练后图像分类模型，得到所述标准病例图像的分类概率矩阵；
S302类别判定，根据所述标准病例图像的分类概率矩阵，确定类别判定阈值，根据所述类别判定阈值判定所述标准病例图像每个像素的分类标号；
S303轮廓分割，通过以下步骤对所述标准病例图像进行轮廓分割：
去除所述标准病例图像的背景类别所对应的像素区域，
基于所述标准病例图像每个像素的分类标号绘制所述标准病例图像每个牙齿的轮廓，
基于所述标准病例图像每个像素的分类标号对所述标准病例图像的每个牙齿内部进行着色及标号，生成所述辅助诊断图像。
16.根据权利要求15所述一种图像标注方法，其特征在于：
所述类别判定阈值通过最小二乘法确定。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：
所述计算机程序被处理器执行时实现上述训练并使用上述图像分割标注装置分割并标注病例图像的方法。
CN202111034189.2A 2021-09-03 2021-09-03 一种图像标注装置、方法及可读存储介质 Active CN113822904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111034189.2A CN113822904B (zh) 2021-09-03 2021-09-03 一种图像标注装置、方法及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111034189.2A CN113822904B (zh) 2021-09-03 2021-09-03 一种图像标注装置、方法及可读存储介质

Publications (2)

Publication Number Publication Date
CN113822904A true CN113822904A (zh) 2021-12-21
CN113822904B CN113822904B (zh) 2023-08-08

Family

ID=78914088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111034189.2A Active CN113822904B (zh) 2021-09-03 2021-09-03 一种图像标注装置、方法及可读存储介质

Country Status (1)

Country Link
CN (1) CN113822904B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019021243A (ja) * 2017-07-21 2019-02-07 Kddi株式会社 オブジェクト抽出装置およびそのスーパーピクセルラベリング方法
CN110473243A (zh) * 2019-08-09 2019-11-19 重庆邮电大学 基于深度轮廓感知的牙齿分割方法、装置及计算机设备
CN111328397A (zh) * 2017-10-02 2020-06-23 普罗马顿控股有限责任公司 使用深度学习方法对3d牙齿数据进行自动分类和归类
US20200305808A1 (en) * 2018-10-30 2020-10-01 Diagnocat, Inc. Automated Tooth Localization, Enumeration, and Diagnostic System and Method
CN111931931A (zh) * 2020-09-29 2020-11-13 杭州迪英加科技有限公司 一种针对病理全场图像的深度神经网络训练方法、装置
CN112446381A (zh) * 2020-11-11 2021-03-05 昆明理工大学 一种利用全卷积网络驱动的基于测地线活动轮廓的混合语义分割方法
CN113139977A (zh) * 2021-04-23 2021-07-20 西安交通大学 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法
CN113223010A (zh) * 2021-04-22 2021-08-06 北京大学口腔医学院 口腔图像多组织全自动分割的方法和***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019021243A (ja) * 2017-07-21 2019-02-07 Kddi株式会社 オブジェクト抽出装置およびそのスーパーピクセルラベリング方法
CN111328397A (zh) * 2017-10-02 2020-06-23 普罗马顿控股有限责任公司 使用深度学习方法对3d牙齿数据进行自动分类和归类
US20200305808A1 (en) * 2018-10-30 2020-10-01 Diagnocat, Inc. Automated Tooth Localization, Enumeration, and Diagnostic System and Method
CN110473243A (zh) * 2019-08-09 2019-11-19 重庆邮电大学 基于深度轮廓感知的牙齿分割方法、装置及计算机设备
CN111931931A (zh) * 2020-09-29 2020-11-13 杭州迪英加科技有限公司 一种针对病理全场图像的深度神经网络训练方法、装置
CN112446381A (zh) * 2020-11-11 2021-03-05 昆明理工大学 一种利用全卷积网络驱动的基于测地线活动轮廓的混合语义分割方法
CN113223010A (zh) * 2021-04-22 2021-08-06 北京大学口腔医学院 口腔图像多组织全自动分割的方法和***
CN113139977A (zh) * 2021-04-23 2021-07-20 西安交通大学 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ELIF MEŞECI 等: "Tooth Detection and Numbering with Instance Segmentation in Panoramic Radiographs", ICIDAAI21, pages 97 - 100 *
周红丽: "基于生成对抗网络的像素级图像分割研究", 中国优秀硕士学位论文全文数据库 *

Also Published As

Publication number Publication date
CN113822904B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
JP5926728B2 (ja) 内科医が直接用いるのに適応したビジュアライゼーション
WO2019068741A2 (en) AUTOMATED CLASSIFICATION AND TAXONOMY OF 3D TEXT DATA USING DEEP LEARNING PROCESSES
CN110503652B (zh) 下颌智齿与邻牙及下颌管关系确定方法、装置、存储介质及终端
CN111062947B (zh) 一种基于深度学习的x光胸片病灶定位方法及***
CN107766874B (zh) 一种超声容积生物学参数的测量方法及测量***
CN114549552A (zh) 基于空间邻域分析的肺部ct图像分割装置
CN112785609B (zh) 一种基于深度学习的cbct牙齿分割方法
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN111242956A (zh) 基于U-Net超声胎心和胎肺深度学习联合分割方法
Laishram et al. Automatic classification of oral pathologies using orthopantomogram radiography images based on convolutional neural network
CN112381811A (zh) 一种实现医学影像数据标注的方法、装置及设备
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估***
Chen et al. Detection of various dental conditions on dental panoramic radiography using Faster R-CNN
CN112669235B (zh) 调整图像灰度的方法、装置、电子设备和存储介质
Liu et al. Tracking-based deep learning method for temporomandibular joint segmentation
CN117011318A (zh) 一种牙齿ct图像三维分割方法、***、设备及介质
CN115439478B (zh) 基于肺灌注的肺叶灌注强度评估方法、***、设备及介质
CN115439423B (zh) 一种基于ct图像的识别方法、装置、设备及存储介质
Cunha et al. A method for segmentation of dental implants and crestal bone
CN113822904B (zh) 一种图像标注装置、方法及可读存储介质
CN114359308A (zh) 一种基于边缘响应与非线性损失的主动脉夹层分割方法
CN114037665A (zh) 下颌神经管的分割方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant