CN110175989A - 影像数据处理方法及其装置 - Google Patents

Abstract

本发明公开了一种影像数据处理方法及装置，其中，方法中包括：S1获取待处理影像数据，并对影像数据中的待识别区域进行标注；S2对影像数据进行处理，得到标注区域在影像数据中的坐标位置，并制作索引数据，形成索引文件；S3对索引文件中的索引数据进行划分，得到训练集、验证集及测试集；S4根据训练集对卷积神经网络模型进行训练、根据验证集对训练后的卷积神经网络模型进行进一步调整及根据测试集对调整后的卷积神经网络模型进行测试，完成对卷积神经网络模型的搭建；S5使用搭建好的卷积神经网络模型对未标注的影像数据进行处理。整个过程省时、省力，提高了影像数据中待识别区域识别效率的同时，不再依赖于个人的经验，大大提高了待识别区域识别的准确率。

Description

影像数据处理方法及其装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种影像数据处理方法及其装置。

背景技术

鼻咽癌是我国高发恶性肿瘤之一，发病率为耳鼻咽喉恶性肿瘤之首。常规的癌症诊断是基于分析来自肿瘤或可疑肿瘤组织中的细胞和组织标本。通过组织染色，个体细胞或细胞群就可以鉴别开来。常规诊断依靠分析形态特征，如，细胞形状、大小和染色性状的改变、及组织结构的不规则性，可见，癌症诊断是对异于相应正常组织的形态变异的一种主观判断。然而，正确而可靠的诊断技能需要丰富的经验，尤其是介于癌和癌前病变以及癌前病变和非癌病变的病例，对于即使是最有经验的病理学家和细胞学家来说也是一种挑战。

随着深度学习算法在计算机视觉领域的盛行，越来越多的人开始尝试使用卷积神经网络对图像进行分类、检测与分割，其在自然图像领域取得了令人震惊的效果，在相同问题下其准确率远远超过了最好的手工设计特征。大数据与人工智能等前沿技术在医疗领域应用也已经成为一种趋势，将大数据驱动的人工智能应用于鼻炎癌影像数据的处理中，对于缓解医疗资源和医患矛盾有重大意义。

发明内容

针对上述现有技术的不足，本发明提供了一种影像数据处理方法及其装置，能够自动标识出影像数据中的待识别区域。

为了实现上述目的，本发明通过以下技术方案实现：

一种影像数据处理方法，包括：

S1获取待处理影像数据，并对影像数据中的待识别区域进行标注；

S2对影像数据进行处理，得到标注区域在影像数据中的坐标位置，并制作索引数据，形成索引文件；

S3对索引文件中的索引数据进行划分，得到训练集、验证集及测试集；

S4根据训练集对卷积神经网络模型进行训练、根据验证集对训练后的卷积神经网络模型进行进一步调整及根据测试集对调整后的卷积神经网络模型进行测试，完成对卷积神经网络模型的搭建；

S5使用搭建好的卷积神经网络模型对未标注的影像数据进行处理，完成影像数据中待识别区域的自动标识。

进一步优选地，在步骤S1中，标注的待识别区域为影像数据中具备特定指代意义的区域。

进一步优选地，在步骤S2中，标注区域在影像数据中的坐标位置包括：在x轴和y轴上标注区域的中心在对应影像数据中的比例位置，及标注区域的宽度和高度在对应影像数据中的比例大小。

进一步优选地，在步骤S2中，一个影像数据中的所有标注区域对应生成一条索引数据；在索引文件中，每条索引数据为一行特定格式的信息，每行信息中包括：相应影像数据的图片位置索引、标注区域的坐标位置索引及类别索引。

进一步优选地，在步骤S3中，按照特定比例对索引文件中的索引数据进行划分，得到训练集、验证集及测试集。

进一步优选地，步骤S4之前还包括制作用于存放检测框尺寸的anchors文本的步骤，在步骤S4中根据训练集和anchors文本对卷积神经网络模型进行训练、根据验证集和anchors文本对训练后的卷积神经网络模型进行进一步调整及根据测试集和anchors文本对调整后的卷积神经网络模型进行测试。

本发明还提供了一种影像数据处理装置，包括：

数据采集模块，用于获取待处理影像数据，并对影像数据中的待识别区域进行标注；

数据处理模块，用于对影像数据进行处理，得到标注区域在影像数据中的坐标位置，并制作索引数据，形成索引文件；

数据划分模块，用于对索引文件中的索引数据进行划分，得到训练集、验证集及测试集；

模型搭建模块，用于根据训练集对卷积神经网络模型进行训练、根据验证集对训练后的卷积神经网络模型进行进一步调整及根据测试集对调整后的卷积神经网络模型进行测试，完成对卷积神经网络模型的搭建；

自动标识模块，用于使用搭建好的卷积神经网络模型对未标注的影像数据进行处理，完成影像数据中待识别区域的自动标识。

进一步优选地，在数据处理模块中，标注区域在影像数据中的坐标位置包括：在x轴和y轴上标注区域的中心在对应影像数据中的比例位置，及标注区域的宽度和高度在对应影像数据中的比例大小。

进一步优选地，在数据处理模块中，一个影像数据中的所有标注区域对应生成一条索引数据；在索引文件中，每条索引数据为一行特定格式的信息，每行信息中包括：相应影像数据的图片位置索引、标注区域的坐标位置索引及类别索引。

进一步优选地，在影像数据处理装置中还包括文本制作模块，用于制作用于存放检测框尺寸的anchors文本；

在模型搭建模块中根据训练集和anchors文本对卷积神经网络模型进行训练、根据验证集和anchors文本对训练后的卷积神经网络模型进行进一步调整及根据测试集和anchors文本对调整后的卷积神经网络模型进行测试。

在本发明提供的影像数据处理方法及其装置中，采集到待处理影像数据之后随即对其待识别区域进行标注，形成影像数据库；之后，对初步标注后的影像数据进行处理生成相应的索引文件，并将索引文件中的索引数据打乱后根据特定比例划分为训练集、验证集和测试集；接着，使用划分后的训练集、验证集和测试集及制作的anchors文本文件搭建卷积神经网络模型，得到性能优异的模型，以此根据该模型对未标注的影像数据中的待识别区域的自动标识。整个过程省时、省力，提高了影像数据中待识别区域识别效率的同时，不再依赖于个人的经验，大大提高了待识别区域识别的准确率。

附图说明

结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：

图1为本发明中影像数据处理方法的流程示意图；

图2为本发明一实例中索引数据示意图；

图3为本发明中影像数据处理装置结构框图。

附图标识：

100-影像数据处理装置，110-数据采集模块，120-数据处理模块，130-数据划分模块，140-模型搭建模块，150-自动标识模块。

具体实施方式

为使本发明的内容更加清楚易懂，以下结合说明书附图，对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例，本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。

如图1所示为本发明提供的影像数据处理方法的流程示意图，从图中可以看出，在该影像数据处理方法中包括：S1获取待处理影像数据，并对影像数据中的待识别区域进行标注；S2对影像数据进行处理，得到标注区域在影像数据中的坐标位置，并制作索引数据，形成索引文件；S3对索引文件中的索引数据进行划分，得到训练集、验证集及测试集；S4根据训练集对卷积神经网络模型进行训练、根据验证集对训练后的卷积神经网络模型进行进一步调整及根据测试集对调整后的卷积神经网络模型进行测试，完成对卷积神经网络模型的搭建；S5使用搭建好的卷积神经网络模型对未标注的影像数据进行处理，完成影像数据中待识别区域的自动标识。

在实际应用中，影像数据中的标注区域为影像数据中具备特定指代意义的区域，且为了得到精确的训练结果，通常对待识别区域进行人为标注。如，在一实例中，影像数据为鼻咽癌影像数据，待识别区域为其中的病变区域。通过扫描***将数字鼻咽癌影像数据上传至计算机中之后，随即由相关的病理学专家对影像数据中的病变区域进行标注，形成鼻咽癌影像数据库。

对影像数据的处理包括根据标注区域得到其在影像数据中的坐标位置，具体包括：在x轴和y轴上标注区域的中心在对应影像数据中的比例位置，及标注区域的宽度和高度在对应影像数据中的比例大小。在一过程中，可以根据预先预定的方式得到坐标位置信息，如，以影像数据左下角为原点位置，得到x轴和y轴上标注区域的中心在对应影像数据中的比例位置，及标注区域的宽度和高度在对应影像数据中的比例大小，其中，标注区域的中心在对应影像数据中的比例位置分别为：标注区域中心的x轴位置在影像数据右下角的x轴位置(实质上为影像数据x轴上的宽度)之间的比例P_x，及标注区域中心的y轴位置在影像数据左上角的y轴位置(实质上为影像数据y轴上的高度)之间的比例P_y；标注区域的宽度和高度在对应影像数据中的比例大小分别为：标注区域x轴上的宽度与影像数据x轴上的宽度之间的比例P_w，及标注区域的y轴上的高度与影像数据y轴上的高度之间的比例P_h。假定一鼻咽癌影像数据中一标注的病变区域中心的坐标为(2,2)，病变区域的宽度和高度分别为1，影像数据的宽度和高度均为10，则病变区域的中心在对应影像数据中的比例位置分别为0.5和0.5，病变区域的宽度和高度在对应影像数据中的比例大小0.1和0.1。以上均为以影像数据的左下角为原点位置为基础进行的描述，在其他实施方式中，原点位置可以根据实际情况进行设定，如以影像数据的右上角为原点等。另外，在其他实施方式中，对于标注区域坐标位置的描述也可以采用其他方式，如标注区域中心距离影像数据左边界和右边界距离间的比例、距离上边界和下边界距离间的比例等，只要能够对标记区域在影像数据中的位置进行描述即可。

影像数据中的标注区域至少为一个，且每个影像数据对应生成一条索引数据。在生成的索引文件中，每条索引数据为一行特定格式的信息，每行信息中包括：相应影像数据的图片位置索引P_x和P_y、标注区域的坐标位置索引P_w和P_h及类别索引。对于类别索引，预先根据实际情况进行设定，如在一实例中，影像数据中的标注区域为咽癌病变区域，则将类别索引设定为0。若一图像数据中包括多个标注区域，则一个标注区域生成一行索引数据后，在该行索引数据后追加其他标注区域对应的索引数据(追加的索引数据包括相应标记区域的坐标位置和类别索引)。获取的待处理影像数据均处理完成之后，得到完成的索引文件。在一实例中，一影像数据中包括2个标记区域，第一标记区域的坐标位置为0.5、0.7、0.2及0.2(0.5和0.7对应x轴和y轴上标注区域的中心在对应影像数据中的比例位置，0.2和0.2对应标注区域的宽度和高度在对应影像数据中的比例大小)，第二标记区域的坐标位置为0.3、0.4、0.1及0.3，索引类别均为0，则该影像数据对应的索引数据如图2所示，其中，/xx/xx/xx.jpg为该影像数据的存储路径。

得到索引文件之后，按照特定比例对索引文件中的索引数据进行划分，得到训练集、验证集及测试集。划分的比例可以根据实际情况进行设定，如7:2:1。

在根据训练集对卷积神经网络模型进行训练之前，制作用于存放检测框尺寸的anchors文本(检测框尺寸文本)，用于限定检测框的大小。之后，根据训练集和anchors文本对卷积神经网络模型进行训练、根据验证集和anchors文本对训练后的卷积神经网络模型进行进一步调整及根据测试集和anchors文本对调整后的卷积神经网络模型进行测试。在深度学习当中，训练集用于对卷积神经网络模型中的特征进行训练，验证集用于对卷积神经网络模型中的参数进行进一步的调整，测试集对调整后的卷积神经网络模型进行测试，以此完成卷积神经网络模型的搭建。对于卷积神经网络模型可以根据实际情况进行设定，如使用YOLO模型。

最后，使用搭建好的卷积神经网络模型对未标注的影像数据进行处理，完成影像数据中待识别区域的自动标识。在实例中，影像数据为鼻咽癌影像数据，则卷积神经网络模型搭建完成后，将扫描到的鼻咽癌影像数据及制作的anchors文本输入该卷积神经网络模型，卷积神经网络模型随即对鼻咽癌影像数据中的病变区域进行标识，并将标识后的病变区域反馈给病理学专家，辅助病理学专家进行对癌症病理信息进行判别。

在其他实施方式中，在对卷积神经网络模型进行训练的过程中，还可能根据实际情况使用到数据增强算法，包括对数字病理图像进行旋转、水平翻转、垂直翻转、噪声、模糊化、扭曲、或者位移步骤中的一种或者多种组合。

如图3所示本发明提供的影像数据处理装置结构框图，从图中可以看出，在该影像数据处理装置100中包括：数据采集模块110、数据处理模块120、数据划分模块130、模型搭建模块140及自动标识模块150，其中，数据采集模块110用于获取待处理影像数据，并对影像数据中的待识别区域进行标注；数据处理模块120用于对影像数据进行处理，得到标注区域在影像数据中的坐标位置，并制作索引数据，形成索引文件；数据划分模块130用于对索引文件中的索引数据进行划分，得到训练集、验证集及测试集；模型搭建模块140用于根据训练集对卷积神经网络模型进行训练、根据验证集对训练后的卷积神经网络模型进行进一步调整及根据测试集对调整后的卷积神经网络模型进行测试，完成对卷积神经网络模型的搭建；自动标识模块150用于使用搭建好的卷积神经网络模型对未标注的影像数据进行处理，完成影像数据中待识别区域的自动标识。

在实际应用中，数据采集模块110中，影像数据中的标注区域为影像数据中具备特定指代意义的区域，且为了得到精确的训练结果，通常对待识别区域进行人为标注。如，在一实例中，影像数据为鼻咽癌影像数据，待识别区域为其中的病变区域。通过扫描***将数字鼻咽癌影像数据上传至计算机中之后，随即由相关的病理学专家对影像数据中的病变区域进行标注，形成鼻咽癌影像数据库。

数据处理模块120对影像数据的处理包括根据标注区域得到其在影像数据中的坐标位置，具体包括：在x轴和y轴上标注区域的中心在对应影像数据中的比例位置，及标注区域的宽度和高度在对应影像数据中的比例大小。在一过程中，可以根据预先预定的方式得到坐标位置信息，如，以影像数据左下角为原点位置，得到x轴和y轴上标注区域的中心在对应影像数据中的比例位置，及标注区域的宽度和高度在对应影像数据中的比例大小，其中，标注区域的中心在对应影像数据中的比例位置分别为：标注区域中心的x轴位置在影像数据右下角的x轴位置(实质上为影像数据x轴上的宽度)之间的比例P_x，及标注区域中心的y轴位置在影像数据左上角的y轴位置(实质上为影像数据y轴上的高度)之间的比例P_y；标注区域的宽度和高度在对应影像数据中的比例大小分别为：标注区域x轴上的宽度与影像数据x轴上的宽度之间的比例P_w，及标注区域的y轴上的高度与影像数据y轴上的高度之间的比例P_h。以上均为以影像数据的左下角为原点位置为基础进行的描述，在其他实施方式中，原点位置可以根据实际情况进行设定，如以影像数据的右上角为原点等。另外，在其他实施方式中，对于标注区域坐标位置的描述也可以采用其他方式，如标注区域中心距离影像数据左边界和右边界距离间的比例、距离上边界和下边界距离间的比例等，只要能够对标记区域在影像数据中的位置进行描述即可。

影像数据中的标注区域至少为一个，且每个影像数据对应生成一条索引数据。在生成的索引文件中，每条索引数据为一行特定格式的信息，每行信息中包括：相应影像数据的图片位置索引P_x和P_y、标注区域的坐标位置索引P_w和P_h及类别索引。对于类别索引，预先根据实际情况进行设定，如在一实例中，影像数据中的标注区域为咽癌病变区域，则将类别索引设定为0。若一图像数据中包括多个标注区域，则一个标注区域生成一行索引数据后，在该行索引数据后追加其他标注区域对应的索引数据(追加的索引数据包括相应标记区域的坐标位置和类别索引)。获取的待处理影像数据均处理完成之后，得到完成的索引文件。在一实例中，一影像数据中包括2个标记区域，第一标记区域的坐标位置为0.5、0.7、0.2及0.2(0.5和0.7对应x轴和y轴上标注区域的中心在对应影像数据中的比例位置，0.2和0.2对应标注区域的宽度和高度在对应影像数据中的比例大小)，第二标记区域的坐标位置为0.3、0.4、0.1及0.3，索引类别均为0，则该影像数据对应的索引数据如图2所示，其中，/xx/xx/xx.jpg为该影像数据的存储路径。

得到索引文件之后，数据划分模块130按照特定比例对索引文件中的索引数据进行划分，得到训练集、验证集及测试集。划分的比例可以根据实际情况进行设定，如7:2:1。

在根据训练集对卷积神经网络模型进行训练之前，制作用于存放检测框尺寸的anchors文本(检测框尺寸文本)，用于限定检测框的大小。之后，模型搭建模块140根据训练集和anchors文本对卷积神经网络模型进行训练、根据验证集和anchors文本对训练后的卷积神经网络模型进行进一步调整及根据测试集和anchors文本对调整后的卷积神经网络模型进行测试。在深度学习当中，训练集用于对卷积神经网络模型中的特征进行训练，验证集用于对卷积神经网络模型中的参数进行进一步的调整，测试集对调整后的卷积神经网络模型进行测试，以此完成卷积神经网络模型的搭建。对于卷积神经网络模型可以根据实际情况进行设定，如使用YOLO模型。

最后，自动标识模块150使用搭建好的卷积神经网络模型对未标注的影像数据进行处理，完成影像数据中待识别区域的自动标识。在实例中，影像数据为鼻咽癌影像数据，则卷积神经网络模型搭建完成后，将扫描到的鼻咽癌影像数据及制作的anchors文本输入该卷积神经网络模型，卷积神经网络模型随即对鼻咽癌影像数据中的病变区域进行标识，并将标识后的病变区域反馈给病理学专家，辅助病理学专家进行对癌症病理信息进行判别。

在其他实施方式中，模型搭建模块140在对卷积神经网络模型进行训练的过程中，还可能根据实际情况使用到数据增强算法，包括对数字病理图像进行旋转、水平翻转、垂直翻转、噪声、模糊化、扭曲、或者位移步骤中的一种或者多种组合。

Claims (10)

1.一种影像数据处理方法，其特征在于，包括：

S1 获取待处理影像数据，并对影像数据中的待识别区域进行标注；

S2 对影像数据进行处理，得到标注区域在影像数据中的坐标位置，并制作索引数据，形成索引文件；

S3 对索引文件中的索引数据进行划分，得到训练集、验证集及测试集；

S4 根据训练集对卷积神经网络模型进行训练、根据验证集对训练后的卷积神经网络模型进行进一步调整及根据测试集对调整后的卷积神经网络模型进行测试，完成对卷积神经网络模型的搭建；

S5 使用搭建好的卷积神经网络模型对未标注的影像数据进行处理，完成影像数据中待识别区域的自动标识。

2.如权利要求1所述的影像数据处理方法，其特征在于，在步骤S1中，标注的待识别区域为影像数据中具备特定指代意义的区域。

3.如权利要求1所述的影像数据处理方法，其特征在于，在步骤S2中，标注区域在影像数据中的坐标位置包括：在x轴和y轴上标注区域的中心在对应影像数据中的比例位置，及标注区域的宽度和高度在对应影像数据中的比例大小。

4.如权利要求3所述的影像数据处理方法，其特征在于，在步骤S2中，一个影像数据中的所有标注区域对应生成一条索引数据；在索引文件中，每条索引数据为一行特定格式的信息，每行信息中包括：相应影像数据的图片位置索引、标注区域的坐标位置索引及类别索引。

5.如权利要求1所述的影像数据处理方法，其特征在于，在步骤S3中，按照特定比例对索引文件中的索引数据进行划分，得到训练集、验证集及测试集。

6.如权利要求1所述的影像数据处理方法，其特征在于，在步骤S4之前还包括制作用于存放检测框尺寸的anchors文本的步骤，在步骤S4中根据训练集和anchors文本对卷积神经网络模型进行训练、根据验证集和anchors文本对训练后的卷积神经网络模型进行进一步调整及根据测试集和anchors文本对调整后的卷积神经网络模型进行测试。

7.一种影像数据处理装置，其特征在于，包括：

数据采集模块，用于获取待处理影像数据，并对影像数据中的待识别区域进行标注；

数据处理模块，用于对影像数据进行处理，得到标注区域在影像数据中的坐标位置，并制作索引数据，形成索引文件；

数据划分模块，用于对索引文件中的索引数据进行划分，得到训练集、验证集及测试集；

模型搭建模块，用于根据训练集对卷积神经网络模型进行训练、根据验证集对训练后的卷积神经网络模型进行进一步调整及根据测试集对调整后的卷积神经网络模型进行测试，完成对卷积神经网络模型的搭建；

自动标识模块，用于使用搭建好的卷积神经网络模型对未标注的影像数据进行处理，完成影像数据中待识别区域的自动标识。

8.如权利要求7所述的影像数据处理装置，其特征在于，在数据处理模块中，标注区域在影像数据中的坐标位置包括：在x轴和y轴上标注区域的中心在对应影像数据中的比例位置，及标注区域的宽度和高度在对应影像数据中的比例大小。

9.如权利要求8所述的影像数据处理装置，其特征在于，在数据处理模块中，一个影像数据中的所有标注区域对应生成一条索引数据；在索引文件中，每条索引数据为一行特定格式的信息，每行信息中包括：相应影像数据的图片位置索引、标注区域的坐标位置索引及类别索引。

10.如权利要求7所述的影像数据处理装置，其特征在于，在影像数据处理装置中还包括文本制作模块，用于制作用于存放检测框尺寸的anchors文本；

在模型搭建模块中根据训练集和anchors文本对卷积神经网络模型进行训练、根据验证集和anchors文本对训练后的卷积神经网络模型进行进一步调整及根据测试集和anchors文本对调整后的卷积神经网络模型进行测试。