CN111260648B - 胃粘膜esd切除标本图像的病变区域测量方法、装置 - Google Patents

Abstract

本申请涉及一种胃粘膜ESD切除标本图像的病变区域测量方法、装置。所述方法包括：获取胃粘膜ESD切除标本图和多个切片全场图；将所述切片全场图输入预设病变区域识别模型，获得切片病变区域位置；根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，以及所述切片病变区域位置的像素最长径、所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，计算所述胃粘膜ESD切除标本图中内部病变的区域；根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据。采用本方法能够内部病变的区域位置的测量数据的获取效率。

Description

胃粘膜ESD切除标本图像的病变区域测量方法、装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种胃粘膜ESD切除标本图像的病变区域测量方法、装置。

背景技术

由于环境污染、不良生活习惯、社会压力增大等原因，消化道癌成为危害人们生命的主要杀手之一。近年来出现的内镜粘膜下剥离术（Endoscopic submucosal dissection，ESD）让更多的早期消化道癌能够在内镜下一次性完全切除，免除了开腹手术的痛苦和器官的切除，为消化道癌患者带来福音，由于ESD 病理报告制作流程繁琐：需要对胃粘膜ESD切除标本制片和染色、在显微镜下观察切片、标出切片中病变位置和病变类型、对切片的病变区域复原和测量、填写病例报告，所以患者在进行切除手术后至少等7个工作日后才能拿到病理报告，以确定后续治疗方案。

然而，现有的计算机***不能够根据胃粘膜ESD切除标本图像对病变位置进行识别，因此不能确定病变区域，从而不能对病变区域的进行复原和测量。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高测量数据获取效率的胃粘膜ESD切除标本图像的病变区域测量方法、装置、计算机设备和存储介质。

一种胃粘膜ESD切除标本图像的病变区域测量方法，所述方法包括：

获取胃粘膜ESD切除标本图和多个切片全场图；所述胃粘膜ESD切除标本图包括多条切痕线，所述切痕线与所述切片全场图对应，所述切痕线的长度与所述切片全场图中切片的最长径呈正比；

将所述切片全场图输入预设病变区域识别模型，获得切片病变区域位置；

根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，以及所述切片病变区域位置的像素最长径、所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，计算所述胃粘膜ESD切除标本图中内部病变的区域；

根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据。

在其中一个实施例中，所述胃粘膜ESD切除标本图像的病变区域测量方法还包括：获取所述切痕线的长度；其中，所述获取所述切痕线的长度包括：获取根据所述胃粘膜ESD切除标本图中切痕线标注的两个端点位置；根据所述两个端点位置，计算所述切痕线的长度。

在其中一个实施例中，所述胃粘膜ESD切除标本图像的病变区域测量方法还包括：获取所述切片全场图中切片的最长径；其中，所述获取所述切片全场图中切片的最长径包括：对所述切片全场图的从上端、下端、左端、右端分别进行扫描，获得所述切片的边界的上端、下端、左端、右端；根据所述切片的边界的上端、下端、左端、右端，构建所述切片的矩形边界；计算所述切片的矩形边界的两个最短边的中点的距离，获得所述切片全场图中切片的最长径。

在其中一个实施例中，所述胃粘膜ESD切除标本图像的病变区域测量方法还包括：获取所述切片病变区域位置的像素最长径；其中，获取所述切片病变区域位置的像素最长径包括：获取所述切片病变区域位置的边界的上端、下端、左端、右端；根据所述切片病变区域位置的边界的上端、下端、左端、右端，构建切片病变区域的矩形边界；计算所述切片病变区域的矩形边界的两个最短边的中点的距离，获得所述切片病变区域位置的像素最长径。

在其中一个实施例中，所述将所述切片全场图输入预设病变区域识别模型，获得切片病变区域位置，包括：将所述切片全场图中20×视野图和40×视野图均切分成预设大小的图像块；将所述图像块输入预设病变区域识别模型，获得所述图像块为病变位置的打分；对所述20×视野图和40×视野图的相同切片位置的所述图像块的打分进行加权平均，获得所述图像块为病变位置的最终打分；将最终打分超过预设值的相邻的图像块合并，获得切片病变区域位置。

在其中一个实施例中，所述将所述图像块输入预设病变区域识别模型，获得所述图像块为病变位置的打分，包括：将所述20×视野图的图像块输入第一预设病变区域识别模型，获得所述20×视野图的图像块为病变位置的打分；将所述40×视野图的图像块输入第二预设病变区域识别模型，获得所述40×视野图的图像块为病变位置的打分。

在其中一个实施例中，所述预设病变区域识别模型包括第一运算层、第二运算层、第三运算层、第四运算层和第五运算层，图像块经过每个所述运算层获得多张特征图；其中，所述第一运算层包括卷积函数、批标准化函数、线性整流函数和最大池化函数，所述第二运算层包括一个卷积运算块和两个特征运算块，所述第三运算层包括一个卷积运算块和三个特征运算块，所述第四运算层包括一个卷积运算块和五个特征运算块，所述第五运算层包括一个卷积运算块和两个特征运算块。

在其中一个实施例中，所述根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，以及所述切片病变区域位置的像素最长径、所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，计算所述胃粘膜ESD切除标本图中内部病变的区域位置，包括：根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，计算所述胃粘膜ESD切除标本图与所述切片全场图的缩放比例；根据所述切片病变区域位置的像素最长径和所述缩放比例，计算在胃粘膜ESD切除标本图中所述切痕线位置的病变区域长度；根据所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，以及所述缩放比例，计算在所述胃粘膜ESD切除标本图中病变区域边界与同侧所述切痕线端部的距离；根据所述病变区域长度和所述病变区域边界与同侧所述切痕线端部的距离，确定所述胃粘膜ESD切除标本图中在所述切痕线上病变区域的位置；根据所述切痕线上病变区域的位置，确定所述切痕线上病变区域的边界点；将多个所述切痕线上病变区域的边界点通过平滑曲线顺次连接，获得所述胃粘膜ESD切除标本图中内部病变的区域。

一种胃粘膜ESD切除标本图像的病变区域测量装置，所述装置包括：

图像获取模块，用于获取胃粘膜ESD切除标本图和多个切片全场图；所述胃粘膜ESD切除标本图包括多条切痕线，所述切痕线与所述切片全场图对应，所述切痕线的长度与所述切片全场图中切片的最长径呈正比；

切片病变区域位置获取模块，用于将所述切片全场图输入预设病变区域识别模型，获得切片病变区域位置；

内部病变区域计算模块，用于根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，以及所述切片病变区域位置的像素最长径、所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，计算所述胃粘膜ESD切除标本图中内部病变的区域；

测量数据获取模块，用于根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取胃粘膜ESD切除标本图和多个切片全场图；所述胃粘膜ESD切除标本图包括多条切痕线，所述切痕线与所述切片全场图对应，所述切痕线的长度与所述切片全场图中切片的最长径呈正比；

将所述切片全场图输入预设病变区域识别模型，获得切片病变区域位置；

根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，以及所述切片病变区域位置的像素最长径、所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，计算所述胃粘膜ESD切除标本图中内部病变的区域；

根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取胃粘膜ESD切除标本图和多个切片全场图；所述胃粘膜ESD切除标本图包括多条切痕线，所述切痕线与所述切片全场图对应，所述切痕线的长度与所述切片全场图中切片的最长径呈正比；

将所述切片全场图输入预设病变区域识别模型，获得切片病变区域位置；

根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，以及所述切片病变区域位置的像素最长径、所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，计算所述胃粘膜ESD切除标本图中内部病变的区域；

根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据。

上述胃粘膜ESD切除标本图像的病变区域测量方法、装置、计算机设备和存储介质，通过根据预设病变区域识别模型来对切片全场图中的切片病变区域位置进行识别，提高了病变区域识别准确率和效率；并且，根据胃粘膜ESD切除标本图和多个切片全场图的比例计算胃粘膜ESD切除标本图中内部病变的区域，能够有效的对病变区域进行确定；最后，根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据，保证了内部病变的区域的测量数据能够快速 获取，提高了病例报告的制作效率。

附图说明

图1为一个实施例中胃粘膜ESD切除标本图像的病变区域测量方法的流程示意图；

图2为一个实施例中切片全场图的示意图；

图3为一个实施例中胃粘膜ESD切除标本图的示意图；

图4为一个实施例中预设病变区域识别模型的结构示意图；

图5为一个实施例中卷积运算块的结构示意图；

图6为一个实施例中特征运算块的机构示意图；

图7为一个具体实施例中获取切片病变区域位置的流程示意图；

图8为一个实施例中胃粘膜ESD切除标本图像的病变区域测量装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种胃粘膜ESD切除标本图像的病变区域测量方法，包括以下步骤：

S110，获取胃粘膜ESD切除标本图和多个切片全场图；所述胃粘膜ESD切除标本图包括多条切痕线，所述切痕线与所述切片全场图对应，所述切痕线的长度与所述切片全场图中切片的最长径呈正比。

其中，胃粘膜ESD切除标本为通过内镜粘膜下剥离术从患者身上切下的病变组织，通过相机拍摄胃粘膜ESD切除标本图，切片为对胃粘膜ESD切除标本每隔2-3mm切割形成从上到下的一系列组织条，并对这些组织条脱水、染色并按顺序排放获得的胃黏膜ESD切片，切片全场图为对胃黏膜ESD切片在不同倍数显微镜下拍摄的全场图。可选的，切片全场图包括显微镜1×倍视野下数字切片全场图、40×倍视野下数字切片全场图和20×倍视野下的数字切片全场图。在对胃粘膜ESD切除标本进行切片之前，先标注多条切痕线并拍摄获得胃粘膜ESD切除标本图。

具体的，切片是根据所述切痕线切割，对切片的侧面拍摄获得切片全场图，每个切痕线对应一张切片全场图。

S120，将所述切片全场图输入预设病变区域识别模型，获得切片病变区域位置。

其中，预设病变区域识别模型根据用于训练的切片全场图进行训练获得，并且能够根据输入的切片全场图，来识别切片全场图的病变区域位置，切片病变区域位置包括图像中病变区域的坐标。

S130，根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，以及所述切片病变区域位置的像素最长径、所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，计算所述胃粘膜ESD切除标本图中内部病变的区域。

其中，切痕线的长度为胃粘膜ESD切除标本图中切痕线的像素长度；因为在胃粘膜ESD切除标本图中切痕线的长度等于切片的长度，通过根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，能够获得胃粘膜ESD切除标本图与切片全场图的图像比例，从而根据所述切片病变区域位置的像素最长径，计算胃粘膜ESD切除标本图中病变区域的长度，最后根据所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，确定胃粘膜ESD切除标本图中病变区域的位置，通过将多个切痕线位置的病变区域连接起来形成封闭区域，就能获得所述胃粘膜ESD切除标本图中内部病变的区域。

S140，根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据。

其中，根据所述胃粘膜ESD切除标本图中内部病变的区域，通过图像处理方法或者通过手动标注测量的方法，都能获得所述内部病变的区域位置的测量数据。

上述胃粘膜ESD切除标本图像的病变区域测量方法中，通过根据预设病变区域识别模型来对切片全场图中的切片病变区域位置进行识别，提高了病变区域识别准确率和效率；并且，根据胃粘膜ESD切除标本图和多个切片全场图的比例计算胃粘膜ESD切除标本图中内部病变的区域，能够有效的对病变区域进行确定；最后，根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据，保证了内部病变的区域的测量数据能够快速 获取，提高了病例报告的制作效率。

在其中一个实施例中，所述粘膜ESD切除标本图像的病变区域测量方法，还包括：获取所述切痕线的长度；其中，所述获取所述切痕线的长度包括：获取根据所述胃粘膜ESD切除标本图中切痕线标注的两个端点位置；根据所述两个端点位置，计算所述切痕线的长度。

例如，如图3所示，胃粘膜ESD切除标本图中胃粘膜ESD切除标本301，根据胃粘膜ESD切除标本图中切痕线303，用户根据切痕线的端点进行双击，获得切痕线两端的端点，两个端点连成一条直线，代表图片上的一条切痕线，用户可以移动端点的位置来更精确地标出切痕线的位置，直线的长度等于所述切痕线的长度。当然，除了采用手动标记端点的方式计算切痕线，也可以通过图像处理的方式进行切痕线长度的计算。

在其中一个实施例中，所述粘膜ESD切除标本图像的病变区域测量方法，还包括：获取所述切片全场图中切片的最长径；其中，所述获取所述切片全场图中切片的最长径包括：对所述切片全场图的从上端、下端、左端、右端分别进行扫描，获得所述切片的边界的上端、下端、左端、右端；根据所述切片的边界的上端、下端、左端、右端，构建所述切片的矩形边界；计算所述切片的矩形边界的两个最短边的中点的距离，获得所述切片全场图中切片的最长径。

例如，如图2所示，在预设病变区域识别模型确定切片病变区域位置204后，对切片全场图中切片202边界区域进行确定，具体过程为：使用一条横线从1×倍视野下数字切片全场图的最左端开始扫描，当横线扫到图片中像素值变化时停止，这时得到了切片边界的左端，使用一条横线从1×倍视野下数字切片全场图的最右端开始扫描，当横线扫到图片中像素值变化时停止，这时得到了切片边界的右端，同理，可以得到切片边界的上端和下端，最终获得切片的矩形边界201。连接切片的矩形边界201的两个中点，得到矩形边界201的两个中点的连线205，连线205的长度等于所述切片全场图中切片的最长径。

在其中一个实施例中，所述粘膜ESD切除标本图像的病变区域测量方法，还包括：获取所述切片病变区域位置的像素最长径；其中，获取所述切片病变区域位置的像素最长径包括：获取所述切片病变区域位置的边界的上端、下端、左端、右端；根据所述切片病变区域位置的边界的上端、下端、左端、右端，构建切片病变区域的矩形边界；计算所述切片病变区域的矩形边界的两个最短边的中点的距离，获得所述切片病变区域位置的像素最长径。

例如，如图2所示，在预设病变区域识别模型确定切片病变区域位置204后，对切片病变区域位置204的边界区域进行确定，具体过程为：使用一条横线从1×倍视野下数字切片全场图的最左端开始扫描，当横线扫到图片中病变区域时停止，这时得到了病变区域的最左端，使用一条横线从1×倍视野下数字切片全场图的最右端开始扫描，当横线扫到图片中病变区域时停止，这时得到了病变区域的最右端，同理可以得到病变区域的上端和下端，最终获得切片病变区域位置的矩形边界203。连接切片病变区域位置的矩形边界203的两个中点，得到矩形边界203的两个中点的连线206，连线206的长度等于所述切片病变区域位置的像素最长径。

在其中一个实施例中，步骤S120包括：将所述切片全场图中20×视野图和40×视野图均切分成预设大小的图像块；将所述图像块输入预设病变区域识别模型，获得所述图像块为病变位置的打分；对所述20×视野图和40×视野图的相同切片位置的所述图像块的打分进行加权平均，获得所述图像块为病变位置的最终打分；将最终打分超过预设值的相邻的图像块合并，获得切片病变区域位置。

其中，预设大小可以根据需要设置，对切分的图像块的大小不做限定，例如，可将切片全场图中20×视野图和40×视野图均切分成2048*2048分辨率的图像块。通过预设病变区域识别模型，对切片全场图中20×视野图和40×视野图切分后的图像块均进行打分。由于切片全场图中20×视野图和40×视野图都是根据同一切片的相同位置进行拍摄，在进行图像切分后，20×视野图和40×视野图都有一一对应的相同位置的图像块，其中某一图像块病变位置的最终打分：

；

其中，c1_score表示预设病变区域识别模型对切片全场图中40×视野图其中一个图像块为病变的打分分数，c2_score表示预设病变区域识别模型对切片全场图中20×视野图其中一个图像块为病变的打分分数，α和β为权重，例如，α=0.4，β=0.6，选择此参数是因为40×视野下的图像块比20×视野下的图像块更能体现这个区域的细节信息。在最终打分超过预设值时，确定图像块为病变区域，将最终打分超过预设值的相邻的图像块合并，获得切片病变区域位置，因此一张切片的病变区域不止一个，可能存在多个。预设值为判断图像块是否为病变区域的标准，预设值可以根据实验进行确定。

在其中一个实施例中，所述将所述图像块输入预设病变区域识别模型，获得所述图像块为病变位置的打分，包括：将所述20×视野图的图像块输入第一预设病变区域识别模型，获得所述20×视野图的图像块为病变位置的打分；将所述40×视野图的图像块输入第二预设病变区域识别模型，获得所述40×视野图的图像块为病变位置的打分。

其中，第一预设病变区域识别模型根据20×视野图的图像块的训练样本训练获得，第二预设病变区域识别模型根据40×视野图的图像块的训练样本训练获得。

在其中一个实施例中，如图4所示，所述预设病变区域识别模型包括第一运算层stage1、第二运算层stage2、第三运算层stage3、第四运算层stage4和第五运算层stage5，图像块经过每个所述运算层获得多张特征图；其中，所述第一运算层stage1包括卷积函数conv、批标准化函数Bath Norm、线性整流函数Relu和最大池化函数MAX POOL，所述第二运算层stage2包括一个卷积运算块CONV BLOCK和两个特征运算块Identity Block，所述第三运算层stage3包括一个卷积运算块CONV BLOCK和三个特征运算块Identity Block，所述第四运算层stage4包括一个卷积运算块CONV BLOCK和五个特征运算块Identity Block，所述第五运算层stage5包括一个卷积运算块CONV BLOCK和两个特征运算块Identity Block。

其中，卷积运算块CONV BLOCK的内部组成如图5所示，卷积运算块CONV BLOCK包括三次2维卷积运算CONV2D、批标准化函数Bath Norm运算和线性整流函数Relu运算；在进行第三次2维卷积运算CONV2D、批标准化函数Bath Norm运算和线性整流函数Relu运算时，将输入的特征图与批标准化函数Bath Norm运算得到的特征图叠加输入线性整流函数Relu运算。

其中，特征运算块Identity Block的内部组成如图6所示，特征运算块IdentityBlock包括三次2维卷积运算CONV2D、批标准化函数Bath Norm运算和线性整流函数Relu运算；在进行第三次2维卷积运算CONV2D、批标准化函数Bath Norm运算和线性整流函数Relu运算时，将输入的特征图进行2维卷积运算CONV2D、批标准化函数Bath Norm运算后，再与第三次批标准化函数Bath Norm运算得到的特征图叠加输入线性整流函数Relu运算。

在其中一个实施例中，步骤S130包括：根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，计算所述胃粘膜ESD切除标本图与所述切片全场图的缩放比例；根据所述切片病变区域位置的像素最长径和所述缩放比例，计算在胃粘膜ESD切除标本图中所述切痕线位置的病变区域长度；根据所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，以及所述缩放比例，计算在所述胃粘膜ESD切除标本图中病变区域边界与同侧所述切痕线端部的距离；根据所述病变区域长度和所述病变区域边界与同侧所述切痕线端部的距离，确定所述胃粘膜ESD切除标本图中在所述切痕线上病变区域的位置；根据所述切痕线上病变区域的位置，确定所述切痕线上病变区域的边界点；将多个所述切痕线上病变区域的边界点通过平滑曲线顺次连接，获得所述胃粘膜ESD切除标本图中内部病变的区域。

例如，如图2和图3所示，所述切片全场图中切片的最长径等于连线205的长度，切痕线303的长度通过胃粘膜ESD切除标本图确定切痕线的端点来获取，缩放比例：

。

其中，胃粘膜ESD切除标本图中所述切痕线位置的病变区域长度：

。

其中，所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，等于切片病变区域位置的矩形边界203的短边与切片的矩形边界201的短边的距离L1（图2中207）；所述胃粘膜ESD切除标本图中病变区域边界与同侧所述切痕线端部的距离：

。

由于在胃粘膜ESD切除标本图中切痕线的位置已知，根据胃粘膜ESD切除标本图中病变区域边界与同侧所述切痕线端部的距离，就能确定所述胃粘膜ESD切除标本图中在所述切痕线上病变区域的位置，根据所述切痕线上病变区域的位置，确定所述切痕线上病变区域的边界点，将多个所述切痕线上病变区域的边界点通过平滑曲线顺次连接，获得所述胃粘膜ESD切除标本图中内部病变的区域，其中，内部病变的区域为封闭的区域如图3中302所示。

本实施例通过所述病变区域长度和所述病变区域边界与同侧所述切痕线端部的距离，来确定所述胃粘膜ESD切除标本图中在所述切痕线上病变区域的位置，所采用的方法简单，能够快速的计算得到所述切痕线上病变区域的位置，最终通过多个所述切痕线上病变区域的边界点通过平滑曲线顺次连接，获得所述胃粘膜ESD切除标本图中内部病变的区域，能够有效的确定内部病变的区域，并不需要大量繁琐的计算，在获得临床结果具有重要的意义。

在其中一个实施例中，步骤S140包括：获取所述胃粘膜ESD切除标本图的物理世界与像素世界的比例；根据所述物理世界与像素世界的比例，计算所述内部病变的区域位置的最长径和最短径。

例如，可以通过测量的方法计算所述内部病变的区域位置的最长径和最短径，具体过程如下：

1）获得物理世界和像素世界的比例。首先用户选择添加比例线功能，然后在尺子刻度1处双击出点，此时可以获得比例线的起始坐标（x_start，y_start），在尺子刻度5处双击出点，此时可以获得点的终止坐标（x_end，y_end），两点连成一条直线，这条直线被***认定为比例线，用户按弹出框要求填写两个刻度之间的物理世界大小length_physics，两个点之间的像素距离为：

；

物理世界和像素世界的比例值为：

。

2）在所述胃粘膜ESD切除标本图的内部病变的区域位置，通过打点法标出内部病变的区域位置的最长径，此时两点间的像素距离同样可以通过两点间距离公式算出，其值为radius_pixel，最长径在物理世界的大小为：

。

3）同理，通过打点法可求得所述胃粘膜ESD切除标本图的内部病变的区域位置的最短径，以及最短径在物理世界的大小。

本实施例通过打点法来测量内部病变的区域位置的最长径和最短径，提高了测量效率和准确率。

在一个具体的实施例中，如图7所示，获取ESD标本图（胃粘膜ESD切除标本图）和多张数字切片全场图（切片全场图），将ESD标本图和多张数字切片全场图上传至胃粘膜***端台，在胃粘膜***端台中，将多张数字切片全场图进行图像划块成多个图像块，将20×倍视野的图像块输入C2分类器（第一预设病变区域识别模型）进行分类，获得20×倍视野的图像块分类结果，将40×倍视野的图像块输入C1分类器（第二预设病变区域识别模型）进行分类，获得40×倍视野的图像块分类结果，将两个分类器的结果合并，得到包含病变区域信息的数字切片图（切片全场图），用户在前端在ESD标本图进行切痕线标注，在ESD标本图进行病变区域复原，在前端显示进行了病变区域复原的ESD标本图，用户对ESD标本图中的病变区域进行测量。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种胃粘膜ESD切除标本图像的病变区域测量装置，包括：图像获取模块210、切片病变区域位置获取模块220、内部病变区域计算模块230和测量数据获取模块240，其中：

图像获取模块210，用于获取胃粘膜ESD切除标本图和多个切片全场图；所述胃粘膜ESD切除标本图包括多条切痕线，所述切痕线与所述切片全场图对应，所述切痕线的长度与所述切片全场图中切片的最长径呈正比。

切片病变区域位置获取模块220，用于将所述切片全场图输入预设病变区域识别模型，获得切片病变区域位置。

内部病变区域计算模块230，用于根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，以及所述切片病变区域位置的像素最长径、所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，计算所述胃粘膜ESD切除标本图中内部病变的区域。

测量数据获取模块240，用于根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据。

在其中一个实施例中，所述胃粘膜ESD切除标本图像的病变区域测量装置，还包括：切痕线长度获取模块，用于获取所述切痕线的长度。其中，所述切痕线长度获取模块包括：端点位置获取单元，用于获取根据所述胃粘膜ESD切除标本图中切痕线标注的两个端点位置；切痕线长度计算单元，用于根据所述两个端点位置，计算所述切痕线的长度。

在其中一个实施例中，所述胃粘膜ESD切除标本图像的病变区域测量装置，还包括：切片最长径获取模块，用于获取所述切片全场图中切片的最长径。其中，所述切片最长径获取模块包括：四端获取单元，用于对所述切片全场图的从上端、下端、左端、右端分别进行扫描，获得所述切片的边界的上端、下端、左端、右端；矩形边界构建单元，用于根据所述切片的边界的上端、下端、左端、右端，构建所述切片的矩形边界；切片最长径获取单元，用于计算所述切片的矩形边界的两个最短边的中点的距离，获得所述切片全场图中切片的最长径。

在其中一个实施例中，所述胃粘膜ESD切除标本图像的病变区域测量装置，还包括：切片病变区域最长径获取模块，用于获取所述切片病变区域位置的像素最长径。其中，所述切片病变区域最长径获取模块包括：四端获取单元，获取所述切片病变区域位置的边界的上端、下端、左端、右端；病变区域矩形边界构建单元，用于根据所述切片病变区域位置的边界的上端、下端、左端、右端，构建切片病变区域的矩形边界；切片病变区域最长径获取单元，用于计算所述切片病变区域的矩形边界的两个最短边的中点的距离，获得所述切片病变区域位置的像素最长径。

在其中一个实施例中，所述切片病变区域位置获取模块220包括：图像块划分单元，用于将所述切片全场图中20×视野图和40×视野图均切分成预设大小的图像块；打分单元，用于将所述图像块输入预设病变区域识别模型，获得所述图像块为病变位置的打分；最终打分单元，用于对所述20×视野图和40×视野图的相同切片位置的所述图像块的打分进行加权平均，获得所述图像块为病变位置的最终打分；切片病变区域位置获取单元，用于将最终打分超过预设值的相邻的图像块合并，获得切片病变区域位置。

在其中一个实施例中，所述打分单元包括：第一打分子单元，用于将所述20×视野图的图像块输入第一预设病变区域识别模型，获得所述20×视野图的图像块为病变位置的打分；第二打分子单元，用于将所述40×视野图的图像块输入第二预设病变区域识别模型，获得所述40×视野图的图像块为病变位置的打分。

在其中一个实施例中，所述预设病变区域识别模型包括第一运算层、第二运算层、第三运算层、第四运算层和第五运算层，图像块经过每个所述运算层获得多张特征图；其中，所述第一运算层包括卷积函数、批标准化函数、线性整流函数和最大池化函数，所述第二运算层包括一个卷积运算块和两个特征运算块，所述第三运算层包括一个卷积运算块和三个特征运算块，所述第四运算层包括一个卷积运算块和五个特征运算块，所述第五运算层包括一个卷积运算块和两个特征运算块。

在其中一个实施例中，所述内部病变区域计算模块230包括：缩放比例计算单元，用于根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，计算所述胃粘膜ESD切除标本图与所述切片全场图的缩放比例；病变区域长度计算单元，用于根据所述切片病变区域位置的像素最长径和所述缩放比例，计算在胃粘膜ESD切除标本图中所述切痕线位置的病变区域长度；距离计算单元，用于根据所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，以及所述缩放比例，计算在所述胃粘膜ESD切除标本图中病变区域边界与同侧所述切痕线端部的距离；位置确定单元，用于根据所述病变区域长度和所述病变区域边界与同侧所述切痕线端部的距离，确定所述胃粘膜ESD切除标本图中在所述切痕线上病变区域的位置；边界点确定单元，用于根据所述切痕线上病变区域的位置，确定所述切痕线上病变区域的边界点；区域获得单元，用于将多个所述切痕线上病变区域的边界点通过平滑曲线顺次连接，获得所述胃粘膜ESD切除标本图中内部病变的区域。

在其中一个实施例中，所述测量数据获取模块240包括：比例计算单元，用于获取所述胃粘膜ESD切除标本图的物理世界与像素世界的比例；测量数据计算单元，用于根据所述物理世界与像素世界的比例，计算所述内部病变的区域位置的最长径和最短径。

关于胃粘膜ESD切除标本图像的病变区域测量装置的具体限定可以参见上文中对于胃粘膜ESD切除标本图像的病变区域测量方法的限定，在此不再赘述。上述胃粘膜ESD切除标本图像的病变区域测量装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设病变区域识别模型数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种胃粘膜ESD切除标本图像的病变区域测量方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取胃粘膜ESD切除标本图和多个切片全场图；所述胃粘膜ESD切除标本图包括多条切痕线，所述切痕线与所述切片全场图对应，所述切痕线的长度与所述切片全场图中切片的最长径呈正比；

将所述切片全场图输入预设病变区域识别模型，获得切片病变区域位置；

根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，以及所述切片病变区域位置的像素最长径、所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，计算所述胃粘膜ESD切除标本图中内部病变的区域；

根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取胃粘膜ESD切除标本图和多个切片全场图；所述胃粘膜ESD切除标本图包括多条切痕线，所述切痕线与所述切片全场图对应，所述切痕线的长度与所述切片全场图中切片的最长径呈正比；

将所述切片全场图输入预设病变区域识别模型，获得切片病变区域位置；

根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，以及所述切片病变区域位置的像素最长径、所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，计算所述胃粘膜ESD切除标本图中内部病变的区域；

根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种胃粘膜ESD切除标本图像的病变区域测量方法，其特征在于，所述方法包括：

获取胃粘膜ESD切除标本图和多个切片全场图；所述胃粘膜ESD切除标本图包括多条切痕线，所述切痕线与所述切片全场图对应，所述切痕线的长度与所述切片全场图中切片的最长径呈正比；

将所述切片全场图输入预设病变区域识别模型，获得切片病变区域位置；

根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，以及所述切片病变区域位置的像素最长径、所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，计算所述胃粘膜ESD切除标本图中内部病变的区域；其中，包括：根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，计算所述胃粘膜ESD切除标本图与所述切片全场图的缩放比例；根据所述切片病变区域位置的像素最长径和所述缩放比例，计算在胃粘膜ESD切除标本图中所述切痕线位置的病变区域长度；根据所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，以及所述缩放比例，计算在所述胃粘膜ESD切除标本图中病变区域边界与同侧所述切痕线端部的距离；根据所述病变区域长度和所述病变区域边界与同侧所述切痕线端部的距离，确定所述胃粘膜ESD切除标本图中在所述切痕线上病变区域的位置；根据所述切痕线上病变区域的位置，确定所述切痕线上病变区域的边界点；将多个所述切痕线上病变区域的边界点通过平滑曲线顺次连接，获得所述胃粘膜ESD切除标本图中内部病变的区域；

根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据；

其中，所述像素最长径为所述切片病变区域位置确定的矩形边界的两个中点的连线的长度。

2.根据权利要求1所述的方法，其特征在于，还包括：获取所述切痕线的长度；

其中，所述获取所述切痕线的长度包括：

获取根据所述胃粘膜ESD切除标本图中切痕线标注的两个端点位置；

根据所述两个端点位置，计算所述切痕线的长度。

3.根据权利要求1所述的方法，其特征在于，还包括：获取所述切片全场图中切片的最长径；

其中，获取所述切片全场图中切片的最长径包括：

对所述切片全场图的从上端、下端、左端、右端分别进行扫描，获得所述切片的边界的上端、下端、左端、右端；

根据所述切片的边界的上端、下端、左端、右端，构建所述切片的矩形边界；

计算所述切片的矩形边界的两个最短边的中点的距离，获得所述切片全场图中切片的最长径。

4.根据权利要求1所述的方法，其特征在于，还包括：获取所述切片病变区域位置的像素最长径；

其中，获取所述切片病变区域位置的像素最长径包括：

获取所述切片病变区域位置的边界的上端、下端、左端、右端；

根据所述切片病变区域位置的边界的上端、下端、左端、右端，构建切片病变区域的矩形边界；

计算所述切片病变区域的矩形边界的两个最短边的中点的距离，获得所述切片病变区域位置的像素最长径。

5.根据权利要求1所述的方法，其特征在于，所述将所述切片全场图输入预设病变区域识别模型，获得切片病变区域位置，包括：

将所述切片全场图中20×视野图和40×视野图均切分成预设大小的图像块；

将所述图像块输入预设病变区域识别模型，获得所述图像块为病变位置的打分；

对所述20×视野图和40×视野图的相同切片位置的所述图像块的打分进行加权平均，获得所述图像块为病变位置的最终打分；

将最终打分超过预设值的相邻的图像块合并，获得切片病变区域位置。

6.根据权利要求5所述的方法，其特征在于，所述将所述图像块输入预设病变区域识别模型，获得所述图像块为病变位置的打分，包括：

将所述20×视野图的图像块输入第一预设病变区域识别模型，获得所述20×视野图的图像块为病变位置的打分；

将所述40×视野图的图像块输入第二预设病变区域识别模型，获得所述40×视野图的图像块为病变位置的打分。

7.根据权利要求5或6所述的方法，其特征在于，所述预设病变区域识别模型包括第一运算层、第二运算层、第三运算层、第四运算层和第五运算层，图像块经过每个所述运算层获得多张特征图；其中，所述第一运算层包括卷积函数、批标准化函数、线性整流函数和最大池化函数，所述第二运算层包括一个卷积运算块和两个特征运算块，所述第三运算层包括一个卷积运算块和三个特征运算块，所述第四运算层包括一个卷积运算块和五个特征运算块，所述第五运算层包括一个卷积运算块和两个特征运算块。

8.根据权利要求1所述的方法，其特征在于，所述根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据，包括：

获取所述胃粘膜ESD切除标本图的物理世界与像素世界的比例；

根据所述物理世界与像素世界的比例，计算所述内部病变的区域位置的最长径和最短径。

9.一种胃粘膜ESD切除标本图像的病变区域测量装置，其特征在于，所述装置包括：

图像获取模块，用于获取胃粘膜ESD切除标本图和多个切片全场图；所述胃粘膜ESD切除标本图包括多条切痕线，所述切痕线与所述切片全场图对应，所述切痕线的长度与所述切片全场图中切片的最长径呈正比；

切片病变区域位置获取模块，用于将所述切片全场图输入预设病变区域识别模型，获得切片病变区域位置；

内部病变区域计算模块，用于根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，以及所述切片病变区域位置的像素最长径、所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，计算所述胃粘膜ESD切除标本图中内部病变的区域；其中，包括：根据所述切痕线的长度与所述切片全场图中切片的最长径的比值，计算所述胃粘膜ESD切除标本图与所述切片全场图的缩放比例；根据所述切片病变区域位置的像素最长径和所述缩放比例，计算在胃粘膜ESD切除标本图中所述切痕线位置的病变区域长度；根据所述切片病变区域位置的边界与所述切片全场图中切片的边界在所述切痕线方向的距离，以及所述缩放比例，计算在所述胃粘膜ESD切除标本图中病变区域边界与同侧所述切痕线端部的距离；根据所述病变区域长度和所述病变区域边界与同侧所述切痕线端部的距离，确定所述胃粘膜ESD切除标本图中在所述切痕线上病变区域的位置；根据所述切痕线上病变区域的位置，确定所述切痕线上病变区域的边界点；将多个所述切痕线上病变区域的边界点通过平滑曲线顺次连接，获得所述胃粘膜ESD切除标本图中内部病变的区域；

测量数据获取模块，用于根据所述胃粘膜ESD切除标本图中内部病变的区域，获取所述内部病变的区域位置的测量数据；

其中，所述像素最长径为所述切片病变区域位置确定的矩形边界的两个中点的连线的长度。

Images