CN108171694B

CN108171694B - 基于卷积神经网络的结节检测方法、***及设备

Info

Publication number: CN108171694B
Application number: CN201711464206.XA
Authority: CN
Inventors: 王雅儒; 冯乃章; 唐艳红
Original assignee: Opening Of Biomedical Technology Wuhan Co ltd
Current assignee: Opening of biomedical technology (Wuhan) Co.,Ltd.
Priority date: 2017-12-28
Filing date: 2017-12-28
Publication date: 2021-05-14
Anticipated expiration: 2037-12-28
Also published as: CN108171694A

Abstract

本发明公开了一种基于卷积神经网络的结节检测方法，包括：利用卷积神经网络对获取的结节的三维体数据进行分析，得到结节的分类信息以及位置信息；输出分类信息以及位置信息；该方法与基于二维图像的结节识别算法相比，本发明中的三维体数据包含更丰富、全面的信息，可以取得比二维结节更高的识别准确率，且避免了二维图像的结节识别算法对同一结节不同切面评分不同的弊端。本发明还公开了一种基于卷积神经网络的结节检测***、设备及计算机可读存储介质，具有上述有益效果。

Description

基于卷积神经网络的结节检测方法、***及设备

技术领域

本发明涉及辅助医学诊断领域，特别涉及一种基于卷积神经网络的结节检测方法、***、设备及计算机可读存储介质。

背景技术

甲状腺结节是指在甲状腺内的肿块，可随吞咽动作随甲状腺而上下移动，是临床常见的病症，可由多种病因引起。临床上有多种甲状腺疾病，如甲状腺退行性变、炎症、自身免疫以及新生物等都可以表现为结节。甲状腺结节可以单发，也可以多发，多发结节比单发结节的发病率高，但单发结节甲状腺癌的发生率较高。

目前，甲状腺结节等各类结节的检测主要有两种形式。第一，人工判断，其依赖于医生的临床经验，且对结节的诊断存在较大的主观性，经验较欠缺的医生难以进行有效的诊断。第二，利用二维图像诊断，基于二维切面的结节深度学习对结节没有全面的认知，忽略了结节的三维本质，难免遗漏较多信息，因此对同一结节不同切面进行评判时可能得到不同的结果；即二维结节诊断从某些切面评估结节的某些整体特征较为困难且比较片面，可能出现漏诊、误诊。

因此，如何提高基于卷积神经网络的结节检测的准确性、可靠性，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种基于卷积神经网络的结节检测方法、***、设备及计算机可读存储介质，利用卷积神经网络对三维体数据进行深度学习分析，三维体数据包含更丰富、全面的信息，因此提高基于卷积神经网络的结节检测的准确性、可靠性。

为解决上述技术问题，本发明提供一种基于卷积神经网络的结节检测方法，所述方法包括：

利用卷积神经网络对获取的结节的三维体数据进行分析，得到所述结节的分类信息以及位置信息；

输出所述分类信息以及所述位置信息。

可选的，所述利用卷积神经网络对获取的结节的三维体数据进行分析，得到所述结节的分类信息以及位置信息，包括：

通过三维特征提取网络提取所述三维体数据的特征信息；

根据所述三维体数据对应的体积数据生成密集长方体框序列；

利用分类子网对所述密集长方体框序列以及所述特征信息进行处理，得到所述结节的分类信息；和/或，

利用回归子网对所述密集长方体框序列以及所述特征信息进行处理，得到所述结节的长方体包围框；和/或，

利用分割子网对所述长方体包围框进行处理，得到所述结节的掩膜信息。

可选的，所述根据所述三维体数据对应的体积数据生成密集长方体框序列，包括：

利用RPN网络对所述三维体数据进行检测，获取候选VOI区域；

根据所述候选VOI区域对应的三维体数据的体积数据生成密集长方体框序列。

可选的，所述利用分割子网对所述长方体包围框进行处理，得到所述结节的掩膜信息，包括：

对长方体包围框进行非极大值抑制计算，得到精确包围框；

利用分割子网对所述精确包围框内的体数据进行分割，得到所述结节的掩膜信息。

可选的，所述三维体数据的获取，包括：

利用三维超声探头获取所述三维体数据。

可选的，所述利用卷积神经网络对获取的结节的三维体数据进行分析，得到所述结节的分类信息以及位置信息之前，还包括：

对获取的结节的三维体数据进行重采样；

将每个重采样后的三维体数据除以获取的三维体数据中的最大值，并减去0.5，得到归一化体数据。

可选的，所述输出所述分类信息以及所述位置信息，包括：

对所述分类信息、所述位置信息以及所述预处理后的体数据进行三维渲染处理，可视化输出处理后的数据。

本发明还提供一种基于卷积神经网络的结节检测***，所述***包括：

深度学习模块，用于利用卷积神经网络对获取的结节的三维体数据进行分析，得到所述结节的分类信息以及位置信息；

输出模块，用于输出所述分类信息以及所述位置信息。

可选的，所述输出模块具体为可视化输出所述分类信息以及所述位置信息的模块。

本发明还提供一种基于卷积神经网络的结节检测设备，包括：

处理器，用于利用卷积神经网络对获取的结节的三维体数据进行分析，得到所述结节的分类信息以及位置信息；

输出装置，用于输出所述分类信息以及所述位置信息。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述基于卷积神经网络的结节检测方法的步骤。

本发明所提供的一种基于卷积神经网络的结节检测方法，包括：利用卷积神经网络对获取的结节的三维体数据进行分析，得到结节的分类信息以及位置信息；输出所述分类信息以及所述位置信息。

可见，该方法利用卷积神经网络对三维体数据进行分析，与现有技术中基于二维图像的结节识别算法相比，该方法中的三维体数据包含更丰富、全面的信息，可以取得比二维结节更高的识别准确率，且避免了二维图像的结节识别算法对同一结节不同切面评分不同的弊端；即该方法提高结节检测的准确性、可靠性。本发明还提供了一种基于卷积神经网络的结节检测***、设备及计算机可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的基于卷积神经网络的结节检测方法的流程图；

图2为本发明实施例所提供的一种具体的基于卷积神经网络的结节检测方法的流程示意图；

图3为本发明实施例所提供的基于卷积神经网络的结节检测***的结构框图；

图4为本发明实施例所提供的基于卷积神经网络的结节检测设备的结构框图。

具体实施方式

本发明的核心是提供一种基于卷积神经网络的结节检测方法、***、设备及计算机可读存储介质，利用卷积神经网络对三维体数据进行深度学习分析，提高基于卷积神经网络的结节检测的准确性、可靠性。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例为了解决现有技术中采用二维图像进行结节(例如甲状腺结节)的检测，会遗漏信息较多，且其对不同切面结节的二维图像的判断可能存在分歧，可能因此造成误诊的现象。本实施例采用卷积神经网络对三维体数据进行深度学习分析。具体请参考图1，图1为本发明实施例所提供的基于卷积神经网络的结节检测方法的流程图；该方法可以包括：

S110、利用卷积神经网络对获取的结节的三维体数据进行分析，得到所述结节的分类信息以及位置信息。

其中，卷积神经网络是一种具有监督学习机制的深度学习算法，利用该卷积神经网络可以进行结节的三维定位、分割、良恶性评估等。前期的对卷积神经网络的训练可以直接以结节的三维体数据为训练数据进行卷积神经网络的训练。利用训练后的卷积神经网络对预处理后的体数据进行分析，得到结节的分类信息以及位置信息。一般情况下对于卷积神经网络训练需要使其具备分类、检测以及分割能力，本实施例中即需要卷积神经网络能够根据输入的预处理后的体数据识别该结节是良性结节、恶性结节还是非结节。即得到结节的分类信息。本实施例为了进一步提高基于卷积神经网络的结节检测的准确性，更加有利于医生整体把握结节的特征，有利于对结节良恶性的评估，本实施例还需要卷积神经网络能够得到结节的位置信息。本实施例并不限定结节的位置信息的种类，其可以根据用户实际需求进行训练。例如可以包含分割信息(例如体素类别的mask模板即掩膜信息)，或者是回归信息(例如结节长方体包围框)等，也可以是结节的位置信息、回归信息以及分割信息的任意组合。例如通过卷积神经网络对预处理后的体数据进行检测、分类和分割时，可以得到长方体包围框(检测结果)、良、恶性结节判定结果(分类结果)以及结节的三维mask掩膜(分割结果)。

本实施例并不限定具体结节的三维体数据的获取方式，用户可以根据实际需求确定采集三维体数据的具体方式。例如可以是通过自由臂扫描或三维超声探头。其中，当使用自由臂扫描获取三维体数据时，需要扫描过程中自由臂保持稳定，且需要算法进行图像配准。当使用三维超声探头时，可以直接获取三维体数据(即B超体数据)；因此三维超声探头相比于自由臂扫描更加稳定、快捷、准确。对应后续的卷积神经网络能取得更加准确的结果。因此，优选的，本实施例中利用三维超声探头获取三维体数据。

进一步，本实施例为了提高卷积神经网络检测的准确性，可以对输入卷积神经网络的三维体数据进行预处理，从而可以提高输入卷积神经网络的三维体数据的可靠性。优选的，在步骤S110之前还可以包括对获取的结节的三维体数据进行预处理，得到预处理后的体数据。本实施例并不限定具体的进行预处理的方式，用户可以根据实际情况进行选择。

其中，预处理的主要目的是为了对获取的结节的三维体数据进行预处理，从而保证利用卷积神经网络进行分析的数据的可靠性，以提高最终检测结果的准确性。其中，三维体数据包含了结节所在立体空间所有超声数据，而不仅是某一切面的二维数据，因此信息更加丰富全面。避免遗漏信息，可以更准确的对结节进行智能诊断。即与基于二维图像的结节深度学习算法(例如卷积神经网络)相比，使用二维图像进行网络训练，忽略结节的三维本质，结节三维体数据包含更丰富的信息，可以取得比二维结节更高的识别准确率，且避免了二维算法对同一结节不同切面评分不同的弊端。

本实施例并不限定具体的预处理方式。用户可以根据硬件实际计算能力，以及数据获取的来源等确定相应的预处理过程。一般情况下，预处理可以包括：重采样、去噪、去除不可靠数据等。因此，可选的，对获取的结节的三维体数据进行预处理，得到预处理后的体数据可以包括：

对获取的结节的三维体数据进行重采样；

将每个重采样后的三维体数据除以获取的三维体数据中的最大值，并减去0.5，得到归一化体数据。即预处理后的体数据为相同大小的归一化体数据。

具体的，对自由臂扫描或三维超声探头获得的三维体数据进行重采样，将其采样至合适的大小。例如对于较大的三维体数据需要等比例的降采样，而较小的三维体数据则进行等比例升采样。重采样的大小可以由用户进行设定或修改。

将每个重采样后的三维体数据除以获取的三维体数据中的最大值，并减去0.5，得到归一化体数据，利用预处理后得到的归一化体数据有利于提升后续卷积神经网络的检测准确性。

为了得到完整的信息，便于医生对结节进行可靠的诊断。本实施例中在使用卷积神经网络对预处理后的体数据进行处理时，需要载入网络权值文件(其中，网络权值文件是记录卷积神经网络参数的文件。卷积神经网络需要载入此文件，本实施例并不对该网络权值文件中各个卷积神经网络参数的具体数值和种类进行限定，其根据后续分析的内容和实际硬件计算能力进行选择和修改)。本实施例并不对执行主体进行限定，可以是处理器，也可以是图形处理器(GPU)。优选的，利用卷积神经网络对预处理后的体数据进行分析，得到结节的分类信息以及位置信息可以包括：

通过三维特征提取网络提取预处理后的体数据(当然也可以是最初的三维体数据)的特征信息；

其中，将预处理后的体数据输入到卷积神经网络(即CNN网络)中。在卷积神经网络中，首先利用三维特征提取网络提取体数据的高层信息即特征信息以得到数据量更小的抽象特征(本实施例中并不限定具体的三维特征提取网络算法，例如Resnet3D)。

根据预处理后的体数据对应的体积数据生成密集长方体框序列；

其中，对预处理后的体数据对应的体积数据，即预处理后的体数据的长、宽、高数据进行处理生成不同大小、不同位置、不同长宽高比例的遍布体数据的密集长方体框序列。

利用分类子网对密集长方体框序列以及特征信息进行处理，得到结节的分类信息；和/或，

其中，分类子网进行判断密集长方体框序列所框选的体数据部分是属于良性结节、恶性结节还是非结节。即分类信息包括良性结节、恶性结节以及非结节。进一步还可以给出每种情况的概率值。

利用回归子网对密集长方体框序列以及特征信息进行处理，得到结节的长方体包围框；和/或，

其中，对不同大小、不同位置、不同长宽高比例的遍布体数据的密集长方体框序列进行分类、回归训练，得到精确的长方体包围框。进一步为了减少数据处理量，还可以在生成密集长方体框序列之前对数据进行筛选以减少数据量。本实施例并不限定具体的数据筛选形式，例如使用RPN网络进行数据筛选。即优选的，本实施例中可以利用RPN网络对所述三维体数据进行检测，获取候选VOI区域(Volume Of Interest，三维感兴趣区域)；根据所述候选VOI区域对应的三维体数据的体积数据生成密集长方体框序列。具体的，对密集长方体框序列中的长方体框进行小的位置移动以及长宽高的调整，可以得到框内目标更为精确的位置框。即回归子网用以精细调节候选VOI位置，其可以计算更加精确的候选VOI的起点坐标以及长宽高，得到长方体包围框。医生可以重点关注该区域。

其中，分割子网用以分割结节，其输出为表示体素类别的mask模板。即掩膜模板，掩模是由0、1或其他整数组成的一个体数据块，其与预处理后的体数据大小相等。在本实施例中，0表示其属于背景，即非结节区域，1表示其属于良性结节区域，2表示其属于恶性结节区域。本实施例中mask模板大小可以为M*M*M，分别对应每一个VOI体素，体素的值为0表示非结节，为1表示良性结节，为2表示恶性结节。通过结节的掩膜信息进行结节的可视化可以方便医生把握结节整体特征，提升诊断效率和准确性。

具体过程可以是：

对结节的长方体包围框进行非极大值抑制计算，得到精确包围框；从而可以效果较差的回归子网处理后的长方体包围框，得到更加精确的长方体包围框。

对非极大值抑制计算后得到的更加精确的长方体包围框内的体数据送入分割子网进行分割，得到目标的结节的掩膜信息即Mask掩模。

S120、输出分类信息以及位置信息。

具体的，通过输出分类信息以及位置信息可以为部分经验有限的医生提供参考，可让医生重点关注高风险区域，也可作为医生诊断的补充防止漏诊，方便医生把握结节整体特征，提升诊断效率和准确性。即可以提供统一的，准确性更高的结节诊断结果。

本实施例并不限定具体的输出形式，例如可以是利用显示装置进行输出，也可以是文字输出，当然也可以是多种输出形式结合。例如显示装置输出位置信息，并通过语音设备输出该位置信息对应的分类信息。

基于上述技术方案，本发明实施例提的基于卷积神经网络的结节检测方法，利用卷积神经网络对三维体数据进行分析，与现有技术中基于二维图像的结节识别算法相比，该方法中的三维体数据包含更丰富、全面的信息，可以取得比二维结节更高的识别准确率，且避免了二维图像的结节识别算法对同一结节不同切面评分不同的弊端；即该方法提高基于卷积神经网络的结节检测的准确性、可靠性。

基于上述实施例，输出分类信息以及位置信息可以包括：

可视化输出分类信息以及位置信息。

具体的，由于基于卷积神经网络的结节检测结果包含了位置信息(即分割信息)，因此若仅仅是文字输出会降低医生获取检测结果的效率。通过可视化输出可以使得医生对于结节的具体形态等有了更加直观的感受，更加快速的捕捉到重点信息，有利于医生整体把握结节特征，有利于结节良恶性的评估。例如通过可视化输出可以使医生看到结节形态、结节边缘光整与否、结节钙化形态等信息，而这些信息通过其他输出方式并不容易获取甚至是不能够很完整的获取。

进一步为了提高可视化输出的数据的显示效果，可以进行三维可视化输出。即优选的，可视化输出分类信息以及位置信息可以包括：

对分类信息、位置信息中的分割信息以及预处理后的体数据进行三维渲染处理，可视化输出处理后的数据。

具体的，在得到良恶性等分类信息以及mask等信息后，与体数据一起进行三维渲染输出。三维可视化更容易对于某些结节的整体特征例如结节形态、结节边缘光整与否、结节钙化形态等进行了解。本实施例的具体执行流程过程可以参考图2。本实施例中还可以根据医生的需求对结节图像进行360°展示，即可以根据用户选择的观察角度输出该角度下的三维渲染的结节。

进一步，为了更加便于医生对于识别到的结节进行全面的观察，本实施例还可以根据用户输入的指令，输出用户所选择的切面的结节的二维切面图像。这里并不限定具体的提取二维切面图像的具体算法。例如可以是插值法进行切面提取。

基于上述技术方案，本发明实施例提的基于卷积神经网络的结节检测方法，对识别出的结节进行三维可视化，医生可以手动调节观察角度从任意方向观察三维渲染的结节，并可以根据需要显示任意切面的结节二维切面图像，因此，医生可以对结节有更全面、立体的认知。进一步提高基于卷积神经网络的结节检测的准确性、可靠性。

下面对本发明实施例提供的基于卷积神经网络的结节检测***、设备及计算机可读存储介质进行介绍，下文描述的基于卷积神经网络的结节检测***、设备及计算机可读存储介质与上文描述的基于卷积神经网络的结节检测方法可相互对应参照。

请参考图3，图3为本发明实施例所提供的基于卷积神经网络的结节检测***的结构框图；该***可以包括：

深度学习模块100，用于利用卷积神经网络对获取的结节的三维体数据进行分析，得到所述结节的分类信息以及位置信息；

输出模块200，用于输出所述分类信息以及所述位置信息。

需要说明的是，基于上述任意实施例，基于卷积神经网络的结节检测***可以是基于可编程逻辑器件实现的，可编程逻辑器件包括FPGA，CPLD，单片机等。

基于上述实施例，输出模块200具体为可视化输出所述分类信息以及所述位置信息的模块。

请参考图4，图4为本发明实施例所提供的基于卷积神经网络的结节检测设备的结构框图；该设备可以包括：

处理器400，用于利用卷积神经网络对获取的结点的三维体数据进行分析，得到所述结节的分类信息以及位置信息；

输出装置500，用于输出所述分类信息以及所述位置信息。

本实施例并不对输出装置500的形式进行限定。进一步，所述输出装置500可以包括显示装置，例如显示屏或者显示器等。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例中基于卷积神经网络的结节检测方法的步骤。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种基于卷积神经网络的结节检测方法、***、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种基于卷积神经网络的结节检测方法，其特征在于，所述方法包括：

对所述分类信息、所述位置信息以及预处理后的体数据进行三维渲染处理，可视化输出处理后的数据；

根据输入的指令，输出所述指令对应的切面的结节的二维切面图像；

其中，所述利用卷积神经网络对获取的结节的三维体数据进行分析，得到所述结节的分类信息以及位置信息，包括：

通过三维特征提取网络提取所述三维体数据的特征信息；

2.根据权利要求1所述的方法，其特征在于，所述根据所述三维体数据对应的体积数据生成密集长方体框序列，包括：

利用RPN网络对所述三维体数据进行检测，获取候选VOI区域；

3.根据权利要求2所述的方法，其特征在于，所述利用分割子网对所述长方体包围框进行处理，得到所述结节的掩膜信息，包括：

对长方体包围框进行非极大值抑制计算，得到精确包围框；

4.根据权利要求1所述的方法，其特征在于，所述三维体数据的获取，包括：

利用三维超声探头获取所述三维体数据。

5.根据权利要求4所述的方法，其特征在于，所述利用卷积神经网络对获取的结节的三维体数据进行分析，得到所述结节的分类信息以及位置信息之前，还包括：

对获取的结节的三维体数据进行重采样；

6.一种基于卷积神经网络的结节检测***，其特征在于，所述***包括：

深度学习模块，用于利用卷积神经网络对获取的结节的三维体数据进行分析，得到所述结节的分类信息以及位置信息；其中，所述利用卷积神经网络对获取的结节的三维体数据进行分析，得到所述结节的分类信息以及位置信息，包括：通过三维特征提取网络提取所述三维体数据的特征信息；根据所述三维体数据对应的体积数据生成密集长方体框序列；利用分类子网对所述密集长方体框序列以及所述特征信息进行处理，得到所述结节的分类信息；和/或，利用回归子网对所述密集长方体框序列以及所述特征信息进行处理，得到所述结节的长方体包围框；和/或，利用分割子网对所述长方体包围框进行处理，得到所述结节的掩膜信息；

输出模块，用于对所述分类信息、所述位置信息以及预处理后的体数据进行三维渲染处理，可视化输出处理后的数据；并根据输入的指令，输出所述指令对应的切面的结节的二维切面图像。

7.一种基于卷积神经网络的结节检测设备，其特征在于，包括：

处理器，用于利用卷积神经网络对获取的结节的三维体数据进行分析，得到所述结节的分类信息以及位置信息；其中，所述利用卷积神经网络对获取的结节的三维体数据进行分析，得到所述结节的分类信息以及位置信息，包括：通过三维特征提取网络提取所述三维体数据的特征信息；根据所述三维体数据对应的体积数据生成密集长方体框序列；利用分类子网对所述密集长方体框序列以及所述特征信息进行处理，得到所述结节的分类信息；和/或，利用回归子网对所述密集长方体框序列以及所述特征信息进行处理，得到所述结节的长方体包围框；和/或，利用分割子网对所述长方体包围框进行处理，得到所述结节的掩膜信息；

输出装置，用于对所述分类信息、所述位置信息以及预处理后的体数据进行三维渲染处理，可视化输出处理后的数据；并根据输入的指令，输出所述指令对应的切面的结节的二维切面图像。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于卷积神经网络的结节检测方法的步骤。