CN110414539A - 一种提取特征描述信息的方法和相关装置 - Google Patents

一种提取特征描述信息的方法和相关装置 Download PDF

Info

Publication number
CN110414539A
CN110414539A CN201910718001.2A CN201910718001A CN110414539A CN 110414539 A CN110414539 A CN 110414539A CN 201910718001 A CN201910718001 A CN 201910718001A CN 110414539 A CN110414539 A CN 110414539A
Authority
CN
China
Prior art keywords
lump
region
image
targeted tumor
tumor region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910718001.2A
Other languages
English (en)
Inventor
江铖
田宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910718001.2A priority Critical patent/CN110414539A/zh
Publication of CN110414539A publication Critical patent/CN110414539A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请实施例公开一种基于人工智能技术的提取特征描述信息的方法和相关装置，当需要针对待处理图像提取特征描述信息时，可以确定待处理图像中的目标肿块区域，然后利用训练得到的分类网络模型对目标肿块区域进行处理。由于该分类网络模型是根据具有确定特征描述信息的肿块区域图像作为训练样本进行训练得到的，其中，特征描述信息用于描述肿块区域中肿块的外形特征。因此，将目标肿块区域输入至该分类网络模型后，该分类网络模型可以自动地提取目标肿块区域中肿块的特征描述信息，由此不再需要人工经验获取特征描述信息，减少了对待处理图像分析的工作量，减少了人为干扰，提高了特征描述信息的提取效率。

Description

一种提取特征描述信息的方法和相关装置
技术领域
本申请涉及数据处理领域，特别是涉及一种基于人工智能技术的提取特征描述信息的方法和相关装置。
背景技术
人身体的某个部位例如乳腺、肺部等部位可能会存在肿块，通过医学成像技术可以得到包括肿块的部位的医学影像图。肿块的特征描述信息可以描述医学影像图中位于该部位的肿块的外形特征，外形特征可以提供准确、有效的肿块相关信息，用于后续处理。
目前，主要通过人工的方式阅读医学影像图，从而确定出肿块的特征描述信息。但是，这种方式与人工经验的关联性较强，人为干扰高，效率低下。
发明内容
为了解决上述技术问题，本申请提供了一种提取特征描述信息的方法和相关装置，减少了对待处理图像分析的工作量，减少了人为干扰，提高了特征描述信息的提取效率。
本申请实施例公开了如下技术方案：
第一方面，本申请实施例提供一种提取特征描述信息的方法，所述方法包括：
获取待处理图像；所述待处理图像为包括生物组织的医学影像图；
确定所述待处理图像中的目标肿块区域；
根据所述目标肿块区域，利用分类网络模型提取所述目标肿块区域中肿块的特征描述信息，所述特征描述信息用于描述所述目标肿块区域中肿块的外形特征。
第二方面，本申请实施例提供一种提取特征描述信息的装置，所述装置包括获取单元、第一确定单元和提取单元：
所述获取单元，用于获取待处理图像；所述待处理图像为包括生物组织的医学影像图；
所述第一确定单元，用于确定所述待处理图像中的目标肿块区域；
所述提取单元，用于根据所述目标肿块区域，利用分类网络模型提取所述目标肿块区域中肿块的特征描述信息，所述特征描述信息用于描述所述目标肿块区域中肿块的外形特征。
第三方面，本申请实施例提供一种医疗器械，所述医疗器械包括图像采集模组、图像处理模组和图像显示模组：
所述图像采集模组，用于获取待处理图像；所述待处理图像为包括生物组织的医学影像图；
所述图像处理模组，用于确定所述待处理图像中的目标肿块区域；根据所述目标肿块区域，利用分类网络模型提取所述目标肿块区域中肿块的特征描述信息，所述特征描述信息用于描述所述目标肿块区域中肿块的外形特征；
所述图像显示模组，用于显示所述目标肿块区域以及所述特征描述信息。
第四方面，本申请实施例提供一种用于提取特征描述信息的设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面任一项所述的方法。
第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面任一项所述的方法。
由上述技术方案可以看出，当需要针对待处理图像提取特征描述信息时，可以确定待处理图像中的目标肿块区域，然后利用训练得到的分类网络模型对目标肿块区域进行处理。由于该分类网络模型是根据具有确定特征描述信息的肿块区域图像作为训练样本进行训练得到的，其中，特征描述信息用于描述肿块区域中肿块的外形特征。因此，将目标肿块区域输入至该分类网络模型后，该分类网络模型可以自动地提取目标肿块区域中肿块的特征描述信息，由此不再需要人工经验获取特征描述信息，减少了对待处理图像分析的工作量，减少了人为干扰，提高了特征描述信息的提取效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种提取特征描述信息的方法的应用场景示意图；
图2为本申请实施例提供的一种提取特征描述信息的方法流程图；
图3为本申请实施例提供的多任务分类网络的结构示例图；
图4a为本申请实施例提供的一种待处理图像的示例图；
图4b为本申请实施例提供的一种待处理图像的示例图；
图4c为本申请实施例提供的一种待处理图像的示例图；
图5为本申请实施例提供的一种提取特征描述信息的方法的流程图；
图6a为本申请实施例提供的一种提取特征描述信息的装置的结构图；
图6b为本申请实施例提供的一种提取特征描述信息的装置的结构图；
图6c为本申请实施例提供的一种提取特征描述信息的装置的结构图；
图7为本申请实施例提供的一种终端设备的结构图；
图8为本申请实施例提供的一种服务器的结构图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
传统的特征描述信息提取方式中，需要通过人工方式阅读医学影像图，从而确定出肿块的特征描述信息。这种方式过度依赖于人工经验，易于受到人为干扰，增加了对医学影像图分析的工作量，效率低下。
为了解决上述技术问题，本申请实施例提供一种提取特征描述信息的方法，由于将具有确定特征描述信息的肿块区域图像作为训练样本可以训练得到分类网络模型，故利用训练得到的分类网络模型可以自动对确定出的目标肿块区域进行特征描述信息提取。
该方法可以应用到数据处理设备，该数据处理设备可以是终端设备，终端设备例如可以是智能终端、计算机、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑等设备。
该数据处理设备还可以是服务器，该服务器可以为独立服务器，也可以为集群服务器。服务器可以从终端设备获取待处理图像，通过对待处理图像进行特征描述信息提取，并将特征描述信息返回至终端设备以供后续使用。
随着人工智能技术研究和进步，可以通过人工智能(Artificial Intelligence，简称AI)技术提取特征描述信息。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请实施例提供的方案涉及人工智能的计算机视觉技术(Computer Vision，简称CV)等技术。
计算机视觉技术是指用摄影机或电脑等终端设备代替人眼对视频中的对象进行识别、跟踪等机器视觉，并进一步做处理得到更适合人眼观察或供仪器检测的图像。具体通过如下实施例进行说明：
为了便于理解本申请的技术方案，下面结合实际应用场景，以终端设备为例对本申请实施例提供的提取特征描述信息的方法进行介绍。
参见图1，图1为本申请实施例提供的提取特征描述信息方法的应用场景示意图。该应用场景中包括终端设备101，终端设备101可以获取待处理图像。待处理图像可以是通过医学成像技术对存在肿块的身体部位进行拍摄得到的包括生物组织的医学影像图，例如乳腺图像、肺部图像、胃部图像等。
终端设备101可以根据待处理图像确定目标肿块区域，目标肿块区域为身体部位中所存在的肿块在待处理图像中所在的区域。
终端设备101将目标肿块区域输入至分类网络模型，由于分类网络模型是根据肿块区域和肿块区域中肿块对应的特征描述信息进行训练得到，故，终端设备101根据目标肿块区域，利用分类网络模型可以自动提取目标肿块区域中肿块的特征描述信息，该特征描述信息用于描述目标肿块区域中肿块的外形特征。由此不再需要人工经验获取特征描述信息，减少了对待处理图像分析的工作量，减少了人为干扰，提高了特征描述信息的提取效率。
接下来，将结合附图对本申请实施例提供的提取特征描述信息的方法进行详细介绍。
参见图2，图2示出了一种提取特征描述信息的方法流程图，所述方法包括：
S201、获取待处理图像。
由于待处理图像是通过医学成像技术对存在肿块的身体部位进行拍摄得到的，故采用不同的医学成像技术得到的待处理图像可能有所不同。
在一种实现方式中，若采用钼靶成像技术所得到的待处理图像可以是钼靶图像。钼靶图像是指通过医学设备(如X线)拍摄的黑白影像。通过钼靶图像可以较为准确的确定肿块具体所在的区域，即目标肿块区域。在实际应用场景中，钼靶图像多数是通过对乳腺进行拍摄得到的乳腺钼靶图像。此时，目标肿块区域为乳腺肿瘤区域。
S202、确定所述待处理图像中的目标肿块区域。
根据待处理图像，采用肿块定位技术可以确定出肿块在待处理图像中所在的位置，即确定出目标肿块区域。
需要说明的是，在对待处理图像进行肿块定位之前，可以对待处理图像继续进行预处理，从而去除待处理图像中的干扰，例如背景、噪声等，便于更加准确的定位得到目标肿块区域。
其中，预处理包括归一化、区域分割、直方图均衡和双边滤波。归一化是指通过线性拉伸将待处理图像的灰度范围拉伸到0-255，提高后续处理的鲁棒性。区域分割是指使用形态学开操作和二值化提取包括肿块的目标部位区域，例如待处理图像为乳腺钼靶图像，则通过区域分割提取乳腺区域，此时，乳腺为目标部位。通过区域分割可以去除标签等背景，开操作可以去除细碎组织和噪声，分割过程使用大津分割(Otsu)方法进行二分类，可以有效提取目标部位区域。通过直方图均衡提高后续处理鲁棒性。使用双边滤波去除目标部位区域中可能存在的噪声，并在一定程度上提高区域同质性，另外双边滤波不会破坏分割边缘。
确定待处理图像中的目标肿块区域的方式可以包括多种，在一种可能的实现方式中，可以通过全卷积分割网络确定目标肿块区域。具体的，将待处理图像输入值全卷积分割网络中，通过全卷积分割网络对待处理图像进行分割，得到候选肿块区域。对候选肿块区域使用形态学操作，例如若候选肿块区域中包括孔洞，填充孔洞。通过填充候选肿块区域中的孔洞，从而得到完整的候选肿块区域，进而根据候选肿块区域确定目标肿块区域时，确定出完整的目标肿块区域，方便后续对目标肿块区域进行分析、处理。
其中，全卷积分割网络是根据训练样本训练得到的。具体训练方式例如为通过人工标注的方式对医学影像图进行像素级标注(1000+)，医学影像图中的肿块区域作为检测目标，其他区域作为背景，通过数据增强之后，作为训练样本对全卷积网络(FullyConvolutional Networks，简称FCN)模型进行训练。模型的权重初始化首先使用PASCALVOC数据集，然后使用公开数据集DDSM，最后使用人工标注了肿块区域的1000+例医学影像图作为训练样本进行迁移学习(输入图像尺寸为1600*1600像素，批处理大小为2，学习率0.00001，最大迭代次数10000)，最终得到可以进行目标肿块区域提取的全卷积分割网络。
在一些情况下，候选肿块区域中包括了一些面积较小的离散区域，由于真正的肿块一般面积不会很小，因此，当候选肿块区域的面积足够小，例如小于一定阈值时，可以认为该候选肿块区域并非真正的肿块区域，从而去除面积小于一定阈值的候选肿块区域，根据剩余的候选肿块区域确定目标肿块区域，避免将不是肿块的区域确定为目标肿块区域，减少误报率。
S203、根据所述目标肿块区域，利用分类网络模型提取所述目标肿块区域中肿块的特征描述信息。
分类网络模型是根据肿块区域和肿块区域中肿块对应的特征描述信息进行训练得到的，采用端到端的方式对分类网络模型进行训练，其中，分类网络模型的输入是包括肿块的肿块区域，输出是肿块的特征描述信息。特征描述信息用于描述目标肿块区域中肿块的外形特征，外形特征可以提供准确、有效的肿块相关信息，用于后续处理。
该分类网络模型可以是通过机器学习的方式训练得到的，机器学习(MachineLearning，简称ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，例如提取肿块的特征描述信息，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
需要说明的是，肿块的特征描述信息是人类可以理解的信息，可以为人机交互和辅助诊断提供更多的有效信息，具有极大的应用潜力。肿块的特征描述信息还是目前影像学报告的必要组成部分，通过本申请实施例提供的方法可以自动提取特征描述信息，从而便于自动生成影像学报告。
需要说明的是，特征描述信息一般可以包括以下多个特征维度的描述信息中一种或多种组合：目标肿块区域中肿块的形状；目标肿块区域中肿块的边界；目标肿块区域中肿块的分叶；目标肿块区域中肿块的毛刺。当然，本实施例中特征描述信息并不限于上述多个特征维度的描述信息，还可以包括其他特征维度的描述信息。
其中，特征维度包括肿块的形状时，所对应的特征描述信息例如可以是肿块的形状为类圆形或不规则形，类圆形例如可以为圆形或椭圆形。特征维度包括肿块的边界时，所对应的特征描述信息例如可以是肿块的边界清楚或边界模糊。特征维度包括肿块的分叶时，所对应的特征描述信息例如可以是肿块有分叶或无分叶。特征维度包括肿块的毛刺时，所对应的特征描述信息例如可以是肿块有毛刺或无毛刺。
若特征描述信息包括多个特征维度的描述信息，则S203中使用的分类网络模型为多任务分类网络模型，可以基于多任务深度学习的方式对分类网络模型进行训练。以多个特征维度包括目标肿块区域中肿块的形状、目标肿块区域中肿块的边界、目标肿块区域中肿块的分叶、目标肿块区域中肿块的毛刺这四个特征维度为例，在训练多任务分类网络模型时，将具有上述四个特征维度的特征描述信息的肿块区域(例如国内医院提供的1800例肿块区域)作为训练样本，该多任务分类网络模型的基础网络结构类似于InceptionV3，网络在‘mix8’层后分为四个结构相同的任务分支，每个分支用于实现一个特征维度的特征描述信息的提取，多任务分类网络模型中四个任务分支协同训练，可以实现高效率的学习和协同分类，拥有较高的精度，比传统的单任务训练学习模式取得更好的效果。其中，多任务分类网络例如图3所示，多任务分类网络包括基础网络结构和四个任务分支，基础网络结构用于对待处理图像做提取特征描述信息之前的处理，四个任务分支用于提取对应的特征描述信息，四个任务分支分别是肿块的形状特征分支、肿块的边界特征分支、肿块的分叶特征分支和肿块的毛刺特征分支。
这样，在利用多任务分类网络模型提取目标肿块区域中肿块的特征描述信息时，多任务分类网络模型并行提取目标肿块区域中肿块的多个特征维度的描述信息，从而一次性提取所有特征描述信息。其中，多任务分类网络模型中的一个任务对应提取一个特征维度的特征描述信息。
例如，待处理图像分别如图4a-图4c所示，针对图4a-图4c所示的待处理图像分别确定目标肿块区域，目标肿块区域分别如实线方框所示的区域。分别将图4a-图4c中确定出的目标肿块区域输入至多任务分类网络模型，若多任务分类网络模型所包括的四个任务分支分别用于提取肿块的形状、肿块的边界、肿块的分叶、肿块的毛刺这四个特征维度的特征描述信息，则针对图4a所示的目标肿块区域提取到的肿块的特征描述信息为肿块为类圆形，肿块的边界清楚，肿块无分叶及毛刺；针对图4b所示的目标肿块区域提取到的肿块的特征描述信息为肿块为不规则形，肿块的边界模糊，肿块有分叶并伴有毛刺；针对图4c所示的目标肿块区域提取到的肿块的特征描述信息为肿块为类圆形，肿块的边界模糊，肿块无分叶及毛刺。
需要说明的是，多任务分类网络模型的基础网络结构还可以采用其他网络进行替代，例如Resnet网络，本实施例对此不做限定。另外，多任务分类网络模型的任务分支并不限定与上述四个任务分支，可以有新增特征维度对应的任务分支，也可以对一个特征维度进行进一步细分，例如，特征维度包括肿块的形状时，肿块的形状并不限定为类圆形或不规则形，类圆形也并不限定于圆形或椭圆形。本实施例所提供的多任务分类网络模型的基础网络结构和任务分支结构可以根据实际应用情况而有所调整。
由上述技术方案可以看出，当需要针对待处理图像提取特征描述信息时，可以确定待处理图像中的目标肿块区域，然后利用训练得到的分类网络模型对目标肿块区域进行处理。由于该分类网络模型是根据具有确定特征描述信息的肿块区域图像作为训练样本进行训练得到的，其中，特征描述信息用于描述肿块区域中肿块的外形特征。因此，将目标肿块区域输入至该分类网络模型后，该分类网络模型可以自动地提取目标肿块区域中肿块的特征描述信息，由此不再需要人工经验获取特征描述信息，减少了对待处理图像分析的工作量，减少了人为干扰，提高了特征描述信息的提取效率。
本申请实施例提供的特征描述信息的提取方法可以作为软件接口方式提供服务，输入为待处理图像例如乳腺钼靶图像，输出为肿块的特征描述信息。
需要说明的是，由于提取目标肿块区域中肿块的特征描述信息，主要是为了后续根据特征描述信息进行分析、处理。所需进行分析、处理的特征描述信息所对应的肿块一般是感兴趣的肿块，例如为疑似恶性肿块。然而，在一些情况下，通过全卷积分割网络对待处理图像进行分割得到的候选肿块区域中的肿块可能是疑似恶性肿块，也有可能是良性肿块，甚至还有可能并不是真正的肿块。
因此，本实施例提供多种根据候选肿块区域确定目标肿块区域的方式，以便将包括感兴趣的肿块的候选肿块区域确定为目标肿块区域，避免对包括良性肿块或非真正肿块的候选肿块区域进行特征描述信息的提取，提高提取特征描述信息的效率。
在一种实现方式中，为了排除候选肿块区域中明显包括良性肿块的候选肿块区域，避免对包括良性肿块的候选肿块区域进行特征描述信息的提取，一种根据候选肿块区域确定目标肿块区域的方式可以为确定候选肿块区域中肿块为疑似恶性肿块的概率，当概率足够大例如满足第一阈值时，可以认为该肿块为疑似恶性肿块，故，将概率满足第一阈值的肿块所在候选肿块区域确定为目标肿块区域，从而避免将明显包括良性肿块的候选肿块区域作为目标候选区域。
其中，可以通过神经网络模型计算得到候选肿块区域中肿块为疑似恶性肿块的概率。神经网络模型是根据已确定良恶性的肿块(2200+)作为训练样本进行训练得到的，具体的：将包括疑似恶性肿块的肿块区域作为正样本，包括疑似恶性肿块的肿块区域中还需包括少量背景区域环绕，将包括良性肿块和背景的肿块区域作为负样本，通过数据增强之后输入至神经网络模型(例如InceptionV3模型)进行训练，模型的输出类别数重新设置为2。模型的权重初始化首先使用ImageNet数据集，接着使用公开数据集DDSM，最后使用上述得到的正样本和负样本进行迁移学习得到最后的模型权重(下降算法使用均方根(root meansquare prop，简称RMSprop)，批处理大小为64，初始学习率为0.01，最大迭代次数为100000)。
其中，若待处理图像为乳腺钼靶图像，则数据增强主要包括翻转和裁剪的数据增强，无须进行颜色空间的数据增强。
需要说明的是，确定目标肿块区域所依据的第一阈值可以包括多种确定方式。在一些情况下，若待处理图像为乳腺钼靶图像，由于乳腺可以包括多种类型，例如脂肪型乳腺、少腺体型乳腺、多腺体型乳腺、致密型乳腺，针对不同类型的乳腺用于确定目标肿块区域所依据的第一阈值有所不同，一般情况下乳腺所包括的腺体越多，第一阈值越大，有利于避免团块状腺体对肿块定位的干扰。因此，一种确定第一阈值的可能实现方式为，根据乳腺钼靶图像确定乳腺的类型，根据所述乳腺的类型确定所述第一阈值。
例如，预先设置不同类型的乳腺对应不同的第一阈值，例如脂肪型乳腺、少腺体型乳腺、多腺体型乳腺、致密型乳腺对应的第一阈值分别为a、b、c、d。其中，a<b<c<d，即对于腺体较多的乳腺，判定为目标肿块区域的阈值相应提高，有利于避免团块状腺体对肿块定位的干扰。若确定乳腺钼靶图像对应的乳腺的类型为脂肪型乳腺，则确定第一阈值为a。
可以理解的是，在确定乳腺的类型时，可以采用乳腺分型网络，即将待处理图像输入至乳腺分型网络，从而输出乳腺的类型。乳腺分型网络可以是采用标注了乳腺的类型的乳腺钼靶图像(6000+)进行训练得到的，训练阶段使用InceptionV3深度学习网络进行训练，模型的输出类别重新设置为4，其中模型的初始化权重使用ImageNet数据集，下降算法使用自适应矩估计(Adaptive Moment Estimation，简称adam)算法，批处理大小64，初始学习率0.0001，最大迭代次数100。
对于判定为疑似恶性肿块的区域(目标肿块区域)，若目标肿块区域中多个目标肿块区域之间存在重叠区域，且所述重叠区域达到第二阈值，此时可以认为该多个目标肿块区域为一个目标肿块区域，则使用非极大值抑制的方法去除重叠区域，将多个目标肿块区域合并成一个目标肿块区域。从而避免将一个目标肿块区域误报为多个目标肿块区域，提高疑似恶性肿块区域定位的准确性。其中，第二阈值是根据实际应用情况设置的，例如，第二阈值可以为50％。
可以理解的是，目标肿块区域除了需要排除包括良性肿块的候选肿块区域，还需要排除包括非真正肿块的候选肿块区域，从而对包括感兴趣的肿块的候选肿块区域进行特征描述信息的提取。然而，在待处理图像为乳腺钼靶图像时，***和/或肌肉可能对定位肿块所在的位置存在影响，即将***区域和/或肌肉区域等包括非真正肿块的区域确定为候选肿块区域。因此，为了排除候选肿块区域中***区域和/或肌肉区域，避免对包非真正肿块的候选肿块区域进行特征描述信息的提取，一种根据候选肿块区域确定目标肿块区域的方式可以是根据乳腺钼靶图像确定***区域和肌肉区域，滤除位于***区域和/或肌肉区域的候选肿块区域，得到目标肿块区域。
需要说明的是，由于拍摄乳腺钼靶图像时采用的投照角度可能包括多种，例如轴位(CC)、内外侧斜位(mediolateral oblique，简称MLO)等。采用CC位投照角度得到的乳腺钼靶图像为CC位图像，采用MLO位投照角度得到的乳腺钼靶图像为MLO位图像。对于CC位图像，在确定出***区域和肌肉区域后，则只保留***区域，滤除位于***区域的候选肿块区域，得到目标肿块区域；对于MLO位图像，在确定出***区域和肌肉区域后，则保留***区域和肌肉区域，滤除位于***区域和肌肉区域的候选肿块区域，得到目标肿块区域。
其中，确定***区域和肌肉区域的方式可以是通过FCN模型进行确定，即将乳腺钼靶图像输入到FCN模型，从而输入***区域和肌肉区域。FCN模型是初始化权重在分割数据集PASCAL VOC上训练得到，具体训练方式例如为先使用乳腺钼靶图像公开数据集DDSM进行迁移学习，再使用国内医院标注了***区域和肌肉区域的3000例乳腺钼靶图像进行迁移学习(批处理大小为4，学习率0.00001，最大迭代次数20000)，最终得到可以同时进行***区域和肌肉区域提取的FCN模型。
接下来，将结合具体应用场景对本申请实施例提供的提取特征描述信息的方法进行介绍。在该场景中，可能存在肿块的部位为乳腺，通过医学设备拍摄得到乳腺的钼靶图像，即待处理图像为乳腺钼靶图像。对乳腺钼靶图像提取特征描述信息的步骤参见图5所示，对乳腺钼靶图像进行预处理，然后确定乳腺钼靶图像中的候选肿块区域，确定候选肿块区域中的包括疑似恶性肿块的候选肿块区域。在确定出包括疑似恶性肿块的候选肿块区域后，滤除位于***区域和/或肌肉区域的候选肿块区域，得到目标肿块区域。将目标肿块区域输入至多任务分类网络，输出目标肿块区域中肿块的特征描述信息。其中，多任务分类网络参见图3所示，多任务分类网络是根据具有特征描述信息的乳腺钼靶图像作为训练样本训练得到的。
本申请实施例提供的提取特征描述信息的方法可以应用到医疗器械上，医疗器械可以利用该提取特征描述信息的方法确定目标肿块区域并提取特征描述信息，以便将特征描述信息用于后续分析、处理。该医疗器械还可以利用提取的特征描述信息生成影像学报告等。
为此，本申请实施例还提供一种医疗器械，该医疗器械可以为医学影像设备，包括钼靶X光机例如乳腺钼靶X光机、电子计算机断层扫描(Computed Tomography，简称CT)设备、磁共振成像(Magnetic Resonance Imaging，简称MRI)设备等，所述医疗器械包括图像采集模组、图像处理模组和图像显示模组：
所述图像采集模组，用于获取待处理图像；所述待处理图像为包括生物组织的医学影像图。
其中，所述图像采集模组通过对存在肿块的身体部位进行拍摄得到待处理图像。不同医疗器械中图像采集模组的组成可能有所不同，本实施例对图像采集模组的组成不做限定。
所述图像处理模组，用于确定所述待处理图像中的目标肿块区域；根据所述目标肿块区域，利用分类网络模型提取所述目标肿块区域中肿块的特征描述信息，所述特征描述信息用于描述所述目标肿块区域中肿块的外形特征。
所述图像显示模组，用于显示所述目标肿块区域以及所述特征描述信息，以便医生可以通过医疗器械显示的目标肿块区域以及特征描述信息对肿块进行观察、分析等。
在一种可能的实现方式中，所述特征描述信息包括以下多个特征维度的描述信息中一种或多种组合：
所述目标肿块区域中肿块的形状；
所述目标肿块区域中肿块的边界；
所述目标肿块区域中肿块的分叶；
所述目标肿块区域中肿块的毛刺。
在一种可能的实现方式中，若所述特征描述信息包括多个特征维度的描述信息，所述分类网络模型为多任务分类网络模型；
所述图像处理模组具体用于：
利用所述多任务分类网络模型并行提取所述目标肿块区域中肿块的多个特征维度的描述信息；其中，所述多任务分类网络模型中的一个任务对应提取一个特征维度的特征描述信息。
在一种可能的实现方式中，所述图像处理模组，用于：
通过所述全卷积分割网络对所述待处理图像进行分割，得到候选肿块区域；
若所述候选肿块区域中包括孔洞，填充所述孔洞；
根据所述候选肿块区域确定所述目标肿块区域。
在一种可能的实现方式中，所述图像处理模组，用于：
确定所述候选肿块区域中肿块为疑似恶性肿块的概率；
将所述概率满足第一阈值的肿块所在候选肿块区域确定为所述目标肿块区域。
在一种可能的实现方式中，若该医疗器械为乳腺钼靶X光机，所述待处理图像为乳腺钼靶图像，所述目标肿块区域为乳腺肿瘤区域。
在一种可能的实现方式中，若该医疗器械为乳腺钼靶X光机，所述待处理图像为乳腺钼靶图像，所述图像处理模组，还用于：
根据所述乳腺钼靶图像确定乳腺的类型；
根据所述乳腺的类型确定所述第一阈值。
在一种可能的实现方式中，所述图像处理模组，还用于：
若所述目标肿块区域中多个目标肿块区域之间存在重叠区域，且所述重叠区域达到第二阈值，将所述多个目标肿块区域合并成一个目标肿块区域。
在一种可能的实现方式中，若该医疗器械为乳腺钼靶X光机，所述待处理图像为乳腺钼靶图像，所述图像处理模组，用于：
根据所述乳腺钼靶图像确定***区域和肌肉区域；
滤除位于所述***区域和/或所述肌肉区域的候选肿块区域，得到所述目标肿块区域。
基于前述实施例提供的一种提取特征描述信息的方法，本实施例还提供一种提取特征描述信息的装置，参见图6a，所述装置包括获取单元601、第一确定单元602和提取单元603：
所述获取单元601，用于获取待处理图像；所述待处理图像为包括生物组织的医学影像图；
所述第一确定单元602，用于确定所述待处理图像中的目标肿块区域；
所述提取单元603，用于根据所述目标肿块区域，利用分类网络模型提取所述目标肿块区域中肿块的特征描述信息，所述特征描述信息用于描述所述目标肿块区域中肿块的外形特征。在一种可能的实现方式中，所述特征描述信息包括以下多个特征维度的描述信息中一种或多种组合：
所述目标肿块区域中肿块的形状；
所述目标肿块区域中肿块的边界；
所述目标肿块区域中肿块的分叶；
所述目标肿块区域中肿块的毛刺。
在一种可能的实现方式中，若所述特征描述信息包括多个特征维度的描述信息，所述分类网络模型为多任务分类网络模型；
所述提取单元603具体用于：
所述多任务分类网络模型并行提取所述目标肿块区域中肿块的多个特征维度的描述信息；其中，所述多任务分类网络模型中的一个任务对应提取一个特征维度的特征描述信息。
在一种可能的实现方式中，所述第一确定单元602具体用于：
通过所述全卷积分割网络对所述待处理图像进行分割，得到候选肿块区域；
若所述候选肿块区域中包括孔洞，填充所述孔洞；
根据所述候选肿块区域确定所述目标肿块区域。
在一种可能的实现方式中，所述第一确定单元602具体用于：
确定所述候选肿块区域中肿块为疑似恶性肿块的概率；
将所述概率满足第一阈值的肿块所在候选肿块区域确定为所述目标肿块区域。
在一种可能的实现方式中，所述待处理图像为乳腺钼靶图像，所述目标肿块区域为乳腺肿瘤区域。
在一种可能的实现方式中，若所述待处理图像为乳腺钼靶图像，参见图6b，所述装置还包括第二确定单元604和第三确定单元605：
所述第二确定单元604，用于根据所述乳腺钼靶图像确定乳腺的类型；
所述第三确定单元605，用于根据所述乳腺的类型确定所述第一阈值。
在一种可能的实现方式中，参见图6c，所述装置还包括合并单元606：
所述合并单元606，用于若所述目标肿块区域中多个目标肿块区域之间存在重叠区域，且所述重叠区域达到第二阈值，将所述多个目标肿块区域合并成一个目标肿块区域。
在一种可能的实现方式中，若所述待处理图像为乳腺钼靶图像，所述第一确定单元602具体用于：
根据所述乳腺钼靶图像确定***区域和肌肉区域；
滤除位于所述***区域和/或所述肌肉区域的候选肿块区域，得到所述目标肿块区域。
本申请实施例还提供了一种用于提取特征描述信息的设备，下面结合附图对用于提取特征描述信息的设备进行介绍。请参见图7所示，本申请实施例提供了一种用于提取特征描述信息的设备700，该设备700还可以是终端设备，该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，简称PDA)、销售终端(Point of Sales，简称POS)、车载电脑等任意智能终端，以终端设备为手机为例：
图7示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图7，手机包括：射频(Radio Frequency，简称RF)电路710、存储器720、输入单元730、显示单元740、传感器750、音频电路760、无线保真(wireless fidelity，简称WiFi)模块770、处理器780、以及电源790等部件。本领域技术人员可以理解，图7中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图7对手机的各个构成部件进行具体的介绍：
RF电路710可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器780处理；另外，将设计上行的数据发送给基站。通常，RF电路710包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工器等。此外，RF电路710还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(Global System of Mobile communication，简称GSM)、通用分组无线服务(GeneralPacket Radio Service，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、长期演进(Long Term Evolution，简称LTE)、电子邮件、短消息服务(Short Messaging Service，简称SMS)等。
存储器720可用于存储软件程序以及模块，处理器780通过运行存储在存储器720的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器720可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元730可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元730可包括触控面板731以及其他输入设备732。触控面板731，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板731上或在触控面板731附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板731可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器780，并能接收处理器780发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板731。除了触控面板731，输入单元730还可以包括其他输入设备732。具体地，其他输入设备732可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元740可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元740可包括显示面板741，可选的，可以采用液晶显示器(Liquid CrystalDisplay，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板741。进一步的，触控面板731可覆盖显示面板741，当触控面板731检测到在其上或附近的触摸操作后，传送给处理器780以确定触摸事件的类型，随后处理器780根据触摸事件的类型在显示面板741上提供相应的视觉输出。虽然在图7中，触控面板731与显示面板741是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板731与显示面板741集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器750，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板741的亮度，接近传感器可在手机移动到耳边时，关闭显示面板741和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路760、扬声器761，传声器762可提供用户与手机之间的音频接口。音频电路760可将接收到的音频数据转换后的电信号，传输到扬声器761，由扬声器761转换为声音信号输出；另一方面，传声器762将收集的声音信号转换为电信号，由音频电路760接收后转换为音频数据，再将音频数据输出处理器780处理后，经RF电路710以发送给比如另一手机，或者将音频数据输出至存储器720以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块770可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块770，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器780是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器720内的软件程序和/或模块，以及调用存储在存储器720内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器780可包括一个或多个处理单元；优选的，处理器780可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器780中。
手机还包括给各个部件供电的电源790(比如电池)，优选的，电源可以通过电源管理***与处理器780逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本实施例中，该终端设备所包括的处理器780还具有以下功能：
获取待处理图像；所述待处理图像为包括生物组织的医学影像图；
确定所述待处理图像中的目标肿块区域；
根据所述目标肿块区域，利用分类网络模型提取所述目标肿块区域中肿块的特征描述信息，所述特征描述信息用于描述所述目标肿块区域中肿块的外形特征。
本申请实施例还提供服务器，请参见图8所示，图8为本申请实施例提供的服务器800的结构图，服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(Central Processing Units，简称CPU)822(例如，一个或一个以上处理器)和存储器832，一个或一个以上存储应用程序842或数据844的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器832和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器822可以设置为与存储介质830通信，在服务器800上执行存储介质830中的一系列指令操作。
服务器800还可以包括一个或一个以上电源826，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口858，和/或，一个或一个以上操作***841，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图8所示的服务器结构。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述各个实施例所述的提取特征描述信息的方法。
本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的提取特征描述信息的方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种提取特征描述信息的方法，其特征在于，所述方法包括：
获取待处理图像；所述待处理图像为包括生物组织的医学影像图；
确定所述待处理图像中的目标肿块区域；
根据所述目标肿块区域，利用分类网络模型提取所述目标肿块区域中肿块的特征描述信息，所述特征描述信息用于描述所述目标肿块区域中肿块的外形特征。
2.根据权利要求1所述的方法，其特征在于，所述特征描述信息包括以下多个特征维度的描述信息中一种或多种组合：
所述目标肿块区域中肿块的形状；
所述目标肿块区域中肿块的边界；
所述目标肿块区域中肿块的分叶；
所述目标肿块区域中肿块的毛刺。
3.根据权利要求1所述的方法，其特征在于，若所述特征描述信息包括多个特征维度的描述信息，所述分类网络模型为多任务分类网络模型；
所述根据所述目标肿块区域，利用分类网络模型提取所述目标肿块区域中肿块的特征描述信息，包括：
利用所述多任务分类网络模型并行提取所述目标肿块区域中肿块的多个特征维度的描述信息；其中，所述多任务分类网络模型中的一个任务对应提取一个特征维度的特征描述信息。
4.根据权利要求1所述的方法，其特征在于，所述确定所述待处理图像中的目标肿块区域，包括：
通过所述全卷积分割网络对所述待处理图像进行分割，得到候选肿块区域；
若所述候选肿块区域中包括孔洞，填充所述孔洞；
根据所述候选肿块区域确定所述目标肿块区域。
5.根据权利要求4所述的方法，其特征在于，所述根据所述候选肿块区域确定所述目标肿块区域，包括：
确定所述候选肿块区域中肿块为疑似恶性肿块的概率；
将所述概率满足第一阈值的肿块所在候选肿块区域确定为所述目标肿块区域。
6.根据权利要求1所述的方法，其特征在于，所述待处理图像为乳腺钼靶图像，所述目标肿块区域为乳腺肿瘤区域。
7.根据权利要求5所述的方法，其特征在于，若所述待处理图像为乳腺钼靶图像，所述方法还包括：
根据所述乳腺钼靶图像确定乳腺的类型；
根据所述乳腺的类型确定所述第一阈值。
8.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若所述目标肿块区域中多个目标肿块区域之间存在重叠区域，且所述重叠区域达到第二阈值，将所述多个目标肿块区域合并成一个目标肿块区域。
9.根据权利要求4所述的方法，其特征在于，若所述待处理图像为乳腺钼靶图像，所述根据所述候选肿块区域确定所述目标肿块区域，包括：
根据所述乳腺钼靶图像确定***区域和肌肉区域；
滤除位于所述***区域和/或所述肌肉区域的候选肿块区域，得到所述目标肿块区域。
10.一种提取特征描述信息的装置，其特征在于，所述装置包括获取单元、第一确定单元和提取单元：
所述获取单元，用于获取待处理图像；所述待处理图像为包括生物组织的医学影像图；
所述第一确定单元，用于确定所述待处理图像中的目标肿块区域；
所述提取单元，用于根据所述目标肿块区域，利用分类网络模型提取所述目标肿块区域中肿块的特征描述信息，所述特征描述信息用于描述所述目标肿块区域中肿块的外形特征。
11.一种医疗器械，其特征在于，所述医疗器械包括图像采集模组、图像处理模组和图像显示模组：
所述图像采集模组，用于获取待处理图像；所述待处理图像为包括生物组织的医学影像图；
所述图像处理模组，用于确定所述待处理图像中的目标肿块区域；根据所述目标肿块区域，利用分类网络模型提取所述目标肿块区域中肿块的特征描述信息，所述特征描述信息用于描述所述目标肿块区域中肿块的外形特征；
所述图像显示模组，用于显示所述目标肿块区域以及所述特征描述信息。
12.根据权利要求11所述的医疗器械，其特征在于，若所述特征描述信息包括多个特征维度的描述信息，所述分类网络模型为多任务分类网络模型；
所述图像处理模组具体用于：
利用所述多任务分类网络模型并行提取所述目标肿块区域中肿块的多个特征维度的描述信息；其中，所述多任务分类网络模型中的一个任务对应提取一个特征维度的特征描述信息。
13.根据权利要求11所述的医疗器械，其特征在于，所述待处理图像为乳腺钼靶图像，所述目标肿块区域为乳腺肿瘤区域。
14.一种用于提取特征描述信息的设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-9任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-9任一项所述的方法。
CN201910718001.2A 2019-08-05 2019-08-05 一种提取特征描述信息的方法和相关装置 Pending CN110414539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910718001.2A CN110414539A (zh) 2019-08-05 2019-08-05 一种提取特征描述信息的方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910718001.2A CN110414539A (zh) 2019-08-05 2019-08-05 一种提取特征描述信息的方法和相关装置

Publications (1)

Publication Number Publication Date
CN110414539A true CN110414539A (zh) 2019-11-05

Family

ID=68365967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910718001.2A Pending CN110414539A (zh) 2019-08-05 2019-08-05 一种提取特征描述信息的方法和相关装置

Country Status (1)

Country Link
CN (1) CN110414539A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242959A (zh) * 2020-01-15 2020-06-05 中国科学院苏州生物医学工程技术研究所 基于卷积神经网络的多模态医学图像的目标区域提取方法
CN111933179A (zh) * 2020-06-04 2020-11-13 华南师范大学 基于混合式多任务学习的环境声音识别方法及装置
CN112241954A (zh) * 2020-10-22 2021-01-19 上海海事大学 基于肿块差异化分类的全视野自适应分割网络配置方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339591A (zh) * 2016-08-25 2017-01-18 汤平 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务***
CN108395986A (zh) * 2018-03-23 2018-08-14 余晖 基于深度学习的人类***状瘤病毒自动分型检测装置
CN108464840A (zh) * 2017-12-26 2018-08-31 安徽科大讯飞医疗信息技术有限公司 一种乳腺肿块自动检测方法及***
CN108830282A (zh) * 2018-05-29 2018-11-16 电子科技大学 一种乳腺x光图像的乳腺肿块信息提取及分类方法
CN109190540A (zh) * 2018-06-06 2019-01-11 腾讯科技（深圳）有限公司 活检区域预测方法、图像识别方法、装置和存储介质
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN109872307A (zh) * 2019-01-30 2019-06-11 腾讯科技（深圳）有限公司 一种检测生物组织图像中肿块的方法、相应设备及介质
CN110009600A (zh) * 2019-02-14 2019-07-12 腾讯科技（深圳）有限公司 一种医学图像区域过滤方法、装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339591A (zh) * 2016-08-25 2017-01-18 汤平 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务***
CN108464840A (zh) * 2017-12-26 2018-08-31 安徽科大讯飞医疗信息技术有限公司 一种乳腺肿块自动检测方法及***
CN108395986A (zh) * 2018-03-23 2018-08-14 余晖 基于深度学习的人类***状瘤病毒自动分型检测装置
CN108830282A (zh) * 2018-05-29 2018-11-16 电子科技大学 一种乳腺x光图像的乳腺肿块信息提取及分类方法
CN109190540A (zh) * 2018-06-06 2019-01-11 腾讯科技（深圳）有限公司 活检区域预测方法、图像识别方法、装置和存储介质
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN109872307A (zh) * 2019-01-30 2019-06-11 腾讯科技（深圳）有限公司 一种检测生物组织图像中肿块的方法、相应设备及介质
CN110009600A (zh) * 2019-02-14 2019-07-12 腾讯科技（深圳）有限公司 一种医学图像区域过滤方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PAVEL KISILEV等: "Medical Image Description Using Multi-task-loss CNN", 《DEEP LEARNING AND DATA LABELING FOR MEDICALAPPLICATIONS2016》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242959A (zh) * 2020-01-15 2020-06-05 中国科学院苏州生物医学工程技术研究所 基于卷积神经网络的多模态医学图像的目标区域提取方法
CN111933179A (zh) * 2020-06-04 2020-11-13 华南师范大学 基于混合式多任务学习的环境声音识别方法及装置
CN112241954A (zh) * 2020-10-22 2021-01-19 上海海事大学 基于肿块差异化分类的全视野自适应分割网络配置方法
CN112241954B (zh) * 2020-10-22 2024-03-15 上海海事大学 基于肿块差异化分类的全视野自适应分割网络配置方法

Similar Documents

Publication Publication Date Title
CN111598900B (zh) 一种图像区域分割模型训练方法、分割方法和装置
US20220036135A1 (en) Method and apparatus for determining image to be labeled and model training method and apparatus
CN110504029A (zh) 一种医学图像处理方法、医学图像识别方法及装置
CN111652121B (zh) 一种表情迁移模型的训练方法、表情迁移的方法及装置
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN110738263B (zh) 一种图像识别模型训练的方法、图像识别的方法及装置
CN109919251A (zh) 一种基于图像的目标检测方法、模型训练的方法及装置
CN110491480A (zh) 一种医疗图像处理方法、装置、电子医疗设备和存储介质
CN107895369B (zh) 图像分类方法、装置、存储介质及设备
CN109949271A (zh) 一种基于医学图像的检测方法、模型训练的方法及装置
CN110414631A (zh) 基于医学图像的病灶检测方法、模型训练的方法及装置
CN111091127A (zh) 一种图像检测方法、网络模型训练方法以及相关装置
CN110414539A (zh) 一种提取特征描述信息的方法和相关装置
CN111598160B (zh) 图像分类模型的训练方法、装置、计算机设备及存储介质
CN110377779A (zh) 图像标注的方法、基于病理图像的标注展示方法及装置
US20210152751A1 (en) Model training method, media information synthesis method, and related apparatuses
US11501431B2 (en) Image processing method and apparatus and neural network model training method
CN113177928B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN110610181A (zh) 医学影像识别方法及装置、电子设备及存储介质
CN110443794A (zh) 一种基于病理图像的图像状态确定方法、装置以及***
CN111009031B (zh) 一种人脸模型生成的方法、模型生成的方法及装置
CN108491804A (zh) 一种棋局展示的方法、相关装置及***
CN109934220A (zh) 一种影像兴趣点的展示方法、装置及终端
CN110070129A (zh) 一种图像检测方法、装置及存储介质
CN110163045A (zh) 一种手势动作的识别方法、装置以及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105