CN109427060A - 一种影像识别的方法、装置、终端设备和医疗*** - Google Patents

一种影像识别的方法、装置、终端设备和医疗*** Download PDF

Info

Publication number
CN109427060A
CN109427060A CN201811278418.3A CN201811278418A CN109427060A CN 109427060 A CN109427060 A CN 109427060A CN 201811278418 A CN201811278418 A CN 201811278418A CN 109427060 A CN109427060 A CN 109427060A
Authority
CN
China
Prior art keywords
medical imaging
lesion
recognition result
identification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811278418.3A
Other languages
English (en)
Inventor
付星辉
孙钟前
尚鸿
杨巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811278418.3A priority Critical patent/CN109427060A/zh
Publication of CN109427060A publication Critical patent/CN109427060A/zh
Priority to JP2020561046A priority patent/JP7152513B2/ja
Priority to PCT/CN2019/093602 priority patent/WO2020087960A1/zh
Priority to EP19879486.9A priority patent/EP3876192A4/en
Priority to US17/078,878 priority patent/US11410306B2/en
Priority to US17/856,043 priority patent/US11610310B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

本发明属于图像处理技术领域，公开了一种影像识别的方法、装置、终端设备和医疗***，本发明公开的一种影像识别的方法包括，通过第一识别模型判别医疗影像是否为发生病变的医疗影像，然后，通过第二识别模型对发生病变的医疗影像进行进一步识别，获得病变程度识别结果，以指示医疗影像发生病变的程度。这不需要人工进行分析以及定制特征抽取方案，提高了医疗影像识别的效率和精确度。

Description

一种影像识别的方法、装置、终端设备和医疗***
技术领域
本发明涉及图像处理技术领域，尤其涉及一种影像识别的方法、装置、终端设备和医疗***。
背景技术
随着计算机技术的发展，计算机技术逐渐应用于医疗影像(如，内窥镜食管影像)分析，以辅助医生进行医疗诊断。例如，终端设备通过计算机技术可以根据患者的食管影像，判断患者发生癌变的概率。这样，医生可以根据输出结果，进行进一步的诊断分析，这提高了医疗诊断的精确度和效率。
现有技术下，终端设备通过影像进行疾病分析时，通常采用以下步骤：
首先，提取影像的颜色、纹理，以及梯度等特征，然后，采用传统机器学习方法(如，小波算子)基于提取的特征信息对影像进行疾病分类，获得疾病分类结果。
但是，采用这种方式，需要研究人员深刻理解医疗影像，并根据影像定制相应的特征抽取方案，效率较低，进一步地，抽取的特征通常为某一类通用的特征，覆盖面小，鲁棒性差，难以在实际应用中推广使用，这降低了诊断的精确度。
发明内容
本发明实施例提供一种影像识别的方法、装置、终端设备和医疗***，用以在根据医疗影像进行疾病识别时，提高识别的效率和精确度。
一方面，提供一种影像识别的方法，包括：
获取待识别的医疗影像；
通过第一识别模型对医疗影像进行判别，生成病变识别结果，第一识别模型用于判别医疗影像是否发生病变；
通过第二识别模型对发生病变的医疗影像进行识别，生成病变程度识别结果，第二识别模型用于识别医疗影像发生病变的程度。
这样，避免了人工进行特征分析和方案定制的繁琐步骤，提高了医疗影像识别的精确度和效率。
一方面，一种影像识别的装置，包括：
获取单元，用于获取待识别的医疗影像；
判别单元，用于通过第一识别模型对医疗影像进行判别，生成病变识别结果，第一识别模型用于判别医疗影像是否发生病变；
识别单元，用于通过第二识别模型对发生病变的医疗影像进行识别，生成病变程度识别结果，第二识别模型用于识别医疗影像发生病变的程度。
一方面，一种医疗影像的识别方法，包括：
获取待识别的医疗影像，并通过识别模型对待识别的医疗影像进行识别；
获得识别模型对待识别的医疗影像进行识别后输出的病变程度识别结果，且病变程度识别结果包括：医疗影像包括的多个影像块中，每个影像块的病变程度识别结果及其在医疗影像中的区域信息，和/或根据每个影像块的病变程度识别结果在其对应区域设置了相应指示信息后的病变程度指示影像；
其中，识别模型对医疗影像进行识别具体包括：将医疗影像分割为多个影像块，并针对每个影像块，提取该影像块的特征信息并根据提取的特征信息确定该影像块的病变程度识别结果。
一方面，一种影像识别的装置，包括：
输入单元，用于获取待识别的医疗影像，并通过识别模型对待识别的医疗影像进行识别；
获得单元，用于获得识别模型对待识别的医疗影像进行识别后输出的病变程度识别结果，且病变程度识别结果包括：医疗影像包括的多个影像块中，每个影像块的病变程度识别结果及其在医疗影像中的区域信息，和/或根据每个影像块的病变程度识别结果在其对应区域设置了相应指示信息后的病变程度指示影像；
其中，识别模型对医疗影像进行识别具体包括：将医疗影像分割为多个影像块，并针对每个影像块，提取该影像块的特征信息并根据提取的特征信息确定该影像块的病变程度识别结果。
一方面，提供一种终端设备，包括至少一个处理单元、以及至少一个存储单元，其中，存储单元存储有计算机程序，当程序被处理单元执行时，使得处理单元执行上述任意一种影像识别的方法的步骤。
一方面，一种医疗***，包括影像采集装置和影像识别装置，其中，
影像采集装置，用于采集病人的医疗影像；
影像识别装置，用于获取影像采集装置采集的医疗影像，并通过第一识别模型对医疗影像进行判别，生成病变识别结果，以及通过第二识别模型对发生病变的医疗影像进行识别，生成病变程度识别结果；其中，第一识别模型用于判别医疗影像是否发生病变，第二识别模型用于识别医疗影像发生病变的程度；
显示装置，用于呈现病变程度识别结果。
一方面，一种医疗***，包括影像采集装置和影像识别装置，其中，
影像采集装置，用于采集病人的医疗影像；
影像识别装置，用于获取影像采集装置采集的医疗影像，并通过第二识别模型对发生病变的医疗影像进行识别，生成病变程度识别结果；其中，第二识别模型用于识别医疗影像发生病变的程度；
显示装置，用于呈现病变程度识别结果。
本发明实施例提供的一种影像识别的方法、装置、终端设备和医疗***中，通过第一识别模型判别医疗影像是否为发生病变的医疗影像，然后，通过第二识别模型对发生病变的医疗影像进行进一步识别，获得病变程度识别结果，以指示医疗影像发生病变的程度。这不需要人工进行分析以及定制特征抽取方案，提高了医疗影像识别的效率和精确度。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施方式中一种终端设备的结构示意图；
图2为本发明实施方式中一种影像识别的方法的实施流程图；
图3a为本发明实施方式中一种第一识别模型的原理示意图；
图3b为本发明实施方式中一种食管影像的示例图一；
图3c为本发明实施方式中一种第二识别模型的原理示意图；
图3d为本发明实施方式中一种影像块示意图；
图3e为本发明实施方式中一种食管影像的示例图二；
图3f为本发明实施方式中一种食管影像的病变程度指示影像示例图；
图3g为本发明实施方式中一种医疗***的结构示意图；
图4a为本发明实施方式中一种影像识别的装置的结构示意图一；
图4b为本发明实施方式中一种影像识别的装置的结构示意图二；
图5为本发明实施方式中终端设备结构示意图。
具体实施方式
为了在医疗影像进行疾病识别时，提高识别的效率和精确度，本发明实施例提供了一种影像识别的方法、装置、终端设备和医疗***。
首先，对本发明实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。
1、终端设备：可以安装各类应用程序，并且能够将已安装的应用程序中提供的实体进行显示的设备，该电子设备可以是移动的，也可以是固定的。例如，手机、平板电脑、车载设备、个人数字助理(personal digital assistant，PDA)或其它能够实现上述功能的电子设备等。
2、医疗影像：是人对视觉感知的物质再现，可以由光学设备获取，如照相机、镜子、望远镜及显微镜等；也可以人为创作，如，手工绘画图像等。病理可以记录、保存在纸质媒介、胶片等等对光信号敏感的介质上。随着数字采集技术和信号处理理论的发展，越来越多的医疗影像以数字形式存储。
3、卷积神经网络(Convolutional Neural Network，CNN)：在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。
4、稠密卷积网络(DensNet)：每一层均以前馈的形式与其他任一层连接的卷积神经网络，即任一层不仅与相邻层有连接，而且与它的随后的所有层都有直接连接。
5、第一识别模型：采用DenseNet训练对正常影像样本和病变影像样本进行训练获得的模型，用于判别医疗影像是否发生病变。
6、第二识别模型：采用卷积神经网络对各种不同病变程度的医疗影像样本训练获得的模型，用于识别医疗影像发生病变的程度。
7、病变识别结果：用于指示输入的医疗影像是否为发生病变的医疗影像。
8、病变程度识别结果：用于指示医疗影像发生病变的程度。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。
近年来，新发肿瘤病例中，食管癌排名第3名，其中，我国有47.7万，占全球百分之五十。食管癌是上消化道部位的恶性肿瘤。不同时期的食管癌患者，治疗过程有很大差异。早期患者主要通过内镜微创治疗，术后3～5天就可以出院，治疗费用低并发症少，90％可以治愈。而中晚期食管癌患者主要通过开胸/腹/颈“三切口”手术进行治疗，这种治疗方式的创伤大、治疗费用高并且疗效不理想，治愈率不足40％。
因此，若在患者患有早期癌症时，及时确诊以及治疗，会极大地减少患者的痛苦和负担。医生通常通过内窥镜获得的医疗影像进行癌变分析，以预测患者是否患有早期癌症。但是，由于需要通过专业医生对医疗影像进行辛苦地分析，不同医生的分析水平也各不相同，因此，早期癌症的发现率非常低，不足百分之五十。
目前，随着计算机技术的发展，计算机技术(如，传统机器学习方法)逐渐开始应用到癌变分析中，以辅助医生进行医疗诊断。但是，采用传统机器学习方法对医疗影像进行识别时，存在以下缺点：1)需要专业人员对医疗影像进行深刻地特征分析，并根据分析结果定制特征抽取方案，这会耗费专业人员的大量时间，降低了癌变识别效率，2)抽取的特征更加偏向于某一类通用的特性，覆盖面较小，鲁棒性差，难以在实际应用中推广使用，获得的癌变识别的精确度较低。
考虑到正常食管影像一般表面粘膜光滑，而病变食管影像具有明显的特征，如，凸起和糜烂等。但是，实际应用中，由于患者的年龄，地域或者受检查时的状态(如，食管未冲洗干净，包含异物)等因素影响，正常食管影像和病变食管影像差别可能在于图像中一个小块区域(如，颜色深浅，皮肤粗糙程度)，也可能在于图像整体光滑度变化，对食管影像进行分类时，既需要提取小区域的特征，还需要提取整体食管影像的高级语义特征，本申请实施例中，采用DenseNet-121对正常影像样本和病变影像样本进行训练，获得第一识别模型，以对医疗影像是否发生病变进行判别。
进一步地，由于发生癌变的医疗影像中至少有一个影像块是有癌变特征的，非癌变的医疗影像中没有任何影像块是有癌变特征的，因此，本申请实施例中，采用卷积神经网络对发生病变的医疗影像进行训练获得第二识别模型，并以医疗影像中发生病变程度最严重的影像块的病变程度确定该医疗影像的癌变识别结果。
上述说明以食道癌为例的，但是对于其他癌症的诊断，也同样存在类似的问题，这样，针对不同的癌症，采用其医疗影像训练出相对应的第一识别模型和第二识别模型后，就可以采用本申请实施例提供的方法，通过第一识别模型对医疗影像进行初步的病变判别，并通过第二识别模型对发生病变的医疗影像进行进一步的病变程度的识别，以确定医疗影像发生病变的程度，极大地提高了癌变识别的效率和精确度。当然，还可以直接采用第二识别模型直接对医疗影像进行识别，确定医疗影像的癌变程度。
本发明实施例提供的一种影像识别的方法，可应用于终端设备中，该终端设备可以为手机、平板电脑、PDA(Personal Digital Assistant，掌上电脑)等。
图1示出了一种终端设备的结构示意图。参阅图1所示，终端设备100包括：处理器110、存储器120、电源130、显示单元140、输入单元150。
处理器110是终端设备100的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在存储器120内的软件程序和/或数据，执行终端设备100的各种功能，从而对终端设备进行整体监控。
可选的，处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。在一些实施例中，处理器、存储器、可以在单一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、各种应用程序等；存储数据区可存储根据终端设备100的使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。
终端设备100还包括给各个部件供电的电源130(比如电池)，电源可以通过电源管理***与处理器110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗等功能。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端设备100的各种菜单等，本发明实施例中主要用于显示终端设备100中各应用程序的显示界面以及显示界面中显示的文本、图片等实体。显示单元140可以包括显示面板141。显示面板141可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置。
输入单元150可用于接收用户输入的数字或字符等信息。输入单元150可包括触控面板151以及其他输入设备152。其中，触控面板151，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触摸笔等任何适合的物体或附件在触控面板151上或在触控面板151附近的操作)。
具体的，触控面板151可以检测用户的触摸操作，并检测触摸操作带来的信号，将这些信号转换成触点坐标，发送给处理器110，并接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板151。其他输入设备152可以包括但不限于物理键盘、功能键(比如音量控制按键、开关机按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
当然，触控面板151可覆盖显示面板141，当触控面板151检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图1中，触控面板151与显示面板141是作为两个独立的部件来实现终端设备100的输入和输出功能，但是在某些实施例中，可以将触控面板151与显示面板141集成而实现终端设备100的输入和输出功能。
终端设备100还可包括一个或多个传感器，例如压力传感器、重力加速度传感器、接近光传感器等。当然，根据具体应用中的需要，上述终端设备100还可以包括摄像头等其它部件，由于这些部件不是本发明实施例中重点使用的部件，因此，在图1中没有示出，且不再详述。
本领域技术人员可以理解，图1仅仅是终端设备的举例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
参阅图2所示，为本发明提供的一种影像识别的方法的实施流程图，该方法的具体实施流程如下：
步骤200：终端设备获取待识别的医疗影像。
具体的，医疗影像是人对视觉感知的物质再现。医疗影像可以由光学设备获取，如照相机、镜子、望远镜及显微镜等；也可以人为创作，如，手工绘画图像等。医疗影像可以记录、保存在纸质媒介、胶片等等对光信号敏感的介质上。随着数字采集技术和信号处理理论的发展，越来越多的医疗影像以数字形式存储。
可选的，医疗影像可以为拍摄的医疗图片，如，通过内窥镜(神经镜、尿道膀胱镜、电切镜、腹腔镜、关节镜、鼻窦镜以及喉镜等)获取的身体内部的影像。本发明提供的技术方案可以应用于对各种影像的识别，本发明实施例中仅以对食管影像进行识别为例进行说明，对于其它影像的识别，在此不再赘述。
步骤201：终端设备将医疗影像输入第一识别模型，获得病变识别结果。
具体的，终端设备将待识别的医疗影像归一化至指定大小后输入预先训练的第一识别模型，获得用于指示输入的医疗影像是否为发生病变的医疗影像的病变识别结果。
可选的，医疗影像的指定大小可以归一化处理为224*224像素。病变识别结果可以包含病变标签，和/或病变概率。病变标签可以包含正常影像标签和医疗影像标签。
其中，第一识别模型是预先采用DenseNet对正常影像样本和病变影像样本进行训练获得的。终端设备根据各个医疗影像的病变识别结果的交叉熵和相应约束表达式值的加和的平均值，以及正则值获得第一识别误差，并根据第一识别误差对第一识别模型进行优化。正则值是通过L2正则函数获得的。
其中，第一识别误差与上述平均值呈负相关，与上述正则值呈正相关。医疗影像的约束表达值在医疗影像的人工判别结果为正常时生效。交叉熵通过交叉熵表达式获得。交叉熵与医疗影像的实际分析结果，以及病变识别结果的对数均呈正相关。约束表达式值通过约束表达式获得。约束表达式值与医疗影像提取的特征向量的范数的平方呈正相关，与医疗影像的实际分析结果呈负相关。在医疗影像的实际分析结果为正常时，约束表达式值为非零即可以生效。当医疗影像的实际分析结果为病变时，约束表达式值为0即不生效。正则值是通过L2正则函数获得的。正则值与第一识别模型的模型参数的范数的平方呈正相关。
可选的，终端设备确定第一识别误差时，可以采用以下目标函数：
其中，i为医疗影像(或医疗影像样本)的序号，n为医疗影像(或医疗影像样本)的总数量，y为医疗影像的实际分析结果，x为医疗影像，w为第一识别模型的模型参数，f表示第一识别模型，p为采用第一识别模型对医疗影像提取的特征向量，r和λ为设置的权重值。yilog f(xi；w)为交叉熵表达式，为约束表达式，为L2正则函数。
这样，通过上述约束表达式可知，实际分析结果为病变时，约束表达式值为0，即不生效，实际分析结果为正常时，约束表达式值为约束表达式用于使得第一识别模型对正常的医疗影像的病变识别结果趋于0，反之，对于病变的医疗影像的病变识别结果分布于各病变区域的维度上。
其中，在对第一识别模型进行训练时，可以通过目标函数获得的第一识别误差，对第一识别模型进行调整；在采用第一识别模型对医疗影像进行识别应用时，可以通过目标函数获得的第一识别误差对第一识别模型进行纠偏，以及确定识别的精确度。
本发明实施例中，采用DenseNet中的DenseNet-121对正常影像样本和病变影像样本进行训练，获得第一识别模型，并通过第一识别误差对第一识别模型进行进一步优化。其中，正常影像样本中至少包括：正常影像以及正常影像标签。同理，医疗影像样本中至少包括医疗影像和医疗影像标签。
表1.
参阅表1所示，为DenseNet-121的网络结构的一种配置参数表。DenseNet-121采用表1所示的配置参数进行配置。DenseNet-121网络结构包含4个稠密块(dense Block)，增长率(growth-rate)设置为12，3个转化层(transition layer)，transition layer的特征压缩比设置为0.5，最后通过分类层(Classification Layer)输出病变识别结果。
参阅图3a所示，为一种第一识别模型的原理示意图。图3a中，终端设备将医疗影像输入至第一识别模型，依次通过卷积层，稠密层-1，卷积层，池化层，稠密层-N，卷积层以及线性层，输出病变识别结果。
例如，参阅图3b所示，为一种食管影像的示例图一，终端设备分别将图3b中的食管影像(a)和食管影像(b)输入至第一识别模型，输出食管影像(a)为正常的医疗影像，食管影像(b)为发生病变的食管影像。
这样，就可以通过第一识别模型，根据提取的医疗影像的各小区域的特征以及整体医疗影像的高级语义特征，对医疗影像进行分类，获得病变识别结果。通过第一识别模型可以对医疗影像进行初步筛选，筛选出发生病变的医疗影像，从而可以通过后续的第二识别模型直接对发生病变的医疗影像进行识别，提高了处理效率。
步骤202：终端设备判断病变识别结果是否为发生病变的医疗影像，若是，则执行步骤203，否则，执行步骤204。
步骤203：终端设备将医疗影像输入至第二识别模型，获得病变程度识别结果。
具体的，终端设备通过第二识别模型对医疗影像进行识别具体包括：将病变识别结果为发生病变的医疗影像分割为多个影像块，并分别提取各个影像块的特征信息，以及根据提取的特征信息确定各个影像块的病变程度识别结果。
其中，第二识别模型是基于卷积神经网络训练获得的，并且在训练以及识别应用的过程中，采用第二识别误差对第二识别模型进行优化。
其中，病变程度识别结果用于指示医疗影像发生病变的程度。病变程度识别结果包括：每个影像块的病变程度识别结果以及在医疗影像中的区域信息，和/或，根据每一影像块识别结果在其对应区域设置了相应指示信息后的病变程度指示影像。病变程度识别结果还包括医疗影像的病变程度标签，病变程度标签为：医疗影像分割出的多个影像块中病变程度最严重的影像块的第一识别结果；或者，根据所有影像块的特征信息确定的医疗影像的病变程度的第二识别结果，或者，根据第一识别结果和第二识别结果确定的综合结果。
例如，病变程度标签可以为炎症，早期癌症，中期癌症以及晚期癌症，还可以为癌变概率。区域信息可以为坐标或影像块位置名称等信息。病变程度指示影像中的各个区域可以根据不同识别结果设置不同的颜色或图案以进行指示。
其中，终端设备通过第二识别模型确定各个影像块的病变程度识别结果时，可以采用以下几种方式：
第一种方式为：首先，根据每一影像块的特征信息，分别确定每一影像块的癌变概率，并获取癌变概率范围与病变程度标签之间的关联关系；然后，根据该关联关系，确定最高的癌变概率所属的癌变概率范围对应的病变程度标签，并将获得的病变程度标签确定为第一识别结果；接着，根据每一影像块的癌变概率在其对应区域设置相应指示信息，获得病变程度指示影像；最后，将每一影像块的癌变概率和区域信息，病变程度指示影像以及第一识别结果，确定为所述医疗影像的病变程度识别结果。
由于发生癌变的医疗影像中至少有一个影像块是有癌变特征的，非癌变的医疗影像中没有任何影像块是有癌变特征的，因此，通过第一种方式，直接根据病变程度最严重的影像块，确定病变程度标签。
图3c为一种第二识别模型的原理示意图。图3d为一种影像块示意图。参阅图3c所示，终端设备将医疗影像输入至第二识别模型，通过第二识别模型将医疗影像划分为图3d所示的多个影像块，并分别提取每一影像块的特征信息，以及根据提取的特征信息，分别预估每一影像块的癌变概率；然后，终端设备将各影像块的癌变概率进行排序，并将最高癌变概率的影像块的病变程度标签，确定为医疗影像的病变程度标签，进而获得癌变程度识别结果。
第二种方式为：根据各个影像块的特征信息，确定医疗影像的癌变概率，并获取癌变概率范围与病变程度标签之间的关联关系；然后，根据该关联关系，确定该癌变概率所属的癌变概率范围对应的病变程度标签，并将获得的病变程度标签确定为第二识别结果；接着，根据每一影像块的癌变概率在其对应区域设置相应指示信息，获得病变程度指示影像；最后，将每一影像块的癌变概率和区域信息，病变程度指示影像以及第二识别结果，确定为所述医疗影像的病变程度识别结果。
这样，就可以通过整体的医疗影像的特征信息，确定病变程度标签。
第三种方式为：通过上述第一种方式和第二种方式分别获得第一识别结果和第二识别结果，并将第一识别结果和第二识别结果中病变程度最严重的识别结果确定为综合结果，以及将每一影像块的癌变概率和区域信息，病变程度指示影像以及综合结果，确定为所述医疗影像的病变程度识别结果。
例如，图3e为一种食管影像的示例图二，参阅图3e所示，图3e中(c)为一种食管影像的癌症示例图，(d)为一种食管影像的炎症示例图。终端设备分别将图3e中(c)和(d)医疗影像输入至第二识别模型，图3e中(c)对应的病变程度识别结果为发生癌变的医疗影像，图3e中(d)对应的病变程度识别结果为发生炎症的医疗影像。
又例如，图3f为一种食管影像的病变程度指示影像示例图。终端设备分别将图3f的(e)的左图、(f)的左图、(g)的左图以及(h)的左图输入第二识别模型，则输出的病变程度识别结果分别为：图3f的(e)的右图为图3f的(e)的左图的病变程度指示影像；图3f的(f)的右图为图3f的(f)的左图的病变程度指示影像；图3f的(g)的右图为图3f的(g)的左图的病变程度指示影像；图3f的(h)的右图为图3f的(h)的左图的病变程度指示影像；
这样，用户就可以通过病变程度标签，确定医疗影像的病变程度，根据病变程度指示影像，确定病变程度的判断依据。
其中，第二识别模型是基于卷积神经网络训练获得的，并采用第二识别误差对第二识别模型进行优化。第二识别误差是采用指定的损失函数获得的，损失函数中的交叉熵是基于医疗影像的各个影像块中病变程度最高的影像块的病变程度识别结果确定的。
可选的，损失函数可以为最大池损失函数(max pooling loss)，标记分配损失函数(labed assign loss)，稀疏损失函数(sparsity loss)。
表2.
参阅表2所示，第二识别模型的网络结构的一种配置参数表。表2所示的网络结构中包含两个分支，右边箭头指向的分支为采用上述第一种方式进行医疗影像识别的配置参数，左边箭头指向的分支为采用第二种方式进行医疗影像识别的配置参数。共有层中输出针对每一影像块提取的特征信息，右边箭头指向的分支，通过1*1卷积，根据共有层输出的各影像块的特征信息，获得每一影像块的癌变概率，进而根据各癌变概率，获得病变程度识别结果，左边箭头指向的分支，通过整体影像卷积，根据共有层输出的各影像块的特征信息，获得医疗影像的癌变概率，进而获得病变程度识别结果。
进一步地，还可以根据左边箭头指向的分支输出的第一识别结果和右边箭头指向的分支输出的第二识别结果，确定综合结果。其中，根据第二识别误差对第二识别模型优化时，对于共有层，根据综合结果确定的第二识别误差，对共有层的模型参数进行更新，对于左右箭头指向的分支，分别基于相应的识别结果确定的识别误差，进行模型参数优化。
步骤204：终端设备输出指示医疗影像为正常的病变识别结果。
进一步地，步骤202用于对医疗影像进行初步判别，以确定医疗影像是否发生病变。可选的，步骤201和步骤202也可以不执行，即直接通过后续的步骤203对医疗影像进行癌变识别。
具体的，影像识别的具体实施流程还可以为：
首先，终端设备获取待识别的医疗影像。
然后，终端设备将医疗影像输入至第二识别模型，获得病变程度识别结果。具体实施步骤，参见上述步骤203。
这样，可以减少识别的复杂步骤。
参阅图3g所示，为一种医疗***的结构示意图。医疗***300包括影像采集装置301，影像识别装置302，以及显示装置303。
影像采集装置301，用于通过内置的照相机或内窥镜等对病人的病灶(如，身体内部)等位置进行拍摄，以采集病人的医疗影像。内窥镜可以为神经镜、尿道膀胱镜、电切镜、腹腔镜、关节镜、鼻窦镜以及喉镜等。
影像识别装置302，用于获取影像采集装置301采集的医疗影像，并通过第一识别模型判别医疗影像是否为发生病变的医疗影像，生成病变识别结果，以及通过第二识别模型对发生病变的医疗影像进行进一步识别，获得病变程度识别结果，以指示医疗影像发生病变的程度。进一步地，影像识别装置302也可以直接采用第二识别模型对发生病变的医疗影像进行识别，获得病变程度识别结果。
显示装置303，用于获取影像识别装置302输出的病变识别结果或病变程度识别结果，并向用户呈现病变识别结果或病变程度识别结果。
这样，医疗***300可以通过影像采集装置301采集病人的医疗影像，并通过影像识别装置302对采集的医疗影像进行识别，获得病变识别结果或病变程度识别结果，以及通过显示装置303向用户呈现病变识别结果或病变程度识别结果。
基于同一发明构思，本发明实施例中还提供了一种影像识别的装置，由于上述装置及设备解决问题的原理与一种影像识别的方法相似，因此，上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图4a所示，其为本发明实施例提供的一种影像识别的装置的结构示意图一，包括：
获取单元410，用于获取待识别的医疗影像；
判别单元411，用于通过第一识别模型对医疗影像进行判别，生成病变识别结果，第一识别模型用于判别医疗影像是否发生病变；
识别单元412，用于通过第二识别模型对发生病变的医疗影像进行识别，生成病变程度识别结果，第二识别模型用于识别医疗影像发生病变的程度。
较佳的，识别单元412具体用于：将病变识别结果为发生病变的医疗影像分割为多个影像块；
分别提取多个影像块的特征信息，根据提取的特征信息确定各个影像块的病变程度识别结果；以及
病变程度识别结果包括：每个影像块的病变程度识别结果及其在医疗影像中的区域信息，和/或，根据每个影像块的病变程度识别结果在其对应区域设置了相应指示信息后的病变程度指示影像。
较佳的，病变程度识别结果还包括医疗影像的病变程度标签，医疗影像的病变程度标签为：
病例影像分割出的多个影像块中病变程度最严重的影像块的第一识别结果；或者，
根据所有影像块的特征信息确定的医疗影像的病变程度的第二识别结果；或者，
根据第一识别结果和第二识别结果确定的综合结果。
较佳的，第二识别模型，是基于卷积神经网络训练得到的，并且采用第二识别误差对第二识别模型进行优化；
其中，第二识别误差是采用指定的损失函数获得的，损失函数中的交叉熵，是基于医疗影像的各个影像块中病变程度最高的影像块的病变程度识别结果确定的。
较佳的，第一识别模型，是基于DenseNet训练获得的，并且采用第一识别误差对第一识别模型进行优化；
其中，第一识别误差是根据各个医疗影像的病变识别结果的交叉熵和相应约束表达式值的加和的平均值，以及正则值获得的，其中，医疗影像的约束表达值是通过预设的约束表达式获得的，约束表达式用于在医疗影像的人工判别结果为正常时获得有效的约束表达值。
如图4b所示，其为本发明实施例提供的一种影像识别的装置的结构示意图二，包括：
输入单元420，用于获取待识别的医疗影像，并通过识别模型对待识别的医疗影像进行识别；
获得单元421，用于获得识别模型对待识别的医疗影像进行识别后输出的病变程度识别结果，且病变程度识别结果包括：医疗影像包括的多个影像块中，每个影像块的病变程度识别结果及其在医疗影像中的区域信息，和/或根据每个影像块的病变程度识别结果在其对应区域设置了相应指示信息后的病变程度指示影像；
其中，识别模型对医疗影像进行识别具体包括：将医疗影像分割为多个影像块，并针对每个影像块，提取该影像块的特征信息并根据提取的特征信息确定该影像块的病变程度识别结果。
本发明实施例提供的一种影像识别的方法、装置、终端设备和医疗***中，先通过第一识别模型判别医疗影像是否为发生病变的医疗影像，然后，通过第二识别模型对发生病变的医疗影像进行进一步识别，获得病变程度识别结果，以指示医疗影像发生病变的程度。这不需要人工进行分析以及定制特征抽取方案，提高了医疗影像识别的效率和精确度。
基于同一技术构思，本发明实施例还提供了一种终端设备500，参照图5所示，终端设备500用于实施上述各个方法实施例记载的方法，例如实施图2所示的实施例，终端设备500可以包括存储器501、处理器502、输入单元503和显示面板504。
存储器501，用于存储处理器502执行的计算机程序。存储器501可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据终端设备500的使用所创建的数据等。处理器502，可以是一个中央处理单元(central processing unit，CPU)，或者为数字处理单元等等。输入单元503，可以用于获取用户输入的用户指令。显示面板504，用于显示由用户输入的信息或提供给用户的信息，本发明实施例中，显示面板504主要用于显示终端设备中各应用程序的显示界面以及各显示界面中显示的控件实体。可选的，显示面板504可以采用液晶显示器(liquidcrystal display，LCD)或OLED(organic light-emitting diode，有机发光二极管)等形式来配置显示面板504。
本发明实施例中不限定上述存储器501、处理器502、输入单元503和显示面板504之间的具体连接介质。本发明实施例在图5中以存储器501、处理器502、输入单元503、显示面板504之间通过总线505连接，总线505在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线505可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器501可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器501也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器501是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器501可以是上述存储器的组合。
处理器502，用于实现如图2所示的实施例，包括：
处理器502，用于调用存储器501中存储的计算机程序执行如实施图2所示的实施例。
本发明实施例还提供了一种计算机可读存储介质，存储为执行上述处理器所需执行的计算机可执行指令，其包含用于执行上述处理器所需执行的程序。
在一些可能的实施方式中，本发明提供的一种影像识别的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述描述的根据本发明各种示例性实施方式的一种影像识别的方法中的步骤。例如，终端设备可以执行如实施图2所示的实施例。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本发明的实施方式的用于一种影像识别的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向实体的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供熵来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种医疗影像的识别方法，其特征在于，包括：
获取待识别的医疗影像；
通过第一识别模型对所述医疗影像进行判别，生成病变识别结果，所述第一识别模型用于判别医疗影像是否发生病变；
通过第二识别模型对发生病变的医疗影像进行识别，生成病变程度识别结果，所述第二识别模型用于识别医疗影像发生病变的程度。
2.如权利要求1所述的方法，其特征在于，通过第二识别模型对发生病变的医疗影像进行识别，具体包括：
将病变识别结果为发生病变的医疗影像分割为多个影像块；
分别提取多个影像块的特征信息，根据提取的特征信息确定各个影像块的病变程度识别结果；以及
所述病变程度识别结果包括：每个影像块的病变程度识别结果及其在医疗影像中的区域信息，和/或，根据每个影像块的病变程度识别结果在其对应区域设置了相应指示信息后的病变程度指示影像。
3.如权利要求2所述的方法，其特征在于，所述病变程度识别结果还包括医疗影像的病变程度标签，所述医疗影像的病变程度标签为：
所述病例影像分割出的多个影像块中病变程度最严重的影像块的第一识别结果；或者，
根据所有影像块的特征信息确定的所述医疗影像的病变程度的第二识别结果；或者，
根据所述第一识别结果和所述第二识别结果确定的综合结果。
4.如权利要求2或3所述的方法，其特征在于，所述第二识别模型，是基于卷积神经网络训练得到的，并且采用第二识别误差对所述第二识别模型进行优化；
其中，所述第二识别误差是采用指定的损失函数获得的，所述损失函数中的交叉熵，是基于医疗影像的各个影像块中病变程度最高的影像块的病变程度识别结果确定的。
5.如权利要求1所述的方法，其特征在于，所述第一识别模型，是基于稠密卷积网络DenseNet训练获得的，并且采用第一识别误差对所述第一识别模型进行优化；
其中，所述第一识别误差是根据各个医疗影像的病变识别结果的交叉熵和相应约束表达式值的加和的平均值，以及正则值获得的，其中，医疗影像的约束表达值是通过预设的约束表达式获得的，所述约束表达式用于在医疗影像的人工判别结果为正常时获得有效的约束表达值。
6.一种影像识别的装置，其特征在于，包括：
获取单元，用于获取待识别的医疗影像；
判别单元，用于通过第一识别模型对所述医疗影像进行判别，生成病变识别结果，所述第一识别模型用于判别医疗影像是否发生病变；
识别单元，用于通过第二识别模型对发生病变的医疗影像进行识别，生成病变程度识别结果，所述第二识别模型用于识别医疗影像发生病变的程度。
7.如权利要求6所述的装置，其特征在于，所述识别单元具体用于：将病变识别结果为发生病变的医疗影像分割为多个影像块；
分别提取多个影像块的特征信息，根据提取的特征信息确定各个影像块的病变程度识别结果；以及
所述病变程度识别结果包括：每个影像块的病变程度识别结果及其在医疗影像中的区域信息，和/或，根据每个影像块的病变程度识别结果在其对应区域设置了相应指示信息后的病变程度指示影像。
8.如权利要求7所述的装置，其特征在于，所述病变程度识别结果还包括医疗影像的病变程度标签，所述医疗影像的病变程度标签为：
所述病例影像分割出的多个影像块中病变程度最严重的影像块的第一识别结果；或者，
根据所有影像块的特征信息确定的所述医疗影像的病变程度的第二识别结果；或者，
根据所述第一识别结果和所述第二识别结果确定的综合结果。
9.如权利要求7或8所述的装置，其特征在于，所述第二识别模型，是基于卷积神经网络训练得到的，并且采用第二识别误差对所述第二识别模型进行优化；
其中，所述第二识别误差是采用指定的损失函数获得的，所述损失函数中的交叉熵，是基于医疗影像的各个影像块中病变程度最高的影像块的病变程度识别结果确定的。
10.如权利要求6所述的装置，其特征在于，所述第一识别模型，是基于稠密卷积网络DenseNet训练获得的，并且采用第一识别误差对所述第一识别模型进行优化；
其中，所述第一识别误差是根据各个医疗影像的病变识别结果的交叉熵和相应约束表达式值的加和的平均值，以及正则值获得的，其中，医疗影像的约束表达值是通过预设的约束表达式获得的，所述约束表达式用于在医疗影像的人工判别结果为正常时获得有效的约束表达值。
11.一种医疗影像的识别方法，其特征在于，包括：
获取待识别的医疗影像，并通过识别模型对所述待识别的医疗影像进行识别；
获得所述识别模型对所述待识别的医疗影像进行识别后输出的病变程度识别结果，且所述病变程度识别结果包括：所述医疗影像包括的多个影像块中，每个影像块的病变程度识别结果及其在医疗影像中的区域信息，和/或根据每个影像块的病变程度识别结果在其对应区域设置了相应指示信息后的病变程度指示影像；
其中，所述识别模型对所述医疗影像进行识别具体包括：将所述医疗影像分割为多个影像块，并针对每个影像块，提取该影像块的特征信息并根据提取的特征信息确定该影像块的病变程度识别结果。
12.一种影像识别的装置，其特征在于，包括：
输入单元，用于获取待识别的医疗影像，并通过识别模型对所述待识别的医疗影像进行识别；
获得单元，用于获得所述识别模型对所述待识别的医疗影像进行识别后输出的病变程度识别结果，且所述病变程度识别结果包括：所述医疗影像包括的多个影像块中，每个影像块的病变程度识别结果及其在医疗影像中的区域信息，和/或根据每个影像块的病变程度识别结果在其对应区域设置了相应指示信息后的病变程度指示影像；
其中，所述识别模型对所述医疗影像进行识别具体包括：将所述医疗影像分割为多个影像块，并针对每个影像块，提取该影像块的特征信息并根据提取的特征信息确定该影像块的病变程度识别结果。
13.一种终端设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～5任一权利要求所述方法的步骤。
14.一种医疗***，其特征在于，包括影像采集装置、影像识别装置和显示装置，其中，
所述影像采集装置，用于采集病人的医疗影像；
所述影像识别装置，用于获取所述影像采集装置采集的医疗影像，并通过第一识别模型对所述医疗影像进行判别，生成病变识别结果，以及通过第二识别模型对发生病变的医疗影像进行识别，生成病变程度识别结果；其中，所述第一识别模型用于判别医疗影像是否发生病变，所述第二识别模型用于识别医疗影像发生病变的程度；
所述显示装置，用于呈现所述病变程度识别结果。
15.一种医疗***，其特征在于，包括影像采集装置、影像识别装置和显示装置，其中，
所述影像采集装置，用于采集病人的医疗影像；
所述影像识别装置，用于获取所述影像采集装置采集的医疗影像，并通过第二识别模型对发生病变的医疗影像进行识别，生成病变程度识别结果，其中，所述第二识别模型用于识别医疗影像发生病变的程度；
所述显示装置，用于呈现所述病变程度识别结果。
CN201811278418.3A 2018-10-30 2018-10-30 一种影像识别的方法、装置、终端设备和医疗*** Pending CN109427060A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201811278418.3A CN109427060A (zh) 2018-10-30 2018-10-30 一种影像识别的方法、装置、终端设备和医疗***
JP2020561046A JP7152513B2 (ja) 2018-10-30 2019-06-28 画像認識方法、装置、端末機器及び医療システム、並びにそのコンピュータプログラム
PCT/CN2019/093602 WO2020087960A1 (zh) 2018-10-30 2019-06-28 一种影像识别的方法、装置、终端设备和医疗***
EP19879486.9A EP3876192A4 (en) 2018-10-30 2019-06-28 IMAGE RECOGNITION PROCESS AND DEVICE, TERMINAL APPARATUS AND MEDICAL SYSTEM
US17/078,878 US11410306B2 (en) 2018-10-30 2020-10-23 Method, apparatus, system, and storage medium for recognizing medical image
US17/856,043 US11610310B2 (en) 2018-10-30 2022-07-01 Method, apparatus, system, and storage medium for recognizing medical image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811278418.3A CN109427060A (zh) 2018-10-30 2018-10-30 一种影像识别的方法、装置、终端设备和医疗***

Publications (1)

Publication Number Publication Date
CN109427060A true CN109427060A (zh) 2019-03-05

Family

ID=65514793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811278418.3A Pending CN109427060A (zh) 2018-10-30 2018-10-30 一种影像识别的方法、装置、终端设备和医疗***

Country Status (5)

Country Link
US (2) US11410306B2 (zh)
EP (1) EP3876192A4 (zh)
JP (1) JP7152513B2 (zh)
CN (1) CN109427060A (zh)
WO (1) WO2020087960A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110432977A (zh) * 2019-08-07 2019-11-12 杭州睿笛生物科技有限公司 一种电脉冲消融设备以及适用其仿真方法
CN110610489A (zh) * 2019-08-30 2019-12-24 西安电子科技大学 基于注意力机制的光学喉镜图像病变区标注方法
WO2020087960A1 (zh) * 2018-10-30 2020-05-07 腾讯科技（深圳）有限公司 一种影像识别的方法、装置、终端设备和医疗***
CN111488912A (zh) * 2020-03-16 2020-08-04 哈尔滨工业大学 一种基于深度学习神经网络的喉部疾病诊断***
CN111860209A (zh) * 2020-06-29 2020-10-30 北京字节跳动网络技术有限公司 手部识别方法、装置、电子设备及存储介质
CN112037167A (zh) * 2020-07-21 2020-12-04 苏州动影信息科技有限公司 一种基于影像组学和遗传算法的目标区域确定***
CN116342859A (zh) * 2023-05-30 2023-06-27 安徽医科大学第一附属医院 一种基于影像学特征识别肺部肿瘤区域的方法及***

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI705458B (zh) * 2019-09-19 2020-09-21 沐恩生醫光電股份有限公司 一種醫療影像辨識的方法與系統
CN112509688B (zh) * 2020-09-25 2024-06-11 卫宁健康科技集团股份有限公司 压疮图片自动分析***、方法、设备和介质
CN112233194B (zh) * 2020-10-15 2023-06-02 平安科技（深圳）有限公司 医学图片优化方法、装置、设备及计算机可读存储介质
CN113130050B (zh) * 2021-04-20 2023-11-24 皖南医学院第一附属医院（皖南医学院弋矶山医院） 一种医学信息显示方法及显示***
CN115311268B (zh) * 2022-10-10 2022-12-27 武汉楚精灵医疗科技有限公司 食管内窥镜图像的识别方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105997128A (zh) * 2016-08-03 2016-10-12 上海联影医疗科技有限公司 利用灌注成像识别病灶的方法及***
CN107203778A (zh) * 2017-05-05 2017-09-26 平安科技（深圳）有限公司 视网膜病变程度等级检测***及方法
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别***及方法、云平台、服务器、计算机
CN108095683A (zh) * 2016-11-11 2018-06-01 北京羽医甘蓝信息技术有限公司 基于深度学习的处理眼底图像的方法和装置
CN108305249A (zh) * 2018-01-24 2018-07-20 福建师范大学 基于深度学习的全尺度病理切片的快速诊断和评分方法
CN108346154A (zh) * 2018-01-30 2018-07-31 浙江大学 基于Mask-RCNN神经网络的肺结节分割装置的建立方法
CN108510482A (zh) * 2018-03-22 2018-09-07 姚书忠 基于***镜图像的***检测方法、装置、设备及介质
CN108573490A (zh) * 2018-04-25 2018-09-25 王成彦 一种针对肿瘤影像数据的智能读片***
CN108665457A (zh) * 2018-05-16 2018-10-16 腾讯科技（深圳）有限公司 图像识别方法、装置、存储介质及计算机设备
WO2018189551A1 (en) * 2017-04-12 2018-10-18 Kheiron Medical Technologies Ltd Malignancy assessment for tumors
CN108710901A (zh) * 2018-05-08 2018-10-26 广州市新苗科技有限公司 一种基于深度学习的脊柱畸形筛查***及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607343B2 (en) * 2016-10-21 2020-03-31 Nantomics, Llc Digital histopathology and microdissection
WO2019054045A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
CN111295127B (zh) * 2017-10-31 2022-10-25 富士胶片株式会社 检查支持装置、内窥镜装置及记录介质
CN109427060A (zh) * 2018-10-30 2019-03-05 腾讯科技（深圳）有限公司 一种影像识别的方法、装置、终端设备和医疗***

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105997128A (zh) * 2016-08-03 2016-10-12 上海联影医疗科技有限公司 利用灌注成像识别病灶的方法及***
CN108095683A (zh) * 2016-11-11 2018-06-01 北京羽医甘蓝信息技术有限公司 基于深度学习的处理眼底图像的方法和装置
WO2018189551A1 (en) * 2017-04-12 2018-10-18 Kheiron Medical Technologies Ltd Malignancy assessment for tumors
CN107203778A (zh) * 2017-05-05 2017-09-26 平安科技（深圳）有限公司 视网膜病变程度等级检测***及方法
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别***及方法、云平台、服务器、计算机
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
CN108305249A (zh) * 2018-01-24 2018-07-20 福建师范大学 基于深度学习的全尺度病理切片的快速诊断和评分方法
CN108346154A (zh) * 2018-01-30 2018-07-31 浙江大学 基于Mask-RCNN神经网络的肺结节分割装置的建立方法
CN108510482A (zh) * 2018-03-22 2018-09-07 姚书忠 基于***镜图像的***检测方法、装置、设备及介质
CN108573490A (zh) * 2018-04-25 2018-09-25 王成彦 一种针对肿瘤影像数据的智能读片***
CN108710901A (zh) * 2018-05-08 2018-10-26 广州市新苗科技有限公司 一种基于深度学习的脊柱畸形筛查***及方法
CN108665457A (zh) * 2018-05-16 2018-10-16 腾讯科技（深圳）有限公司 图像识别方法、装置、存储介质及计算机设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020087960A1 (zh) * 2018-10-30 2020-05-07 腾讯科技（深圳）有限公司 一种影像识别的方法、装置、终端设备和医疗***
US11610310B2 (en) 2018-10-30 2023-03-21 Tencent Technology (Shenzhen) Company Limited Method, apparatus, system, and storage medium for recognizing medical image
US11410306B2 (en) 2018-10-30 2022-08-09 Tencent Technology (Shenzhen) Company Limited Method, apparatus, system, and storage medium for recognizing medical image
CN110432977A (zh) * 2019-08-07 2019-11-12 杭州睿笛生物科技有限公司 一种电脉冲消融设备以及适用其仿真方法
CN110610489B (zh) * 2019-08-30 2021-11-23 西安电子科技大学 基于注意力机制的光学喉镜图像病变区标注方法
CN110610489A (zh) * 2019-08-30 2019-12-24 西安电子科技大学 基于注意力机制的光学喉镜图像病变区标注方法
CN111488912A (zh) * 2020-03-16 2020-08-04 哈尔滨工业大学 一种基于深度学习神经网络的喉部疾病诊断***
CN111860209A (zh) * 2020-06-29 2020-10-30 北京字节跳动网络技术有限公司 手部识别方法、装置、电子设备及存储介质
CN111860209B (zh) * 2020-06-29 2024-04-26 北京字节跳动网络技术有限公司 手部识别方法、装置、电子设备及存储介质
CN112037167A (zh) * 2020-07-21 2020-12-04 苏州动影信息科技有限公司 一种基于影像组学和遗传算法的目标区域确定***
CN112037167B (zh) * 2020-07-21 2023-11-24 苏州动影信息科技有限公司 一种基于影像组学和遗传算法的目标区域确定***
CN116342859A (zh) * 2023-05-30 2023-06-27 安徽医科大学第一附属医院 一种基于影像学特征识别肺部肿瘤区域的方法及***
CN116342859B (zh) * 2023-05-30 2023-08-18 安徽医科大学第一附属医院 一种基于影像学特征识别肺部肿瘤区域的方法及***

Also Published As

Publication number Publication date
US11610310B2 (en) 2023-03-21
US20210042920A1 (en) 2021-02-11
US11410306B2 (en) 2022-08-09
JP2021521553A (ja) 2021-08-26
WO2020087960A1 (zh) 2020-05-07
US20220343502A1 (en) 2022-10-27
JP7152513B2 (ja) 2022-10-12
EP3876192A4 (en) 2021-11-17
EP3876192A1 (en) 2021-09-08

Similar Documents

Publication Publication Date Title
CN109427060A (zh) 一种影像识别的方法、装置、终端设备和医疗***
Du et al. Review on the applications of deep learning in the analysis of gastrointestinal endoscopy images
Chandran et al. Diagnosis of cervical cancer based on ensemble deep learning network using colposcopy images
Li et al. Development and validation of an endoscopic images‐based deep learning model for detection with nasopharyngeal malignancies
Masood et al. Computer-assisted decision support system in pulmonary cancer detection and stage classification on CT images
Lin et al. Automatic detection of oral cancer in smartphone-based images using deep learning for early diagnosis
CN109523522B (zh) 内窥镜图像的处理方法、装置、***及存储介质
Debelee et al. Deep learning in selected cancers’ image analysis—a survey
He et al. Image segmentation algorithm of lung cancer based on neural network model
US9158382B2 (en) Medical information display apparatus, method, and program
Pacheco et al. Recent advances in deep learning applied to skin cancer detection
KR20170096088A (ko) 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
CN109460717B (zh) 消化道共聚焦激光显微内镜病变图像识别方法及装置
Du et al. Improving the classification performance of esophageal disease on small dataset by semi-supervised efficient contrastive learning
Kanai et al. Gastritis detection from gastric X-ray images via fine-tuning of patch-based deep convolutional neural network
Wang et al. Multiscale feature fusion for skin lesion classification
Liu et al. The application of artificial intelligence to chest medical image analysis
Liu et al. A survey of artificial intelligence in tongue image for disease diagnosis and syndrome differentiation
Yan et al. Automated detection of glottic laryngeal carcinoma in laryngoscopic images from a multicentre database using a convolutional neural network
CN113538344A (zh) 区分萎缩性胃炎和胃癌的图像识别***、设备及介质
Du et al. Automatic calcification morphology and distribution classification for breast mammograms with multi-task graph convolutional neural network
Kara et al. A smart handheld edge device for on-site diagnosis and classification of texture and stiffness of excised colorectal cancer polyps
Abbas et al. Deep Learning-aided Brain Tumor Detection: An Initial‎ Experience based Cloud Framework‎
CN109597989A (zh) 诊断词归一方法及装置、存储介质、电子设备
CN111582328A (zh) 一种基于肺部ct影像的covid-19分类识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190911

Address after: 518054 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A

Applicant after: Tencent Medical Health (Shenzhen) Co., Ltd.

Address before: 518044, Tencent Building, 35 high tech Zone, Nanshan District hi tech Zone, Guangdong, Shenzhen

Applicant before: Tencent Technology (Shenzhen) Co., Ltd.

TA01 Transfer of patent application right