CN110110748B - 一种原始图片的识别方法及装置 - Google Patents

一种原始图片的识别方法及装置 Download PDF

Info

Publication number
CN110110748B
CN110110748B CN201910251171.4A CN201910251171A CN110110748B CN 110110748 B CN110110748 B CN 110110748B CN 201910251171 A CN201910251171 A CN 201910251171A CN 110110748 B CN110110748 B CN 110110748B
Authority
CN
China
Prior art keywords
network model
result
abnormal
output
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910251171.4A
Other languages
English (en)
Other versions
CN110110748A (zh
Inventor
朱喻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Side Medical Technology Co ltd
Original Assignee
Guangzhou Side Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Side Medical Technology Co ltd filed Critical Guangzhou Side Medical Technology Co ltd
Priority to CN201910251171.4A priority Critical patent/CN110110748B/zh
Publication of CN110110748A publication Critical patent/CN110110748A/zh
Application granted granted Critical
Publication of CN110110748B publication Critical patent/CN110110748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种原始图片的识别方法及装置，所述方法包括：输入待识别的原始图片至初筛网络模型；若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果。所述装置执行上述方法。本发明实施例提供的原始图片的识别方法及装置，能够提高原始图片识别的效率和准确度。

Description

一种原始图片的识别方法及装置
技术领域
本发明实施例涉及图片处理技术领域，尤其涉及一种原始图片的识别方法及装置。
背景技术
胶囊内镜具有无痛、无伤、拍摄图像信息量大等优点，具备广泛的应用价值。
对通过胶囊内镜拍摄的原始图片进行识别，以确定原始图片中是否存在某些特征显得意义重大，现有技术通过人工识别的方式识别上述原始图片，由于原始图片较多、人工阅片效率低下，且有些图片极为相似，容易导致图片识别错误。
因此，如何避免上述缺陷，提高原始图片识别的效率和准确度，成为亟须解决的问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种原始图片的识别方法及装置。
本发明实施例提供一种原始图片的识别方法，包括：
输入待识别的原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；所述初筛网络模型为不区分异常特征的区域面积的网络模型；所述异常特征包括凸起特征和/或指定颜色特征；
若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；所述细筛网络模型为根据所述区域面积的数值大小，将所述异常特征区分为点状异常特征和面状异常特征的网络模型；
根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；所述目标网络模型为用于识别所述点状异常特征的网络模型、用于识别所述面状异常特征的网络模型；
根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果。
本发明实施例提供一种原始图片的识别装置，包括：
输入单元，用于输入待识别的原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；所述初筛网络模型为不区分异常特征的区域面积的网络模型；所述异常特征包括凸起特征和/或指定颜色特征；
判断单元，用于若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；所述细筛网络模型为根据所述区域面积的数值大小，将所述异常特征区分为点状异常特征和面状异常特征的网络模型；
确定单元，用于根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；所述目标网络模型为用于识别所述点状异常特征的网络模型、用于识别所述面状异常特征的网络模型；
识别单元，用于根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果。
本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：
输入待识别的原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；所述初筛网络模型为不区分异常特征的区域面积的网络模型；所述异常特征包括凸起特征和/或指定颜色特征；
若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；所述细筛网络模型为根据所述区域面积的数值大小，将所述异常特征区分为点状异常特征和面状异常特征的网络模型；
根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；所述目标网络模型为用于识别所述点状异常特征的网络模型、用于识别所述面状异常特征的网络模型；
根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果。
本发明实施例提供一种非暂态计算机可读存储介质，包括：
所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：
输入待识别的原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；所述初筛网络模型为不区分异常特征的区域面积的网络模型；所述异常特征包括凸起特征和/或指定颜色特征；
若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；所述细筛网络模型为根据所述区域面积的数值大小，将所述异常特征区分为点状异常特征和面状异常特征的网络模型；
根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；所述目标网络模型为用于识别所述点状异常特征的网络模型、用于识别所述面状异常特征的网络模型；
根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果。
本发明实施例提供的原始图片的识别方法及装置，通过将初筛网络模型、细筛网络模型和目标网络模型进行级联，并逐级依次识别尚未确定不包含异常特征的识别结果，当全部识别结果都为不包含异常特征时，才可确定最终识别结果为不包含异常特征，能够提高原始图片识别的效率和准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明原始图片的识别方法实施例流程图；
图2为本发明原始图片的识别装置实施例结构示意图；
图3为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明原始图片的识别方法实施例流程图，如图1所示，本发明实施例提供的一种原始图片的识别方法，包括以下步骤：
S101：输入待识别的原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；所述初筛网络模型为不区分异常特征的区域面积的网络模型；所述异常特征包括凸起特征和/或指定颜色特征。
具体的，装置输入待识别的原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；所述初筛网络模型为不区分异常特征的区域面积的网络模型；所述异常特征包括凸起特征和/或指定颜色特征。对胶囊内镜的工作过程作如下说明：
·胶囊内镜从口腔进入消化道，再从***自然排出体外。
·胶囊内镜的电池续航力有限，其有效工作区间为口腔、食道、胃、十二指肠、小肠和大肠一部分。
·胶囊内镜的每次活动都产生域内检查图片和域外检查图片。
·域内检查图片是对消化道某一段所进行的拍摄结果。
·域外检查图片是除了域内检查图片以外，胶囊内镜顺便拍到的图片。
·全部图片均可自动识别，无需任何人工介入(包括图像预处理)。
·识别图像后，将胶囊内镜拍摄的图片分为六个大类(125个小类)，自动保存于125个图片文件夹中，其中，六个大类可以为：
第一大类：一类域外分类标签(10个类别)。
第二大类：二类域外分类标签(13个类别)。
第三大类：基于局部结构特征的第一目标图片分类标签(14个类别)。
第四大类：洞状结构第一目标图片分类标签(8个类别)。
第五大类：基于全局结构特征的第一目标图片分类标签(24个类别)。
第六大类：第二目标图片分类标签(56个类别)。
·能够自动识别口腔、食道、胃、十二指肠、小肠和大肠等消化道的不同部位。
每粒胶囊内镜每次可以拍摄的原始图片的数量可以为2000～3000张，即胶囊内镜获取到的图片集中的图片数量。
可以从医院信息***中导出、未经任何处理的胶囊内镜拍摄的原始图片(JPG格式)。所述初筛网络模型可以为卷积神经网络inceptionV3，初筛网络模型的输入为整张原始图片，且不区分异常特征的区域面积，由于，对区域面积较大的异常特征对应的图片和区域面积较小的异常特征对应的图片都采用该模型进行识别，使得采用该模型识别原始图片的准确度有待进一步提高。区域面积较大和区域面积较小可以通过异常特征所在的区域面积与该异常特征所在拍摄物对应的拍摄物面积的占比来区分。凸起特征可以包括肿胀、颗粒状物凸起；指定颜色特征可以包括红色、白色，不作具体限定。异常特征可以作为某些疾病诊断过程中的中间参考特征，仅仅依赖该异常特征还不足以诊断出疾病。
S102：若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；所述细筛网络模型为根据所述区域面积的数值大小，将所述异常特征区分为点状异常特征和面状异常特征的网络模型。
具体的，装置若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；所述细筛网络模型为根据所述区域面积的数值大小，将所述异常特征区分为点状异常特征和面状异常特征的网络模型。尚未确定不包含所述异常特征的一次识别结果可以理解为：通过初筛网络模型识别异常特征的识别结果为阴性，对于阴性的识别结果可以通过将异常特征的softmax数值与预设值相比较来确定，具体可以是小于该预设值，该预设值可以理解为识别结果的阈值，例如大于该预设值为阳性的识别结果，而小于该预设值为阴性的识别结果，该预设值可以根据实际情况自主设置。点状异常特征例如可以包括息肉、溃疡等；面状异常特征可以包括弥漫性发红、胃小区肿胀等。所述细筛网络模型可以为卷积神经网络Resnet。
该方法还可以包括：
若判断获知所述初筛网络模型的输出为a21，则直接确定所述原始图片的最终识别结果为确定包含所述异常特征；所述a21为识别所述原始图片的一次第二识别结果；所述一次第二识别结果为所述初筛网络模型输出的、且所述异常特征的softmax数值大于预设值的一次识别结果。即对于阳性的识别结果，则无需再用其他模型进行识别，可以直接确定最终识别结果为确定包含所述异常特征。
S103：根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；所述目标网络模型为用于识别所述点状异常特征的网络模型、用于识别所述面状异常特征的网络模型。
具体的，装置根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；所述目标网络模型为用于识别所述点状异常特征的网络模型、用于识别所述面状异常特征的网络模型。所述输出结果可以包括所述点状异常特征、且尚未确定不包含所述异常特征；目标网络模型可以为区域目标识别网络模型，即用于识别所述点状异常特征的网络模型，区域目标识别网络模型可以为Faster RCNN。
根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型，可以具体包括：
输入b11至与所述b11相对应的区域目标识别网络模型；所述b11为对所述a11进行再识别的二次第一识别结果；所述二次第一识别结果为所述细筛网络模型输出的、尚未确定不包含所述异常特征、且所述异常特征为点状异常特征的二次识别结果；所述区域目标识别网络模型为用于识别所述点状异常特征的网络模型。尚未确定不包含所述异常特征的二次识别结果可以理解为：通过细筛网络模型识别异常特征的识别结果为阴性，对于阴性的识别结果可以通过将异常特征的softmax数值与预设值相比较来确定，具体可以是小于该预设值，该预设值可以理解为识别结果的阈值，例如大于该预设值为阳性的识别结果，而小于该预设值为阴性的识别结果，该预设值可以根据实际情况自主设置。
所述输出结果可以包括所述面状异常特征、且尚未确定不包含所述异常特征；目标网络模型可以为面状目标识别网络模型，即用于识别所述面状异常特征的网络模型，面状目标识别网络模型可以为Resnet。
根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型，可以具体包括：
输入b12至与所述b12相对应的面状目标识别网络模型；所述b12为对所述a11进行再识别的另一二次第一识别结果；所述另一二次第一识别结果为所述细筛网络模型输出的、尚未确定不包含所述异常特征、且所述异常特征为面状异常特征的二次识别结果；所述面状目标识别网络模型为用于识别所述面状异常特征的网络模型。尚未确定不包含所述异常特征的该二次识别结果可以理解为：通过细筛网络模型识别异常特征的识别结果为阴性，对于阴性的识别结果可以通过将异常特征的softmax数值与预设值相比较来确定，具体可以是小于该预设值，该预设值可以理解为识别结果的阈值，例如大于该预设值为阳性的识别结果，而小于该预设值为阴性的识别结果，该预设值可以根据实际情况自主设置。
该方法还可以包括：
若判断获知所述细筛网络模型的输出为b21，则直接确定所述原始图片的最终识别结果为确定包含所述异常特征；所述b21为识别所述原始图片的二次第二识别结果；所述二次第二识别结果为所述细筛网络模型输出的、且所述异常特征的softmax数值大于预设值的二次识别结果。即对于阳性的识别结果，则无需再用其他模型进行识别，可以直接确定最终识别结果为确定包含所述异常特征。需要说明的是：a21和b21分别对应初筛网络模型和细筛网络模型的输出，关于b21的说明可参照上述a21的说明，不再赘述。
S104：根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果。
具体的，装置根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果。具体可以包括：
若判断获知所述区域目标识别网络模型的输出为c11，则确定所述原始图片的最终识别结果为确定不包含所述异常特征；所述c11为对所述b11进行再识别的三次第一识别结果；所述三次第一识别结果为所述区域目标识别网络模型输出的、尚未确定不包含所述异常特征的三次识别结果。尚未确定不包含所述异常特征的三次识别结果可以理解为：通过区域目标识别网络模型识别异常特征的识别结果为阴性，对于阴性的识别结果可以通过将异常特征的softmax数值与预设值相比较来确定，具体可以是小于该预设值，该预设值可以理解为识别结果的阈值，例如大于该预设值为阳性的识别结果，而小于该预设值为阴性的识别结果，该预设值可以根据实际情况自主设置。需要说明的是，如果初筛网络模型、细筛网络模型和区域目标识别网络模型的识别结果都为阴性的识别结果，则最终识别结果才可以确定为不包含所述异常特征，即阴性。如果初筛网络模型、细筛网络模型和区域目标识别网络模型中的其中之一的识别结果为阳性的识别结果，则最终识别结果可以直接确定为包含所述异常特征，即阳性。
具体还可以包括：
若判断获知所述面状目标识别网络模型的输出为c12，则确定所述原始图片的最终识别结果为确定不包含所述异常特征；所述c12为对所述b12进行再识别的另一三次第一识别结果；所述另一三次第一识别结果为所述面状目标识别网络模型输出的、尚未确定不包含所述异常特征的三次识别结果。需要说明的是：c11和c12是分别对应点状目标识别网络模型和面状目标识别网络模型的输出，关于c12的说明可参照上述c11的说明，不再赘述。
本发明实施例提供的原始图片的识别方法，通过将初筛网络模型、细筛网络模型和目标网络模型进行级联，并逐级依次识别尚未确定不包含异常特征的识别结果，当全部识别结果都为不包含异常特征时，才可确定最终识别结果为不包含异常特征，能够提高原始图片识别的效率和准确度。
在上述实施例的基础上，所述输出结果包括所述点状异常特征、且尚未确定不包含所述异常特征；相应的，所述根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型，包括：
输入b11至与所述b11相对应的区域目标识别网络模型；所述b11为对所述a11进行再识别的二次第一识别结果；所述二次第一识别结果为所述细筛网络模型输出的、尚未确定不包含所述异常特征、且所述异常特征为点状异常特征的二次识别结果；所述区域目标识别网络模型为用于识别所述点状异常特征的网络模型。
具体的，装置输入b11至与所述b11相对应的区域目标识别网络模型；所述b11为对所述a11进行再识别的二次第一识别结果；所述二次第一识别结果为所述细筛网络模型输出的、尚未确定不包含所述异常特征、且所述异常特征为点状异常特征的二次识别结果；所述区域目标识别网络模型为用于识别所述点状异常特征的网络模型。可参照上述实施例，不再赘述。
本发明实施例提供的原始图片的识别方法，进一步能够提高针对点状异常特征的原始图片识别的效率和准确度。
在上述实施例的基础上，所述输出结果包括所述面状异常特征、且尚未确定不包含所述异常特征；相应的，所述根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型，包括：
输入b12至与所述b12相对应的面状目标识别网络模型；所述b12为对所述a11进行再识别的另一二次第一识别结果；所述另一二次第一识别结果为所述细筛网络模型输出的、尚未确定不包含所述异常特征、且所述异常特征为面状异常特征的二次识别结果；所述面状目标识别网络模型为用于识别所述面状异常特征的网络模型。
具体的，装置输入b12至与所述b12相对应的面状目标识别网络模型；所述b12为对所述a11进行再识别的另一二次第一识别结果；所述另一二次第一识别结果为所述细筛网络模型输出的、尚未确定不包含所述异常特征、且所述异常特征为面状异常特征的二次识别结果；所述面状目标识别网络模型为用于识别所述面状异常特征的网络模型。可参照上述实施例，不再赘述。
本发明实施例提供的原始图片的识别方法，进一步能够提高针对面状异常特征的原始图片识别的效率和准确度。
在上述实施例的基础上，所述目标网络模型为所述区域目标识别网络模型；相应的，所述根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果，包括：
若判断获知所述区域目标识别网络模型的输出为c11，则确定所述原始图片的最终识别结果为确定不包含所述异常特征；所述c11为对所述b11进行再识别的三次第一识别结果；所述三次第一识别结果为所述区域目标识别网络模型输出的、尚未确定不包含所述异常特征的三次识别结果。
具体的，装置若判断获知所述区域目标识别网络模型的输出为c11，则确定所述原始图片的最终识别结果为确定不包含所述异常特征；所述c11为对所述b11进行再识别的三次第一识别结果；所述三次第一识别结果为所述区域目标识别网络模型输出的、尚未确定不包含所述异常特征的三次识别结果。可参照上述实施例，不再赘述。
本发明实施例提供的原始图片的识别方法，通过区域目标识别网络模型的输出结果c11，进一步能够提高针对点状异常特征的原始图片识别的效率和准确度。
在上述实施例的基础上，所述目标网络模型为所述面状目标识别网络模型；相应的，所述根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果，包括：
若判断获知所述面状目标识别网络模型的输出为c12，则确定所述原始图片的最终识别结果为确定不包含所述异常特征；所述c12为对所述b12进行再识别的另一三次第一识别结果；所述另一三次第一识别结果为所述面状目标识别网络模型输出的、尚未确定不包含所述异常特征的三次识别结果。
具体的，装置若判断获知所述面状目标识别网络模型的输出为c12，则确定所述原始图片的最终识别结果为确定不包含所述异常特征；所述c12为对所述b12进行再识别的另一三次第一识别结果；所述另一三次第一识别结果为所述面状目标识别网络模型输出的、尚未确定不包含所述异常特征的三次识别结果。可参照上述实施例，不再赘述。
本发明实施例提供的原始图片的识别方法，通过面状目标识别网络模型的输出结果c12，进一步能够提高针对面状异常特征的原始图片识别的效率和准确度。
在上述实施例的基础上，所述方法还包括：
若判断获知所述初筛网络模型的输出为a21，则直接确定所述原始图片的最终识别结果为确定包含所述异常特征；所述a21为识别所述原始图片的一次第二识别结果；所述一次第二识别结果为所述初筛网络模型输出的、且所述异常特征的softmax数值大于预设值的一次识别结果。
具体的，装置若判断获知所述初筛网络模型的输出为a21，则直接确定所述原始图片的最终识别结果为确定包含所述异常特征；所述a21为识别所述原始图片的一次第二识别结果；所述一次第二识别结果为所述初筛网络模型输出的、且所述异常特征的softmax数值大于预设值的一次识别结果。可参照上述实施例，不再赘述。
本发明实施例提供的原始图片的识别方法，如果初筛网络模型的输出为a21，则直接将最终识别结果确定为包含异常特征，进一步能够提高原始图片识别的效率。
在上述实施例的基础上，所述方法还包括：
若判断获知所述细筛网络模型的输出为b21，则直接确定所述原始图片的最终识别结果为确定包含所述异常特征；所述b21为识别所述原始图片的二次第二识别结果；所述二次第二识别结果为所述细筛网络模型输出的、且所述异常特征的softmax数值大于预设值的二次识别结果。
具体的，装置若判断获知所述细筛网络模型的输出为b21，则直接确定所述原始图片的最终识别结果为确定包含所述异常特征；所述b21为识别所述原始图片的二次第二识别结果；所述二次第二识别结果为所述细筛网络模型输出的、且所述异常特征的softmax数值大于预设值的二次识别结果。可参照上述实施例，不再赘述。
本发明实施例提供的原始图片的识别方法，如果细筛网络模型的输出为b21，则直接将最终识别结果确定为包含异常特征，进一步能够提高原始图片识别的效率。
图2为本发明原始图片的识别装置实施例结构示意图，如图2所示，本发明实施例提供了一种原始图片的识别装置，包括输入单元201、判断单元202、确定单元203和识别单元204，其中：
输入单元201用于输入待识别的原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；所述初筛网络模型为不区分异常特征的区域面积的网络模型；所述异常特征包括凸起特征和/或指定颜色特征；判断单元202用于若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；所述细筛网络模型为根据所述区域面积的数值大小，将所述异常特征区分为点状异常特征和面状异常特征的网络模型；确定单元203用于根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；所述目标网络模型为用于识别所述点状异常特征的网络模型、用于识别所述面状异常特征的网络模型；识别单元204用于根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果。
具体的，输入单元201用于输入待识别的原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；所述初筛网络模型为不区分异常特征的区域面积的网络模型；所述异常特征包括凸起特征和/或指定颜色特征；判断单元202用于若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；所述细筛网络模型为根据所述区域面积的数值大小，将所述异常特征区分为点状异常特征和面状异常特征的网络模型；确定单元203用于根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；所述目标网络模型为用于识别所述点状异常特征的网络模型、用于识别所述面状异常特征的网络模型；识别单元204用于根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果。
本发明实施例提供的原始图片的识别装置，通过将初筛网络模型、细筛网络模型和目标网络模型进行级联，并逐级依次识别尚未确定不包含异常特征的识别结果，当全部识别结果都为不包含异常特征时，才可确定最终识别结果为不包含异常特征，能够提高原始图片识别的效率和准确度。
本发明实施例提供的原始图片的识别装置具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图3为本发明实施例提供的电子设备实体结构示意图，如图3所示，所述电子设备包括：处理器(processor)301、存储器(memory)302和总线303；
其中，所述处理器301、存储器302通过总线303完成相互间的通信；
所述处理器301用于调用所述存储器302中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：输入待识别的原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；所述初筛网络模型为不区分异常特征的区域面积的网络模型；所述异常特征包括凸起特征和/或指定颜色特征；若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；所述细筛网络模型为根据所述区域面积的数值大小，将所述异常特征区分为点状异常特征和面状异常特征的网络模型；根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；所述目标网络模型为用于识别所述点状异常特征的网络模型、用于识别所述面状异常特征的网络模型；根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：输入待识别的原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；所述初筛网络模型为不区分异常特征的区域面积的网络模型；所述异常特征包括凸起特征和/或指定颜色特征；若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；所述细筛网络模型为根据所述区域面积的数值大小，将所述异常特征区分为点状异常特征和面状异常特征的网络模型；根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；所述目标网络模型为用于识别所述点状异常特征的网络模型、用于识别所述面状异常特征的网络模型；根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：输入待识别的原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；所述初筛网络模型为不区分异常特征的区域面积的网络模型；所述异常特征包括凸起特征和/或指定颜色特征；若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；所述细筛网络模型为根据所述区域面积的数值大小，将所述异常特征区分为点状异常特征和面状异常特征的网络模型；根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；所述目标网络模型为用于识别所述点状异常特征的网络模型、用于识别所述面状异常特征的网络模型；根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种原始图片的识别方法，其特征在于，包括：
输入待识别的原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；所述初筛网络模型为不区分异常特征的区域面积的网络模型；所述异常特征包括凸起特征和/或指定颜色特征；
若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；所述细筛网络模型为根据所述区域面积的数值大小，将所述异常特征区分为点状异常特征和面状异常特征的网络模型；
根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；所述目标网络模型为用于识别所述点状异常特征的网络模型、用于识别所述面状异常特征的网络模型；
根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果；
所述输出结果包括所述点状异常特征、且尚未确定不包含所述异常特征；相应的，所述根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型，包括：
输入b11至与所述b11相对应的区域目标识别网络模型；所述b11为对所述a11进行再识别的二次第一识别结果；所述二次第一识别结果为所述细筛网络模型输出的、尚未确定不包含所述异常特征、且所述异常特征为点状异常特征的二次识别结果；所述区域目标识别网络模型为用于识别所述点状异常特征的网络模型；
所述输出结果包括所述面状异常特征、且尚未确定不包含所述异常特征；相应的，所述根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型，包括：
输入b12至与所述b12相对应的面状目标识别网络模型；所述b12为对所述a11进行再识别的另一二次第一识别结果；所述另一二次第一识别结果为所述细筛网络模型输出的、尚未确定不包含所述异常特征、且所述异常特征为面状异常特征的二次识别结果；所述面状目标识别网络模型为用于识别所述面状异常特征的网络模型。
2.根据权利要求1所述的方法，其特征在于，所述目标网络模型为所述区域目标识别网络模型；相应的，所述根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果，包括：
若判断获知所述区域目标识别网络模型的输出为c11，则确定所述原始图片的最终识别结果为确定不包含所述异常特征；所述c11为对所述b11进行再识别的三次第一识别结果；所述三次第一识别结果为所述区域目标识别网络模型输出的、尚未确定不包含所述异常特征的三次识别结果。
3.根据权利要求2所述的方法，其特征在于，所述目标网络模型为所述面状目标识别网络模型；相应的，所述根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果，包括：
若判断获知所述面状目标识别网络模型的输出为c12，则确定所述原始图片的最终识别结果为确定不包含所述异常特征；所述c12为对所述b12进行再识别的另一三次第一识别结果；所述另一三次第一识别结果为所述面状目标识别网络模型输出的、尚未确定不包含所述异常特征的三次识别结果。
4.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：
若判断获知所述初筛网络模型的输出为a21，则直接确定所述原始图片的最终识别结果为确定包含所述异常特征；所述a21为识别所述原始图片的一次第二识别结果；所述一次第二识别结果为所述初筛网络模型输出的、且所述异常特征的softmax数值大于预设值的一次识别结果。
5.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：
若判断获知所述细筛网络模型的输出为b21，则直接确定所述原始图片的最终识别结果为确定包含所述异常特征；所述b21为识别所述原始图片的二次第二识别结果；所述二次第二识别结果为所述细筛网络模型输出的、且所述异常特征的softmax数值大于预设值的二次识别结果。
6.一种原始图片的识别装置，其特征在于，包括：
输入单元，用于输入待识别的原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；所述初筛网络模型为不区分异常特征的区域面积的网络模型；所述异常特征包括凸起特征和/或指定颜色特征；
判断单元，用于若判断获知所述初筛网络模型的输出为a11，则输入所述a11至细筛网络模型；所述a11为识别所述原始图片的一次第一识别结果；所述一次第一识别结果为所述初筛网络模型输出的、尚未确定不包含所述异常特征的一次识别结果；所述细筛网络模型为根据所述区域面积的数值大小，将所述异常特征区分为点状异常特征和面状异常特征的网络模型；
确定单元，用于根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型；所述目标网络模型为用于识别所述点状异常特征的网络模型、用于识别所述面状异常特征的网络模型；
所述输出结果包括所述点状异常特征、且尚未确定不包含所述异常特征；相应的，所述根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型，包括：
输入b11至与所述b11相对应的区域目标识别网络模型；所述b11为对所述a11进行再识别的二次第一识别结果；所述二次第一识别结果为所述细筛网络模型输出的、尚未确定不包含所述异常特征、且所述异常特征为点状异常特征的二次识别结果；所述区域目标识别网络模型为用于识别所述点状异常特征的网络模型；
所述输出结果包括所述面状异常特征、且尚未确定不包含所述异常特征；相应的，所述根据所述细筛网络模型的输出结果，确定是否输入所述输出结果至与所述输出结果相对应的目标网络模型，包括：
输入b12至与所述b12相对应的面状目标识别网络模型；所述b12为对所述a11进行再识别的另一二次第一识别结果；所述另一二次第一识别结果为所述细筛网络模型输出的、尚未确定不包含所述异常特征、且所述异常特征为面状异常特征的二次识别结果；所述面状目标识别网络模型为用于识别所述面状异常特征的网络模型；
识别单元，用于根据所述目标网络模型的输出结果，确定所述原始图片的最终识别结果。
7.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至5任一所述的方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至5任一所述的方法。
CN201910251171.4A 2019-03-29 2019-03-29 一种原始图片的识别方法及装置 Active CN110110748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910251171.4A CN110110748B (zh) 2019-03-29 2019-03-29 一种原始图片的识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910251171.4A CN110110748B (zh) 2019-03-29 2019-03-29 一种原始图片的识别方法及装置

Publications (2)

Publication Number Publication Date
CN110110748A CN110110748A (zh) 2019-08-09
CN110110748B true CN110110748B (zh) 2021-08-17

Family

ID=67484851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910251171.4A Active CN110110748B (zh) 2019-03-29 2019-03-29 一种原始图片的识别方法及装置

Country Status (1)

Country Link
CN (1) CN110110748B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011005865A2 (en) * 2009-07-07 2011-01-13 The Johns Hopkins University A system and method for automated disease assessment in capsule endoscopy
CN101957920A (zh) * 2010-09-08 2011-01-26 中国人民解放军国防科学技术大学 基于数字视频的车牌查找方法
CN104268528A (zh) * 2014-09-28 2015-01-07 深圳市科松电子有限公司 一种人群聚集区域检测方法和装置
KR101565038B1 (ko) * 2014-03-03 2015-11-02 금오공과대학교 산학협력단 캡슐 내시경을 이용한 방사선 검출 시스템
CN105335710A (zh) * 2015-10-22 2016-02-17 合肥工业大学 一种基于多级分类器的精细车辆型号识别方法
CN106384112A (zh) * 2016-09-08 2017-02-08 西安电子科技大学 基于多通道多尺度与级联过滤器的快速图像文本检测方法
CN107424152A (zh) * 2017-08-11 2017-12-01 联想(北京)有限公司 器官病变的检测方法和电子设备、以及训练神经元网络的方法和电子设备
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断***
CN108171158A (zh) * 2017-12-27 2018-06-15 北京迈格威科技有限公司 活体检测方法、装置、电子设备及存储介质
CN108171103A (zh) * 2016-12-07 2018-06-15 北京三星通信技术研究有限公司 目标检测方法及装置
CN109102506A (zh) * 2018-08-20 2018-12-28 东北大学 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008018723B3 (de) * 2008-04-14 2009-07-16 Siemens Aktiengesellschaft Verfahren zur Bewegungssteuerung einer Endoskopiekapsel
CN108280187B (zh) * 2018-01-24 2021-06-01 湖南省瞬渺通信技术有限公司 一种基于卷积神经网络深度特征的分级图像检索方法
CN108090906B (zh) * 2018-01-30 2021-04-20 浙江大学 一种基于区域提名的宫颈图像处理方法及装置
CN108776819A (zh) * 2018-06-05 2018-11-09 Oppo广东移动通信有限公司 一种目标识别方法、移动终端及计算机可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011005865A2 (en) * 2009-07-07 2011-01-13 The Johns Hopkins University A system and method for automated disease assessment in capsule endoscopy
CN101957920A (zh) * 2010-09-08 2011-01-26 中国人民解放军国防科学技术大学 基于数字视频的车牌查找方法
KR101565038B1 (ko) * 2014-03-03 2015-11-02 금오공과대학교 산학협력단 캡슐 내시경을 이용한 방사선 검출 시스템
CN104268528A (zh) * 2014-09-28 2015-01-07 深圳市科松电子有限公司 一种人群聚集区域检测方法和装置
CN105335710A (zh) * 2015-10-22 2016-02-17 合肥工业大学 一种基于多级分类器的精细车辆型号识别方法
CN106384112A (zh) * 2016-09-08 2017-02-08 西安电子科技大学 基于多通道多尺度与级联过滤器的快速图像文本检测方法
CN108171103A (zh) * 2016-12-07 2018-06-15 北京三星通信技术研究有限公司 目标检测方法及装置
CN107424152A (zh) * 2017-08-11 2017-12-01 联想(北京)有限公司 器官病变的检测方法和电子设备、以及训练神经元网络的方法和电子设备
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断***
CN108171158A (zh) * 2017-12-27 2018-06-15 北京迈格威科技有限公司 活体检测方法、装置、电子设备及存储介质
CN109102506A (zh) * 2018-08-20 2018-12-28 东北大学 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于深度学习的无线胶囊内窥镜小肠病变自动检测研究";徐兰猛;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20190115;第1-7,27-46页 *
"胶囊内窥镜图像小肠病变自动诊断算法研究";张理;《中国优秀硕士学位论文全文数据库 信息科技辑》;20121015;第1-57页 *

Also Published As

Publication number Publication date
CN110110748A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
US11612311B2 (en) System and method of otoscopy image analysis to diagnose ear pathology
CN110428410B (zh) 眼底医学图像处理方法、装置、设备及存储介质
US20210358121A1 (en) Image scoring for intestinal pathology
CN114514585A (zh) 疾病预测***、保险费计算***以及疾病预测方法
CN111402217B (zh) 一种图像分级方法、装置、设备和存储介质
CN111008957A (zh) 医疗信息处理方法和装置
CN110110750B (zh) 一种原始图片的分类方法及装置
CN110097080B (zh) 一种分类标签的构建方法及装置
CN110110748B (zh) 一种原始图片的识别方法及装置
Viscaino et al. Computer-aided ear diagnosis system based on CNN-LSTM hybrid learning framework for video otoscopy examination
Elabbas et al. Classification of Otitis Media Infections using Image Processing and Convolutional Neural Network
CN110838103A (zh) 一种图像处理方法、装置、诊断设备及计算机存储介质
US20210176443A1 (en) Context-Sensitive White Balancing for Surgical Microscopes
CN113920355A (zh) 部位类别识别方法及检查质量监控***
CN109886916B (zh) 一种胶囊镜图像筛选方法及装置
KR102429447B1 (ko) 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 시스템
CN110083727B (zh) 一种确定分类标签的方法及装置
CN114581402A (zh) 胶囊内窥镜质检方法、装置及存储介质
CN116547701A (zh) 用于识别息肉图像的***和方法
CN110084276B (zh) 一种训练集的拆分方法及装置
Voroshnina et al. Neural Network Approach for Prediction of Pneumonia
CN110084277B (zh) 一种训练集的拆分方法及装置
CN110070112A (zh) 一种确定分类标签的方法及装置
CN110084278B (zh) 一种训练集的拆分方法及装置
CN111833991A (zh) 基于人工智能的辅助判读方法、装置、终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant