CN111524093A - 一种异常舌象的智能筛查方法及其*** - Google Patents

一种异常舌象的智能筛查方法及其*** Download PDF

Info

Publication number
CN111524093A
CN111524093A CN202010209218.3A CN202010209218A CN111524093A CN 111524093 A CN111524093 A CN 111524093A CN 202010209218 A CN202010209218 A CN 202010209218A CN 111524093 A CN111524093 A CN 111524093A
Authority
CN
China
Prior art keywords
tongue
picture
abnormal
tongue picture
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010209218.3A
Other languages
English (en)
Inventor
杜登斌
杜乐
杜小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongrun Puda Shiyan Big Data Center Co ltd
Original Assignee
Zhongrun Puda Shiyan Big Data Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongrun Puda Shiyan Big Data Center Co ltd filed Critical Zhongrun Puda Shiyan Big Data Center Co ltd
Priority to CN202010209218.3A priority Critical patent/CN111524093A/zh
Publication of CN111524093A publication Critical patent/CN111524093A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提出了一种异常舌象的智能筛查方法及其***，通过构建中医舌诊的知识平台以及专家辅助诊断***，为舌诊信息判断提供客观化和定量化的度量手段，提高诊断的正确性；采用基于注意力机制的细粒度图像分类算法，注意力机制反映了人类视觉***对周围环境的感知差异，即注意力会重点集中在环境中的显著性区域上；使用卷积神经网络模拟人类的视觉注意力特性，从而充分利用分类目标的信息，有助于提高舌象细粒度图像分类的准确率；受视觉注意力机制的启发，在利用细粒度图像分类算法过程中，将空间位置特征引入对分类并进行建模，也就是对舌象的多个关键区域进行定位，根据舌象各个部位之间的空间关系进行建模，可以提高部位特征的完整性和判别性。

Description

一种异常舌象的智能筛查方法及其***
技术领域
本发明涉及医学影像处理及人工智能辅助诊断技术领域，尤其涉及一种异常舌象的智能筛查方法及其***。
背景技术
舌诊是中医学望诊的重要内容，也是临床上观察与诊断疾病的重要手段。舌诊通过观察异常舌象了解人体生理功能和病理变化，在此基础上进行辨证论治。但是，传统的舌诊信息主要由临床主观判断获取，缺乏客观化和定量化的度量手段，而且被诊人员自我状态的复杂性也影响了诊断结果的准确性。因此，为解决上述问题，本发明提供一种异常舌象的智能筛查方法及其***，通过构建中医舌诊的知识平台以及专家辅助诊断***，提供不同地区、年龄、健康或亚健康人群和体质健康状况与舌象关联的知识和健康管理方面的解决方案，并利用细粒度图像分类算法和人工神经网络算法，准确地提取出输入舌像的异常特征。
发明内容
有鉴于此，本发明提出了一种异常舌象的智能筛查方法及其***，通过构建中医舌诊的知识平台以及专家辅助诊断***，提供不同地区、年龄、健康或亚健康人群和体质健康状况与舌象关联的知识和健康管理方面的解决方案，并利用细粒度图像分类算法和人工神经网络算法，准确地提取出输入舌像的异常特征。
本发明的技术方案是这样实现的：一方面，本发明提供了一种异常舌象的智能筛查方法，包括以下步骤：
S1、采集舌象异常症状的数据，按照不同地区、年龄、健康或亚健康人群的舌象和体质健康状况，对采集的舌象数据进行专业的舌象评判，通过一致评审的方法构建中医舌诊的知识平台以及专家辅助诊断***；
S2、利用细粒度图像分类算法和人工神经网络算法，提取输入人体舌象图像的异常症状特征，利用人体舌象图像所具有的异常症状特征映射到神经网络进行图像识别分类，得到人体舌象图像的分类结果；
S3、将人体舌象图像的分类结果输入中医舌诊的知识平台以及专家辅助诊断***，得到不同地区、年龄、健康或亚健康人群和体质健康状况与舌象关联的知识。
在以上技术方案的基础上，优选的，在执行S2之前还包括：利用人体舌象图像的镜图像，进行形状与色彩空间转换，并利用图像直方图对人体舌象图像的对比度进行调整，增强人体舌象图像中舌象异常症状图像的对比度。
在以上技术方案的基础上，优选的，S2的具体步骤为：
S101、通过带类别标签、标注框、局部区域空间位置和描述的训练集样本完成注意力网络模型的训练，将带有类别标签、标注框、局部区域空间位置和描述的人体舌象图像输入训练好的注意力网络模型，产生与之对应的注意力分布图；
S102、根据注意力分布图完成显著性区域的定位，根据不同层次的显著性区域分别训练物体级分类网络和局部级分类网络；
S103、将物体级分类网络和局部级分类网络的输出进行融合，得到输入人体舌象图像的分类结果。
进一步优选的，S101中注意力网络模型包括12层卷积层、5层池化层、2层全连接层、1层全局平均池化层、1层双线性运算层和1层softmax层；
2层卷积层、1层池化层、2层卷积层、1层池化层、3层卷积层、1层池化层、3层卷积层、1层池化层、3层卷积层、1层池化层、1层双线性运算层、1层全局平均池化层、2层全连接层和1层softmax层顺次串联。
进一步优选的，S101中注意力网络模型通过类别激活映射算法提取注意力分布图。
进一步优选的，S102具体包括以下步骤：
S201、将注意力分布图转换到HSV颜色空间；
S202、设置不同的H值阈值对注意力分布图进行二值化处理，得到不同层次的显著性区域；
S203、将显著性区域坐标与输入图像的坐标对应，根据对应后的坐标对输入图像进行裁剪，得到物体级别和局部级别的显著性区域切片；
S204、根据物体级别和局部级别的显著性区域切片分别训练物体级分类网络和局部级分类网络。
进一步优选的，S103具体包括以下步骤：
S301、物体级分类网络和局部级分类网络分别输出预测输入图像对各个类别的从属概率；
S302、获取物体级分类网络和局部级分类网络输出的同一类别的从属概率的求和结果，选取最大的求和结果对应的类别作为预测分类结果。
另一方面，本发明提供一种异常舌象的智能筛查***，其包括服务器、拍摄装置、智能终端和显示单元，还包括摄录单元；
服务器包括：异常舌象健康检查模块、匹配模块和信息传递模块；
拍摄装置用于对受检者异常舌象进行拍摄，并将受检者的舌象异常症状特征照片传输至服务器；
显示单元用于显示拍摄装置拍摄的舌象异常症状特征照片；
异常舌象健康检查模块对拍摄装置拍摄的照片进行分析，并输出标注有舌象异常的图片至摄录单元；
摄录单元按照舌象病临床异常症状特征标注和描述舌象异常症状特征照片中的疑似图和采集反映图，并将疑似图和采集反映图传送至匹配模块；
匹配模块根据受检者的每一张舌象异常症状特征照片中的疑似图与反映图，进行图片检索和比对，产生诊病内容和诊病结论；
信息传递模块将异常舌象健康检查模块输出的图片以及匹配模块输出的诊病内容和诊病结论传递给智能终端；
显示单元与服务器电性连接，拍摄装置与异常舌象健康检查模块的输入端电性连接，异常舌象健康检查模块的输出端与摄录单元的输入端电性连接，摄录单元的输出端与匹配模块的输入端电性连接，匹配模块的输出端与信息传递模块的输入端电性连接，信息传递模块的输出端与智能终端电性连接。
在以上技术方案的基础上，优选的，服务器还包括：复检模块和传送模块；
复检模块对异常舌象健康检查模块输出图片中的标注生成相对应的置信度；
传送模块设置复检模块输出的置信度的范围，当置信度不在预设范围内时，将异常舌象健康检查模块输出的图片转送给中医舌诊云端；
复检模块的输入端与异常舌象健康检查模块的输出端电性连接，复检模块的输出端与传送模块的输入端电性连接，传送模块的输出端与智能终端电性连接。
在以上技术方案的基础上，优选的，拍摄装置内部安装有用于显示舌像模型以指示受检者拍摄的指示模块。
本发明的一种异常舌象的智能筛查方法相对于现有技术具有以下有益效果：
(1)采用细粒度图像分类算法和人工神经网络算法提取输入人体舌象图像的异常症状特征，其中，细粒度图像分类算法对局部区域的差异非常敏感，可以自动定位图像的高辨识度区域，有效地表示了目标的细节信息，在使用了包围框标注的情况下，细粒度图像分类算法识别图像的准确率更高；结合细粒度图像分类算法和人工神经网络算法，可以自动提取特征，能够得到原始图像的高层语义特征，更好地表征局部信息，避免了人工特征提取方法的局限性；
(2)通过构建中医舌诊的知识平台以及专家辅助诊断***，可以为舌诊信息判断提供客观化和定量化的度量手段，提高诊断的正确性；
(3)采用基于注意力机制的细粒度图像分类算法，注意力机制反映了人类视觉***对周围环境的感知差异，即注意力会重点集中在环境中的显著性区域上；本发明使用卷积神经网络模拟人类的视觉注意力特性，从而充分利用了分类目标的信息，有助于提高舌象细粒度图像分类的准确率；
(4)受视觉注意力机制的启发，在利用细粒度图像分类算法过程中，将空间位置特征引入对分类并进行建模，也就是对舌象的多个关键区域进行定位，根据舌象各个部位之间的空间关系进行建模，可以提高部位特征的完整性和判别性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种异常舌象的智能筛查方法的流程图；
图2为本发明一种异常舌象的智能筛查方法中舌像图像特征提取的流程图；
图3为本发明一种异常舌象的智能筛查方法中根据注意力分布图完成显著性区域的定位的流程图；
图4为本发明一种异常舌象的智能筛查方法中物体级分类网络和局部级分类网络的输出进行融合的流程图；
图5为本发明一种异常舌象的智能筛查***的结构图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
实施例1
如图1所示，本发明的一种异常舌象的智能筛查方法，包括以下步骤：
S1、采集舌象异常症状的数据，按照不同地区、年龄、健康或亚健康人群的舌象和体质健康状况，对采集的舌象数据进行专业的舌象评判，通过一致评审的方法构建中医舌诊的知识平台以及专家辅助诊断***；
优选的，进行下一步之前，还包括对输入人体舌象图像做预处理和增强操作。具体步骤为：利用人体舌象图像的镜图像，进行形状与色彩空间转换，并利用图像直方图对人体舌象图像的对比度进行调整，增强人体舌象图像中舌象异常症状图像的对比度。
S2、利用细粒度图像分类算法和人工神经网络算法，提取输入人体舌象图像的异常症状特征，利用人体舌象图像所具有的异常症状特征映射到神经网络进行图像识别分类，得到人体舌象图像的分类结果；
S3、将人体舌象图像的分类结果输入中医舌诊的知识平台以及专家辅助诊断***，得到不同地区、年龄、健康或亚健康人群和体质健康状况与舌象关联的知识。
本实施例的有益效果为：采用细粒度图像分类算法和人工神经网络算法提取输入人体舌象图像的异常症状特征，其中，细粒度图像分类算法对局部区域的差异非常敏感，可以自动定位图像的高辨识度区域，有效地表示了目标的细节信息，在使用了包围框标注的情况下，细粒度图像分类算法识别图像的准确率更高；结合细粒度图像分类算法和人工神经网络算法，可以自动提取特征，能够得到原始图像的高层语义特征，更好地表征局部信息，避免了人工特征提取方法的局限性；
通过构建中医舌诊的知识平台以及专家辅助诊断***，可以为舌诊信息判断提供客观化和定量化的度量手段，提高诊断的正确性。
实施例2
在实施例1的基础上，本实施例提供利用细粒度图像分类算法和人工神经网络算法提取输入人体舌象图像的异常症状特征的流程。具体步骤如下：
S101、通过带类别标签、标注框、局部区域空间位置和描述的训练集样本完成注意力网络模型的训练，将带有类别标签、标注框、局部区域空间位置和描述的人体舌象图像输入训练好的注意力网络模型，产生与之对应的注意力分布图；
进一步优选的，由于在传统的模型训练和测试过程中，需要根据网络结构对输入人体舌象图像做尺度变换，在变换过程中，容易造成局部信息丢失以及候选区任然包含较大的冗余信息，进而影响细粒度图像分类算法的分类性能。因此，本实施例采用基于注意力机制的细粒度图像分类算法，注意力机制反映了人类视觉***对周围环境的感知差异，即注意力会重点集中在环境中的显著性区域上。本实施例使用卷积神经网络模拟人类的视觉注意力特性，从而充分利用了分类目标的信息，有助于提高舌象细粒度图像分类的准确率。
本实施例中，注意力网络模型包括12层卷积层、5层池化层、2层全连接层、1层全局平均池化层、1层双线性运算层和1层softmax层；其中，2层卷积层、1层池化层、2层卷积层、1层池化层、3层卷积层、1层池化层、3层卷积层、1层池化层、3层卷积层、1层池化层、1层双线性运算层、1层全局平均池化层、2层全连接层和1层softmax层顺次串联。其中，全局平均池化层主要为了保持池化后的节点与最后一层卷积后的特征图的一一对应关系，方便后续计算注意力分布图，同时完成对输入的整个特征图的平均池化操作；双线性运算层用于生产双线性特征图，注意力分布图也在双线性特征图的基础上提取，双线性运算层使模型拥有更强的特征表现能力，从而缓解了局部信息丢失的问题；双线性特征图再通过全局平均池化层得到特征向量，可以保证双线性特征图与全局平均池化层的对应关系。
进一步优选的，注意力网络模型通过类别激活映射算法提取注意力分布图。
S102、根据注意力分布图完成显著性区域的定位，根据不同层次的显著性区域分别训练物体级分类网络和局部级分类网络；
进一步优选的，S102具体包括以下步骤：
S201、将注意力分布图转换到HSV颜色空间；
S202、设置不同的H值阈值对注意力分布图进行二值化处理，得到不同层次的显著性区域；
S203、将显著性区域坐标与输入图像的坐标对应，根据对应后的坐标对输入图像进行裁剪，得到物体级别和局部级别的显著性区域切片；
S204、根据物体级别和局部级别的显著性区域切片分别训练物体级分类网络和局部级分类网络。
S203、将物体级分类网络和局部级分类网络的输出进行融合，得到输入人体舌象图像的分类结果。
S103、将物体级分类网络和局部级分类网络的输出进行融合，得到输入人体舌象图像的分类结果。
进一步优选的，S103具体包括以下步骤：
S301、物体级分类网络和局部级分类网络分别输出预测输入图像对各个类别的从属概率；
S302、获取物体级分类网络和局部级分类网络输出的同一类别的从属概率的求和结果，选取最大的求和结果对应的类别作为预测分类结果。
本实施例的有益效果为：采用基于注意力机制的细粒度图像分类算法，注意力机制反映了人类视觉***对周围环境的感知差异，即注意力会重点集中在环境中的显著性区域上；本实施例使用卷积神经网络模拟人类的视觉注意力特性，从而充分利用了分类目标的信息，有助于提高舌象细粒度图像分类的准确率；
受视觉注意力机制的启发，在利用细粒度图像分类算法过程中，将空间位置特征引入对分类并进行建模，也就是对舌象的多个关键区域进行定位，根据舌象各个部位之间的空间关系进行建模，可以提高部位特征的完整性和判别性。
实施例3
在实施例1或实施例2的基础上，本实施例提供一种异常舌象的智能筛查***，其包括服务器、拍摄装置、显示单元、智能终端和摄录单元；服务器包括：异常舌象健康检查模块、匹配模块、信息传递模块、复检模块和传送模块。
拍摄装置用于对受检者异常舌象进行拍摄，并将受检者的舌象异常症状特征照片传输至服务器；进一步优选的，拍摄装置内部安装有用于显示舌像模型以指示受检者拍摄的指示模块。本实施例中通过在拍摄装置中安装指示模块，能够大大方便用户进行拍照，使得没有医学知识的普通用户也可使用。拍摄装置可以是安装有摄像头的手机、相机或平板中的任意一种，但不限于此。拍摄装置拍摄的照片可以通过无线和/或有线网络传递到服务器。
显示单元用于显示拍摄装置拍摄的舌象异常症状特征照片；
异常舌象健康检查模块对拍摄装置拍摄的照片进行分析，并输出标注有舌象异常的图片至摄录单元；另外，复检模块对异常舌象健康检查模块输出图片中的标注生成相对应的置信度；传送模块设置复检模块输出的置信度的范围，当置信度不在预设范围内时，将异常舌象健康检查模块输出的图片转送给中医舌诊云端。通过设置复检模块和传送模块可以方便医生对拍照结果进行分析并避免误诊等情况。
摄录单元按照舌象病临床异常症状特征标注和描述舌象异常症状特征照片中的疑似图和采集反映图，并将疑似图和采集反映图传送至匹配模块；
匹配模块根据受检者的每一张舌象异常症状特征照片中的疑似图与反映图，进行图片检索和比对，产生诊病内容和诊病结论；
信息传递模块将异常舌象健康检查模块输出的图片以及匹配模块输出的诊病内容和诊病结论传递给智能终端。其中，信息传递模块可以通过邮件、短信等通讯工具进行信息传递，但不限于此。通过设置信息传递模块可以方便受检者及时得到检测结果。
本实施例中，各模块的连接关系为：显示单元与服务器电性连接，拍摄装置与异常舌象健康检查模块的输入端电性连接，异常舌象健康检查模块的输出端分别与摄录单元的输入端和复检模块的输入端电性连接，复检模块的输出端与传送模块的输入端电性连接，传送模块的输出端与智能终端电性连接，摄录单元的输出端与匹配模块的输入端电性连接，匹配模块的输出端与信息传递模块的输入端电性连接，信息传递模块的输出端与智能终端电性连接。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种异常舌象的智能筛查方法，其特征在于：包括以下步骤：
S1、采集舌象异常症状的数据，按照不同地区、年龄、健康或亚健康人群的舌象和体质健康状况，对采集的舌象数据进行专业的舌象评判，通过一致评审的方法构建中医舌诊的知识平台以及专家辅助诊断***；
S2、利用细粒度图像分类算法和人工神经网络算法，提取输入人体舌象图像的异常症状特征，利用人体舌象图像所具有的异常症状特征映射到神经网络进行图像识别分类，得到人体舌象图像的分类结果；
S3、将人体舌象图像的分类结果输入中医舌诊的知识平台以及专家辅助诊断***，得到不同地区、年龄、健康或亚健康人群和体质健康状况与舌象关联的知识。
2.如权利要求1所述的一种异常舌象的智能筛查方法，其特征在于：在执行S2之前还包括：利用人体舌象图像的镜图像，进行形状与色彩空间转换，并利用图像直方图对人体舌象图像的对比度进行调整，增强人体舌象图像中舌象异常症状图像的对比度。
3.如权利要求1所述的一种异常舌象的智能筛查方法，其特征在于：所述S2的具体步骤为：
S101、通过带类别标签、标注框、局部区域空间位置和描述的训练集样本完成注意力网络模型的训练，将带有类别标签、标注框、局部区域空间位置和描述的人体舌象图像输入训练好的注意力网络模型，产生与之对应的注意力分布图；
S102、根据注意力分布图完成显著性区域的定位，根据不同层次的显著性区域分别训练物体级分类网络和局部级分类网络；
S103、将物体级分类网络和局部级分类网络的输出进行融合，得到输入人体舌象图像的分类结果。
4.如权利要求3所述的一种异常舌象的智能筛查方法，其特征在于：所述S101中注意力网络模型包括12层卷积层、5层池化层、2层全连接层、1层全局平均池化层、1层双线性运算层和1层softmax层；
2层卷积层、1层池化层、2层卷积层、1层池化层、3层卷积层、1层池化层、3层卷积层、1层池化层、3层卷积层、1层池化层、1层双线性运算层、1层全局平均池化层、2层全连接层和1层softmax层顺次串联。
5.如权利要求3所述的一种异常舌象的智能筛查方法，其特征在于：所述S101中注意力网络模型通过类别激活映射算法提取注意力分布图。
6.如权利要求3所述的一种异常舌象的智能筛查方法，其特征在于：S102具体包括以下步骤：
S201、将注意力分布图转换到HSV颜色空间；
S202、设置不同的H值阈值对注意力分布图进行二值化处理，得到不同层次的显著性区域；
S203、将显著性区域坐标与输入图像的坐标对应，根据对应后的坐标对输入图像进行裁剪，得到物体级别和局部级别的显著性区域切片；
S204、根据物体级别和局部级别的显著性区域切片分别训练物体级分类网络和局部级分类网络。
7.如权利要求3所述的一种异常舌象的智能筛查方法，其特征在于：所述S103具体包括以下步骤：
S301、物体级分类网络和局部级分类网络分别输出预测输入图像对各个类别的从属概率；
S302、获取物体级分类网络和局部级分类网络输出的同一类别的从属概率的求和结果，选取最大的求和结果对应的类别作为预测分类结果。
8.一种异常舌象的智能筛查***，其包括服务器、拍摄装置、智能终端和显示单元，其特征在于：还包括摄录单元；
所述服务器包括：异常舌象健康检查模块、匹配模块和信息传递模块；
所述拍摄装置用于对受检者异常舌象进行拍摄，并将受检者的舌象异常症状特征照片传输至服务器；
所述显示单元用于显示拍摄装置拍摄的舌象异常症状特征照片；
所述异常舌象健康检查模块对拍摄装置拍摄的照片进行分析，并输出标注有舌象异常的图片至摄录单元；
所述摄录单元按照舌象病临床异常症状特征标注和描述舌象异常症状特征照片中的疑似图和采集反映图，并将疑似图和采集反映图传送至匹配模块；
所述匹配模块根据受检者的每一张舌象异常症状特征照片中的疑似图与反映图，进行图片检索和比对，产生诊病内容和诊病结论；
所述信息传递模块将异常舌象健康检查模块输出的图片以及匹配模块输出的诊病内容和诊病结论传递给智能终端；
所述显示单元与服务器电性连接，拍摄装置与异常舌象健康检查模块的输入端电性连接，异常舌象健康检查模块的输出端与摄录单元的输入端电性连接，摄录单元的输出端与匹配模块的输入端电性连接，匹配模块的输出端与信息传递模块的输入端电性连接，信息传递模块的输出端与智能终端电性连接。
9.如权利要求8所述的一种异常舌象的智能筛查***，其特征在于：所述服务器还包括：复检模块和传送模块；
所述复检模块对异常舌象健康检查模块输出图片中的标注生成相对应的置信度；
所述传送模块设置复检模块输出的置信度的范围，当置信度不在预设范围内时，将异常舌象健康检查模块输出的图片转送给中医舌诊云端；
所述复检模块的输入端与异常舌象健康检查模块的输出端电性连接，复检模块的输出端与传送模块的输入端电性连接，传送模块的输出端与智能终端电性连接。
10.如权利要求8所述的一种异常舌象的智能筛查***，其特征在于：所述拍摄装置内部安装有用于显示舌像模型以指示受检者拍摄的指示模块。
CN202010209218.3A 2020-03-23 2020-03-23 一种异常舌象的智能筛查方法及其*** Pending CN111524093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010209218.3A CN111524093A (zh) 2020-03-23 2020-03-23 一种异常舌象的智能筛查方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010209218.3A CN111524093A (zh) 2020-03-23 2020-03-23 一种异常舌象的智能筛查方法及其***

Publications (1)

Publication Number Publication Date
CN111524093A true CN111524093A (zh) 2020-08-11

Family

ID=71910531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010209218.3A Pending CN111524093A (zh) 2020-03-23 2020-03-23 一种异常舌象的智能筛查方法及其***

Country Status (1)

Country Link
CN (1) CN111524093A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112133436A (zh) * 2020-10-13 2020-12-25 广州万孚健康科技有限公司 一种基于大数据分析的健康警示方法、***和可读存储介质
CN112270323A (zh) * 2020-09-29 2021-01-26 西安电子科技大学 智能医疗复检控制方法、***、介质、计算机设备及应用
CN112529002A (zh) * 2020-11-11 2021-03-19 湖南老来网科技发展有限公司 舌体图片分类方法、装置、计算机设备及存储介质
CN113724237A (zh) * 2021-09-03 2021-11-30 平安科技（深圳）有限公司 齿痕识别方法、装置、计算机设备及存储介质
CN114565611A (zh) * 2022-04-28 2022-05-31 武汉大学 医学信息获取方法及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830380A (zh) * 2006-04-20 2006-09-13 上海交通大学 中医舌像分析与诊断***
CN104298983A (zh) * 2013-07-15 2015-01-21 清华大学 具有分布式用户终端的舌苔图像获取与分析***
CN109685115A (zh) * 2018-11-30 2019-04-26 西北大学 一种双线性特征融合的细粒度概念模型及学习方法
CN110299193A (zh) * 2019-06-27 2019-10-01 合肥云诊信息科技有限公司 基于人工智能舌诊的中医健康云服务方法
CN110766665A (zh) * 2019-09-30 2020-02-07 天聚星信息科技(深圳)有限公司 基于强监督算法和深度学习网络的舌象数据分析方法
CN110827304A (zh) * 2018-08-10 2020-02-21 清华大学 一种基于深度卷积网络与水平集方法的中医舌像定位方法和***
CN110826629A (zh) * 2019-11-08 2020-02-21 华南理工大学 一种基于细粒度分类的耳镜图像辅助诊断方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830380A (zh) * 2006-04-20 2006-09-13 上海交通大学 中医舌像分析与诊断***
CN104298983A (zh) * 2013-07-15 2015-01-21 清华大学 具有分布式用户终端的舌苔图像获取与分析***
CN110827304A (zh) * 2018-08-10 2020-02-21 清华大学 一种基于深度卷积网络与水平集方法的中医舌像定位方法和***
CN109685115A (zh) * 2018-11-30 2019-04-26 西北大学 一种双线性特征融合的细粒度概念模型及学习方法
CN110299193A (zh) * 2019-06-27 2019-10-01 合肥云诊信息科技有限公司 基于人工智能舌诊的中医健康云服务方法
CN110766665A (zh) * 2019-09-30 2020-02-07 天聚星信息科技(深圳)有限公司 基于强监督算法和深度学习网络的舌象数据分析方法
CN110826629A (zh) * 2019-11-08 2020-02-21 华南理工大学 一种基于细粒度分类的耳镜图像辅助诊断方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张阳: "细粒度图像分类算法研究", no. 09, pages 30 - 43 *
柳杨: "数字图像物体识别理论详解与实战", 北京邮电大学出版社, pages: 16 - 18 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270323A (zh) * 2020-09-29 2021-01-26 西安电子科技大学 智能医疗复检控制方法、***、介质、计算机设备及应用
CN112270323B (zh) * 2020-09-29 2024-02-02 西安电子科技大学 智能医疗复检控制方法、***、介质、计算机设备及应用
CN112133436A (zh) * 2020-10-13 2020-12-25 广州万孚健康科技有限公司 一种基于大数据分析的健康警示方法、***和可读存储介质
CN112529002A (zh) * 2020-11-11 2021-03-19 湖南老来网科技发展有限公司 舌体图片分类方法、装置、计算机设备及存储介质
CN112529002B (zh) * 2020-11-11 2023-04-07 智慧眼科技股份有限公司 舌体图片分类方法、装置、计算机设备及存储介质
CN113724237A (zh) * 2021-09-03 2021-11-30 平安科技（深圳）有限公司 齿痕识别方法、装置、计算机设备及存储介质
CN114565611A (zh) * 2022-04-28 2022-05-31 武汉大学 医学信息获取方法及相关设备
CN114565611B (zh) * 2022-04-28 2022-07-19 武汉大学 医学信息获取方法及相关设备

Similar Documents

Publication Publication Date Title
CN108230296B (zh) 图像特征的识别方法和装置、存储介质、电子装置
CN111524093A (zh) 一种异常舌象的智能筛查方法及其***
CN109190540B (zh) 活检区域预测方法、图像识别方法、装置和存储介质
KR101977174B1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
CN111563887B (zh) 一种口腔图像的智能分析方法与装置
KR20190105210A (ko) 통합 의료 진단 서비스 제공 시스템 및 그 방법
CN111325745B (zh) 骨折区域分析方法和装置、电子设备及可读存储介质
CN110584618B (zh) 基于人工智能的传染病机器识别***
CN109117890B (zh) 一种图像分类方法、装置和存储介质
KR102045223B1 (ko) 골 연령 분석 방법, 장치 및 컴퓨터 프로그램
WO2023155488A1 (zh) 基于多源多尺度特征融合的眼底图像质量评价方法和装置
CN110731773A (zh) 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法
CN115862831B (zh) 一种智能在线预约诊疗管理***及方法
CN117392470B (zh) 基于知识图谱的眼底图像多标签分类模型生成方法及***
CN112508884A (zh) 一种癌变区域综合检测装置及方法
CN110456050B (zh) 便携式智能数字化寄生虫体外诊断仪
CN116797572A (zh) 基于多模态数据的类风湿关节炎活动度分级装置
Kaushal et al. An IoMT‐based smart remote monitoring system for healthcare
CN111047590A (zh) 基于眼底图像的高血压分类方法及设备
CN117010971B (zh) 一种基于人像识别的智能健康险提供方法及***
CN113096811A (zh) 一种基于红外热成像的糖尿病足图像处理和风险预警设备
CN117237351A (zh) 一种超声图像分析方法以及相关装置
CN117152507A (zh) 一种牙齿健康状态检测方法、装置、设备及存储介质
Sun et al. Liver tumor segmentation and subsequent risk prediction based on Deeplabv3+
CA3147017C (en) System and method for classifying dermatological images using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination