CN110298829A - 一种舌诊方法、装置、***、计算机设备和存储介质 - Google Patents

一种舌诊方法、装置、***、计算机设备和存储介质 Download PDF

Info

Publication number
CN110298829A
CN110298829A CN201910534520.3A CN201910534520A CN110298829A CN 110298829 A CN110298829 A CN 110298829A CN 201910534520 A CN201910534520 A CN 201910534520A CN 110298829 A CN110298829 A CN 110298829A
Authority
CN
China
Prior art keywords
image
tongue body
tongue
obtains
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910534520.3A
Other languages
English (en)
Inventor
白全海
高长龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai National Group Health Technology Co Ltd
Original Assignee
Shanghai National Group Health Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai National Group Health Technology Co Ltd filed Critical Shanghai National Group Health Technology Co Ltd
Priority to CN201910534520.3A priority Critical patent/CN110298829A/zh
Publication of CN110298829A publication Critical patent/CN110298829A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域，尤其涉及一种舌诊方法、装置、***、计算机设备和存储介质。方法包括：获取用户的舌体原始图像，对舌体原始图像进行颜色校正，得到舌体矫正图像；将舌体矫正图像进行图像参数变换，得到舌体变换图像；对舌体变换图像进行分割和细化处理，得到舌体分割图像；将舌体分割图像输入预设的识别神经网络进行识别，得到并输出舌体诊断结果。本发明实施例提供的一种舌诊方法，通过图像颜色校正技术和数据增强的结合，使得舌诊更加准确，不仅适用于专业环境，同时在非标准光源下也具有良好的适用性，具有高精度和实时的处理速度。

Description

一种舌诊方法、装置、***、计算机设备和存储介质
技术领域
本发明属于图像处理技术领域，尤其涉及一种舌诊方法、装置、***、计算机设备和存储介质。
背景技术
舌诊是中医四诊之一，在标准光照下，医生根据病人舌体形状与颜色等特征判断病人身体状况，但是由于舌体特征变化较快，病人检查频率较高，医生工作量巨大，同时由于不同舌体特征间区分度不高，诸如舌色苔色等，肉眼难以分辨，医生容易发生误判。
近年来，中医智能诊断***不断问世，通过识别舌体的颜色和结构特征进行疾病的诊断，但是这一类识别技术通常对于图像的质量要求较高，多采用严苛标准的目标检测和图像分类算法，网络往往过参数化，网络架构庞大，存在大量冗余的网络结构和计算参数，计算速度较慢，而舌体在不同光源下具有完全不同的舌色和苔色特征，使得舌诊结果的准确性无法保障。
可见现有技术的舌诊技术应用条件严苛，诊断结果容易受到图像质量的影响。
发明内容
本发明实施例的目的在于提供一种舌诊方法，旨在解决现有技术诊断准确性容易受到图像质量的约束的问题。
本发明实施例是这样实现的，一种舌诊方法，所述方法包括：
获取用户的舌体原始图像，对所述舌体原始图像进行颜色校正，得到舌体矫正图像；
将所述舌体矫正图像进行图像参数变换，得到舌体变换图像；
对所述舌体变换图像进行分割和细化处理，得到舌体分割图像；
将所述舌体分割图像输入预设的识别神经网络进行识别，得到并输出舌体诊断结果。
本发明实施例的另一目的在于提供一种舌诊装置，所述装置包括：
图像矫正模块，用于获取用户的舌体原始图像，对所述舌体原始图像进行颜色校正，得到舌体矫正图像；
图像变换模块，用于将所述舌体矫正图像进行图像参数变换，得到舌体变换图像；
图像分割模块，用于对所述舌体变换图像进行分割和细化处理，得到舌体分割图像；
诊断识别模块，用于将所述舌体分割图像输入预设的识别神经网络进行识别，得到舌体诊断结构。
本发明实施例的另一目的在于提供一种舌诊***，所述***包括：
图像采集装置，用于采集患者舌体原始图像；以及
上述所述舌诊装置，用于获取所述舌体原始图像，并对所述舌体原始图像进行识别诊断，得到并输出舌体诊断结果。
本发明实施例的另一目的在于提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述舌诊方法的步骤。
本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述舌诊方法的步骤。
本发明实施例提供的一种舌诊方法，通过图像颜色校正技术和数据增强的结合，使得舌诊更加准确，不仅适用于专业环境，同时在非标准光源下也具有良好的适用性，具有高精度和实时的处理速度。
附图说明
图1为本发明实施例提供的舌诊方法的应用环境图；
图2为本发明实施例提供的舌诊方法的流程图；
图3为本发明实施例提供的舌体矫正图像参数变换的流程图；
图4为本发明实施例提供的图像分割细化处理的流程图；
图5为本发明实施例提供的识别模型训练的流程图；
图6为本发明实施例提供的舌诊装置的结构框图；
图7为本发明实施例提供的图像变换模块的结构框图；
图8为本发明实施例提供的图像分割模块的结构框图；
图9为本发明实施例提供的诊断识别模块的结构框图；
图10为本发明实施例提供的舌诊***的结构框图；
图11为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
图1为本发明实施例提供的一种舌诊方法的应用环境图，如图1所示，在该应用环境中，包括图像采集设备110以及计算机设备120。
计算机设备120可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
图像采集设备110是具有图像采集功能的设备，可以是摄像机、照相机、智能手机、平板电脑、笔记本电脑等，但并不局限于此。图像采集设备110以及计算机设备120可以通过网络进行连接，本发明在此不做限制。
实施例一
如图2所示，在本发明实施例中，提出了一种舌诊方法，本实施例主要以该方法应用于上述图1中的计算机设备120来举例说明。一种舌诊方法，具体可以包括以下步骤：
步骤S202，获取用户的舌体原始图像，对舌体原始图像进行颜色校正，得到舌体矫正图像；
步骤S204，将舌体矫正图像进行图像参数变换，得到舌体变换图像；
步骤S206，对舌体变换图像进行分割和细化处理，得到舌体分割图像；
步骤S208，将舌体分割图像输入预设的识别神经网络进行识别，得到并输出舌体诊断结果。
在本发明实施例中，对舌体原始图像进行颜色校正可以采取常用的多项式回归法、后向网络传播算法或者支持向量回归算法等常用的颜色校正算法，除此之外，本发明实施例中优选采用色彩恒常算法对图像进行颜色校正。色彩恒常算法主要是根据色彩恒常性衍生的算法，色彩恒常性是指当照射物体表面的颜色光发生变化时，人们对该物体表面颜色的知觉仍然保持不变的知觉特性。色彩恒常算法的原理基于比尔-朗伯特定律，其内容是由两种不同的光照形成的图像可以通过对角矩阵转换(对角模型)，只需寻找出原图中的光照即可把原图片经对角矩阵转化为在标准白光(R＝G＝B＝1)下的图片。色彩恒常算法的具体执行和使用过程已经相当成熟，本发明不再进一步的进行描述和解释，本领域技术人员可以根据本发明例中的描述进行实现。
本发明实施例中通过对图像的颜色进行校正，能够对非标准光源下的舌体图片进行校正，还原舌体在标准光源下的色彩特征，进而提高诊断识别的准确度。
在本发明实施例中，如图3所示，步骤S204具体可以包括以下步骤：
步骤S302，将舌体校正图像进行等比例缩放和填充，得到预设尺寸的缩放图像。
步骤S304，将缩放图像进行数据增强，得到增强图像。
在本发明实施例中，数据增强的方式可以包括对缩放图像进行几何变换、色彩像素变换和非舌体图像样本训练等方式，其中进行几何变换主要包括舌体图片方向旋转、舌体图片镜像、舌体图像缩放、舌体图像剪切、舌体图像视角变换、舌体图像随机遮挡和舌体图像随机裁剪缩放等操作，以便调整拍摄舌体图片时可能存在的舌体倾斜、距离变化、摄像头镜像和摄像头非标准视角等情况；色彩像素变换主要包括舌体色彩抖动、随机添加高斯噪声、舌体图像像素模糊等操作，便于调整拍摄舌体图片时不同光源条件下的舌色和拍摄时摄像头抖动等情况；非舌体图像样本训练是指训练中随机选择不含舌体的人像图片、其它物品图片、随机室内场景和随机室外场景作为非舌体图像样本，与舌体图片进行随机混合训练，以加深识别算法模型对舌体特征的识别和对非舌体图片的区分，增强算法模型鲁棒性。
步骤S306，对增强图像进行归一化处理，并将其进行去均值除方差操作，得到舌体变换图像。
在本发明实施例中，进行归一化处理首先对图像进行最大像素归一化，再依据预先收集统计的舌体图像数据集上统计的舌体图像素均值和方差，对图像进行去均值除方差操作，以便增强分割算法的稳健性，去除均值方差可用公式表示为：
上式中pix(rgb)为增强图像像素，pix′(rgb)为归一化处理后的像素，mean(r，g，b)和var(r，g，b)分别为舌体图像数据集上统计的RGB通道均值和方差。
在本发明实施例中，步骤S302具体为：
将所述舌体矫正图像的第一对边进行等比例缩放，可用公式表示为：
其中，w为原始图像像素宽度，h为原始图像像素高度，w′为等比缩放后的图像像素宽度，h′为等比缩放后的图像像素高度，Ka为所述预设尺寸图像的宽度；
将等比例缩放后的所述舌体矫正图像的第二对边进行像素填充，可用公式表示为：
其中，w′为等比缩放后的图像像素宽度，h′为等比缩放后的图像像素高度，Kb为所述预设尺寸图像的高度，P为第二对边所需填充的像素值。
在本发明实施例中，由于高像素的舌体图片会增加多余的计算量，而过低像素的舌体图片会丢失舌体特征，本发明基于大量的实验，发现舌体图片尺寸为512*512是良好的平衡点，因此预设尺寸优选统一调整到512*512标准像素尺寸，即将上述的Ka、Kb设置为512，从而使得得到的舌体变换图像进行后续处理时处理速度提高。
在本发明实施例中，如图4所示，步骤S206具体可以包括以下步骤：
步骤S402，将舌体变换图像进行图像分割，并提取舌体上的舌体特征，舌体特征包括舌体主体特征和舌体边沿特征。
在本发明实施例中，提取特征时，在编码器阶段，进行特征提取得到舌体细节特征和高级语义特征，将高级语义特征进行多尺度卷积和池化处理和注意力缩放，得到编码器提取的舌体高级语义信息。由于编码器得到的主要是高级语义特征，会丢失舌体边缘的细节特征，所以在解码器阶段将编码器高级语义特征进行反卷积且与骨干网络提取的细节特征进行串联，经过卷积处理和上采样，最终得到精细的舌体分割结果。
步骤S304，对舌体特征进行轮廓处理，轮廓处理包括轮廓提取、多边形近似算法处理和凸包算法处理中的一种或几种的组合，得到舌体分割图像。
在本发明实施例中，受环境影响，分割后的舌体图片会存在不规则形状的干扰斑点，但是这也斑点体积较小且与舌体不连通，本发明采用形态学轮廓提取算法，利用舌体体积远大于干扰斑点且互不连通这一特性，仅保留最大体积的连通区域，去除其他连通区域，得到舌体分割结果；另外，分割后的结果往往存在锯齿状边缘，采用多边形近似算法对舌体边缘进行平滑处理，使得舌体分割的结果更加圆润平滑；同时，为了增加多边形近似算法的稳健性，在多边形近似算法后增加了凸包算法，防止多边形进行算法将舌体边缘分离出去。
在本发明实施例中，如图5所示，将舌体分割图像输入预设的识别神经网络进行识别之前，还包括：
步骤S502，获取预设数量的舌体样本图像，并对舌体样本图像上的舌体特征进行标注，得到舌体特征样本图像。
在本发明实施例中，舌体特征包括形态特征和颜色特征，其中颜色特征可以包括整体舌色、全舌苔色、舌边色、舌中苔色以及舌尖色等部位的颜色，形态特征包括齿痕、舌形、全舌裂纹、裂纹部位、剥苔等特征，本发明不再进一步一一列举。
步骤S504，对舌体特征样本图像添加舌体特征标签，舌体特征标签用于指示与舌体特征样本图像对应的用户的身体状态；比如舌诊正常或者异常。
步骤S506，将舌体特征样本图像和对应的舌体特征标签输入至神经网络进行训练得到识别神经网络。
在本发明实施例中，将舌体特征样本图像和对应的舌体特征标签输入至神经网络进行训练得到识别神经网络时，还包括采用知识蒸馏训练法、神经网络剪枝算法对所述识别神经网络进行优化。具体的，知识蒸馏训练法具体是指利用大型网络作为教师模型，训练得到高精度模型，将目标模型与教师模型进行联合训练，让目标模型从教师模型中提取知识，达到与教师模型近似的精度，同时速度仍然和教室模型一样快，以此提高训练的速度和降低负载；实际应用中，为了提高计算精度，往往采用集成模型技术，以降低舌诊的错误概率，类似于投票机制，多个模型不太可能在同一个地方犯错，从而提高精度，但是这种算法速度由于采用了多个模型，需要多次计算，速度较慢，本发明实施例中还可以使用权重平均SWA技术，训练多个相同结构的目标模型进行参数平均，降低模型错误率；另外，由于神经网络中存在许多冗余的计算参数，本发明实施例中使用了模型剪枝技术对网络结构进行优化设计，来得到专适用于舌体分类的网络结果，具体流程为先进行模型训练，然后进行剪枝，再次训练微调，不断重复这一过程，最终得到适用于舌体识别的高速度和高精度网络结构。
本发明实施例提供的一种舌诊方法，通过图像颜色校正技术和数据增强的结合，使得舌诊更加准确，不仅适用于专业环境，同时在非标准光源下也具有良好的适用性，具有高精度和实时的处理速度。
实施例二
如图6所示，在本发明实施例中，提供了一种舌诊装置，装置包括：
图像矫正模块601，用于获取用户的舌体原始图像，对舌体原始图像进行颜色校正，得到舌体矫正图像；
图像变换模块602，用于将舌体矫正图像进行图像参数变换，得到舌体变换图像；
图像分割模块603，用于对舌体变换图像进行分割和细化处理，得到舌体分割图像；
诊断识别模块604，用于将舌体分割图像输入预设的识别神经网络进行识别，得到舌体诊断结构。
在本发明实施例中，对舌体原始图像进行颜色校正可以采取常用的多项式回归法、后向网络传播算法或者支持向量回归算法等常用的颜色校正算法，除此之外，本发明实施例中优选采用色彩恒常算法对图像进行颜色校正。色彩恒常算法主要是根据色彩恒常性衍生的算法，色彩恒常性是指当照射物体表面的颜色光发生变化时，人们对该物体表面颜色的知觉仍然保持不变的知觉特性。色彩恒常算法的原理基于比尔-朗伯特定律，其内容是由两种不同的光照形成的图像可以通过对角矩阵转换(对角模型)，只需寻找出原图中的光照即可把原图片经对角矩阵转化为在标准白光(R＝G＝B＝1)下的图片。色彩恒常算法的具体执行和使用过程已经相当成熟，本发明不再进一步的进行描述和解释，本领域技术人员可以根据本发明例中的描述进行实现。
本发明实施例中通过对图像的颜色进行校正，能够对非标准光源下的舌体图片进行校正，还原舌体在标准光源下的色彩特征，进而提高诊断识别的准确度。
在本发明实施例中，如图7所示，图像变换模块602具体可以包括：
图像缩放单元701，用于将舌体校正图像进行等比例缩放和填充，得到预设尺寸的缩放图像。
图像增强单元702，用于将缩放图像进行数据增强，得到增强图像。
在本发明实施例中，数据增强的方式可以包括对缩放图像进行几何变换、色彩像素变换和非舌体图像样本训练等方式，其中进行几何变换主要包括舌体图片方向旋转、舌体图片镜像、舌体图像缩放、舌体图像剪切、舌体图像视角变换、舌体图像随机遮挡和舌体图像随机裁剪缩放等操作，以便调整拍摄舌体图片时可能存在的舌体倾斜、距离变化、摄像头镜像和摄像头非标准视角等情况；色彩像素变换主要包括舌体色彩抖动、随机添加高斯噪声、舌体图像像素模糊等操作，便于调整拍摄舌体图片时不同光源条件下的舌色和拍摄时摄像头抖动等情况；非舌体图像样本训练是指训练中随机选择不合舌体的人像图片、其它物品图片、随机室内场景和随机室外场景作为非舌体图像样本，与舌体图片进行随机混合训练，以加深识别算法模型对舌体特征的识别和对非舌体图片的区分，增强算法模型鲁棒性。
归一化处理单元703，用于对增强图像进行归一化处理，并将其进行去均值除方差操作，得到舌体变换图像。
在本发明实施例中，进行归一化处理首先对图像进行最大像素归一化，再依据预先收集统计的舌体图像数据集上统计的舌体图像素均值和方差，对图像进行去均值除方差操作，以便增强分割算法的稳健性，去除均值方差可用公式表示为：
上式中pix(rgb)为增强图像像素，pix′(rgb)为归一化处理后的像素，mean(r，g，b)和var(r，g，b)分别为舌体图像数据集上统计的RGB通道均值和方差。
在本发明实施例中，缩放单元701计算时具体为：
将所述舌体矫正图像的第一对边进行等比例缩放，可用公式表示为：
其中，w为原始图像像素宽度，h为原始图像像素高度，w′为等比缩放后的图像像素宽度，h′为等比缩放后的图像像素高度，Ka为所述预设尺寸图像的宽度；
将等比例缩放后的所述舌体矫正图像的第二对边进行像素填充，可用公式表示为：
其中，w′为等比缩放后的图像像素宽度，h′为等比缩放后的图像像素高度，Kb为所述预设尺寸图像的高度，P为第二对边所需填充的像素值。
在本发明实施例中，由于高像素的舌体图片会增加多余的计算量，而过低像素的舌体图片会丢失舌体特征，本发明基于大量的实验，发现舌体图片尺寸为512*512是良好的平衡点，因此预设尺寸优选统一调整到512*512标准像素尺寸，即将上述的Ka、Kb设置为512，从而使得得到的舌体变换图像进行后续处理时处理速度提高。
在本发明实施例中，如图8所示，图像分割模块603具体可以包括：
特征提取单元801，用于将舌体变换图像进行图像分割，并提取舌体上的舌体特征，舌体特征包括舌体主体特征和舌体边沿特征。
在本发明实施例中，提取特征时，在编码器阶段，进行特征提取得到舌体细节特征和高级语义特征，将高级语义特征进行多尺度卷积和池化处理和注意力缩放，得到编码器提取的舌体高级语义信息。由于编码器得到的主要是高级语义特征，会丢失舌体边缘的细节特征，所以在解码器阶段将编码器高级语义特征进行反卷积且与骨干网络提取的细节特征进行串联，经过卷积处理和上采样，最终得到精细的舌体分割结果。
轮廓处理单元802，用于对舌体特征进行轮廓处理，轮廓处理包括轮廓提取、多边形近似算法处理和凸包算法处理中的一种或几种的组合，得到舌体分割图像。
在本发明实施例中，受环境影响，分割后的舌体图片会存在不规则形状的干扰斑点，但是这也斑点体积较小且与舌体不连通，本发明采用形态学轮廓提取算法，利用舌体体积远大于干扰斑点且互不连通这一特性，仅保留最大体积的连通区域，去除其他连通区域，得到舌体分割结果；另外，分割后的结果往往存在锯齿状边缘，采用多边形近似算法对舌体边缘进行平滑处理，使得舌体分割的结果更加圆润平滑；同时，为了增加多边形近似算法的稳健性，在多边形近似算法后增加了凸包算法，防止多边形进行算法将舌体边缘分离出去。
在本发明实施例中，如图9所示，诊断识别模块604还包括：
样本获取单元901，用于获取预设数量的舌体样本图像，并对舌体样本图像上的舌体特征进行标注，得到舌体特征样本图像。
在本发明实施例中，舌体特征包括形态特征和颜色特征，其中颜色特征可以包括整体舌色、全舌苔色、舌边色、舌中苔色以及舌尖色等部位的颜色，形态特征包括齿痕、舌形、全舌裂纹、裂纹部位、剥苔等特征，本发明不再进一步一一列举。
标签添加单元902，用于对舌体特征样本图像添加舌体特征标签，舌体特征标签用于指示与舌体特征样本图像对应的用户的身体状态；比如舌诊正常或者异常。
识别训练单元903，用于将舌体特征样本图像和对应的舌体特征标签输入至神经网络进行训练得到识别神经网络。
在本发明实施例中，将舌体特征样本图像和对应的舌体特征标签输入至神经网络进行训练得到识别神经网络时，还包括采用知识蒸馏训练法、神经网络剪枝算法对所述识别神经网络进行优化。具体的，知识蒸馏训练法具体是指利用大型网络作为教师模型，训练得到高精度模型，将目标模型与教师模型进行联合训练，让目标模型从教师模型中提取知识，达到与教师模型近似的精度，同时速度仍然和教室模型一样快，以此提高训练的速度和降低负载；实际应用中，为了提高计算精度，往往采用集成模型技术，以降低舌诊的错误概率，类似于投票机制，多个模型不太可能在同一个地方犯错，从而提高精度，但是这种算法速度由于采用了多个模型，需要多次计算，速度较慢，本发明实施例中还可以使用权重平均SWA技术，训练多个相同结构的目标模型进行参数平均，降低模型错误率；另外，由于神经网络中存在许多冗余的计算参数，本发明实施例中使用了模型剪枝技术对网络结构进行优化设计，来得到专适用于舌体分类的网络结果，具体流程为先进行模型训练，然后进行剪枝，再次训练微调，不断重复这一过程，最终得到适用于舌体识别的高速度和高精度网络结构。
本发明实施例提供的一种舌诊装置，通过图像颜色校正技术和数据增强的结合，使得舌诊更加准确，不仅适用于专业环境，同时在非标准光源下也具有良好的适用性，具有高精度和实时的处理速度。
实施例三
如图10所示，在本发明实施例中，提供了一种舌诊***，***包括：
图像采集装置1001，用于采集患者舌体原始图像；以及
如本发明实施例二中的舌诊装置1002，用于获取舌体原始图像，并对舌体原始图像进行识别诊断，得到并输出舌体诊断结果。
本发明实施例提供的一种舌诊***，通过图像颜色校正技术和数据增强的结合，使得舌诊更加准确，不仅适用于专业环境，同时在非标准光源下也具有良好的适用性，具有高精度和实时的处理速度。
实施例四
图11示出了一个实施例中计算机设备的内部结构图。如图11所示，该计算机设备包括该计算机设备包括通过***总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现舌诊方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行舌诊方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本发明实施例中，本申请提供的舌诊装置可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该舌诊装置的各个程序模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请实施例的舌诊方法中的步骤。
实施例五
在本发明实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取用户的舌体原始图像，对舌体原始图像进行颜色校正，得到舌体矫正图像；
将舌体矫正图像进行图像参数变换，得到舌体变换图像；
对舌体变换图像进行分割和细化处理，得到舌体分割图像；
将舌体分割图像输入预设的识别神经网络进行识别，得到并输出舌体诊断结果。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种舌诊方法，其特征在于，所述方法包括：
获取用户的舌体原始图像，对所述舌体原始图像进行颜色校正，得到舌体矫正图像；
将所述舌体矫正图像进行图像参数变换，得到舌体变换图像；
对所述舌体变换图像进行分割和细化处理，得到舌体分割图像；
将所述舌体分割图像输入预设的识别神经网络进行识别，得到并输出舌体诊断结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述舌体矫正图像进行参数变换，得到舌体变换图像，具体包括：
将所述舌体校正图像进行等比例缩放和填充，得到预设尺寸的缩放图像；
将所述缩放图像进行数据增强，得到增强图像；
对所述增强图像进行归一化处理，并将其进行去均值除方差操作，得到舌体变换图像。
3.根据权利要求2所述的方法，其特征在于，所述舌体矫正图像为矩形，所述将所述舌体校正图像进行等比例缩放和填充，得到预设尺寸的缩放图像，具体为：
将所述舌体矫正图像的第一对边进行等比例缩放，可用公式表示为：
其中，w为原始图像像素宽度，h为原始图像像素高度，w′为等比缩放后的图像像素宽度，h′为等比缩放后的图像像素高度，Ka为所述预设尺寸图像的宽度；
将等比例缩放后的所述舌体矫正图像的第二对边进行像素填充，可用公式表示为：
其中，w′为等比缩放后的图像像素宽度，h′为等比缩放后的图像像素高度，Kb为所述预设尺寸图像的高度，P为第二对边所需填充的像素值。
4.根据权利要求1所述的方法，其特征在于，所述对所述舌体变换图像进行分割和细化处理，得到舌体分割图像，具体包括：
将所述舌体变换图像进行图像分割，并提取舌体上的舌体特征，所述舌体特征包括舌体主体特征和舌体边沿特征；
对所述舌体特征进行轮廓处理，所述轮廓处理包括轮廓提取、多边形近似算法处理和凸包算法处理中的一种或几种的组合，得到舌体分割图像。
5.根据权利要求1所述的方法，其特征在于，所述将所述舌体分割图像输入预设的识别神经网络进行识别之前，还包括：
获取预设数量的舌体样本图像，并对所述舌体样本图像上的舌体特征进行标注，得到舌体特征样本图像；
对所述舌体特征样本图像添加舌体特征标签，所述舌体特征标签用于指示与所述舌体特征样本图像对应的用户的身体状态；
将所述舌体特征样本图像和对应的所述舌体特征标签输入至神经网络进行训练得到识别神经网络。
6.根据权利要求5所述的方法，其特征在于，所述将所述舌体特征样本图像和对应的所述舌体特征标签输入至神经网络进行训练得到识别神经网络时，还包括采用知识蒸馏训练法、神经网络剪枝算法对所述识别神经网络进行优化。
7.一种舌诊装置，其特征在于，所述装置包括：
图像矫正模块，用于获取用户的舌体原始图像，对所述舌体原始图像进行颜色校正，得到舌体矫正图像；
图像变换模块，用于将所述舌体矫正图像进行图像参数变换，得到舌体变换图像；
图像分割模块，用于对所述舌体变换图像进行分割和细化处理，得到舌体分割图像；
诊断识别模块，用于将所述舌体分割图像输入预设的识别神经网络进行识别，得到舌体诊断结构。
8.一种舌诊***，其特征在于，所述***包括：
图像采集装置，用于采集患者舌体原始图像；以及
如权利要求7所述舌诊装置，用于获取所述舌体原始图像，并对所述舌体原始图像进行识别诊断，得到并输出舌体诊断结果。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至6中任一项权利要求所述舌诊方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至6中任一项权利要求所述舌诊方法的步骤。
CN201910534520.3A 2019-06-19 2019-06-19 一种舌诊方法、装置、***、计算机设备和存储介质 Pending CN110298829A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910534520.3A CN110298829A (zh) 2019-06-19 2019-06-19 一种舌诊方法、装置、***、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910534520.3A CN110298829A (zh) 2019-06-19 2019-06-19 一种舌诊方法、装置、***、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN110298829A true CN110298829A (zh) 2019-10-01

Family

ID=68028284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910534520.3A Pending CN110298829A (zh) 2019-06-19 2019-06-19 一种舌诊方法、装置、***、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110298829A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826565A (zh) * 2019-11-01 2020-02-21 北京中科芯健医疗科技有限公司 基于跨连接的卷积神经网络齿痕舌象分类方法及***
CN112233194A (zh) * 2020-10-15 2021-01-15 平安科技（深圳）有限公司 医学图片优化方法、装置、设备及计算机可读存储介质
CN112806964A (zh) * 2021-01-28 2021-05-18 清华大学 舌象分析方法和***
CN113706515A (zh) * 2021-08-31 2021-11-26 平安科技（深圳）有限公司 舌像异常确定方法、装置、计算机设备和存储介质
CN115147372A (zh) * 2022-07-04 2022-10-04 海南榕树家信息科技有限公司 一种基于医学图像分割的中医舌像智能辨治方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102419861A (zh) * 2010-09-27 2012-04-18 上海中医药大学 基于均匀色空间拓扑剖分的彩色图像校正方法
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务***
CN106683087A (zh) * 2016-12-26 2017-05-17 华南理工大学 一种基于深度神经网络的舌苔体质辨别方法
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
US10119927B2 (en) * 2010-12-23 2018-11-06 Crc Care Pty Ltd Analyte ion detection method and device
CN109637660A (zh) * 2018-12-19 2019-04-16 新绎健康科技有限公司 一种基于深度卷积神经网络的舌诊分析方法及***
CN109636864A (zh) * 2018-12-19 2019-04-16 新绎健康科技有限公司 一种基于颜色校正与深度卷积神经网络的舌分割方法及***
CN109785311A (zh) * 2019-01-14 2019-05-21 深圳和而泰数据资源与云技术有限公司 一种疾病诊断方法及相关设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102419861A (zh) * 2010-09-27 2012-04-18 上海中医药大学 基于均匀色空间拓扑剖分的彩色图像校正方法
US10119927B2 (en) * 2010-12-23 2018-11-06 Crc Care Pty Ltd Analyte ion detection method and device
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务***
CN106683087A (zh) * 2016-12-26 2017-05-17 华南理工大学 一种基于深度神经网络的舌苔体质辨别方法
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
CN109637660A (zh) * 2018-12-19 2019-04-16 新绎健康科技有限公司 一种基于深度卷积神经网络的舌诊分析方法及***
CN109636864A (zh) * 2018-12-19 2019-04-16 新绎健康科技有限公司 一种基于颜色校正与深度卷积神经网络的舌分割方法及***
CN109785311A (zh) * 2019-01-14 2019-05-21 深圳和而泰数据资源与云技术有限公司 一种疾病诊断方法及相关设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826565A (zh) * 2019-11-01 2020-02-21 北京中科芯健医疗科技有限公司 基于跨连接的卷积神经网络齿痕舌象分类方法及***
CN112233194A (zh) * 2020-10-15 2021-01-15 平安科技（深圳）有限公司 医学图片优化方法、装置、设备及计算机可读存储介质
WO2022077914A1 (zh) * 2020-10-15 2022-04-21 平安科技（深圳）有限公司 医学图片优化方法、装置、设备及计算机可读存储介质
CN112233194B (zh) * 2020-10-15 2023-06-02 平安科技（深圳）有限公司 医学图片优化方法、装置、设备及计算机可读存储介质
CN112806964A (zh) * 2021-01-28 2021-05-18 清华大学 舌象分析方法和***
CN113706515A (zh) * 2021-08-31 2021-11-26 平安科技（深圳）有限公司 舌像异常确定方法、装置、计算机设备和存储介质
CN113706515B (zh) * 2021-08-31 2023-07-18 平安科技（深圳）有限公司 舌像异常确定方法、装置、计算机设备和存储介质
CN115147372A (zh) * 2022-07-04 2022-10-04 海南榕树家信息科技有限公司 一种基于医学图像分割的中医舌像智能辨治方法及***
CN115147372B (zh) * 2022-07-04 2024-05-03 海南榕树家信息科技有限公司 一种基于医学图像分割的中医舌像智能辨治方法及***

Similar Documents

Publication Publication Date Title
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及***、计算机设备及介质
CN110298829A (zh) 一种舌诊方法、装置、***、计算机设备和存储介质
US20220092882A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
Jiang et al. Face super-resolution via multilayer locality-constrained iterative neighbor embedding and intermediate dictionary learning
CN111445459B (zh) 一种基于深度孪生网络的图像缺陷检测方法及***
Zhang et al. Multiple-level feature-based measure for retargeted image quality
WO2020253127A1 (zh) 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
CN112115783A (zh) 基于深度知识迁移的人脸特征点检测方法、装置及设备
CN109871845B (zh) 证件图像提取方法及终端设备
CN112784810B (zh) 手势识别方法、装置、计算机设备和存储介质
CN112528969B (zh) 人脸图像的真伪检测方法、***、计算机设备和存储介质
Tian et al. A multi-order derivative feature-based quality assessment model for light field image
WO2014187223A1 (en) Method and apparatus for identifying facial features
CN110807139A (zh) 图片识别方法、装置、计算机可读存储介质和计算机设备
Zhang et al. Marn: multi-scale attention retinex network for low-light image enhancement
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
Yue et al. Semi-supervised authentically distorted image quality assessment with consistency-preserving dual-branch convolutional neural network
CN111047618B (zh) 基于多尺度的无参考屏幕内容图像质量评估方法
Sun et al. Image adaptation and dynamic browsing based on two-layer saliency combination
CN113781468A (zh) 一种基于轻量级卷积神经网络的舌图像分割方法
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
Fu et al. Screen content image quality assessment using Euclidean distance
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN111695464A (zh) 一种基于融合核的线性核化特征空间成组性的建模方法
CN116469172A (zh) 一种多时间尺度下的骨骼行为识别视频帧提取方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191001

RJ01 Rejection of invention patent application after publication