CN113706515B - 舌像异常确定方法、装置、计算机设备和存储介质 - Google Patents

舌像异常确定方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113706515B
CN113706515B CN202111016133.4A CN202111016133A CN113706515B CN 113706515 B CN113706515 B CN 113706515B CN 202111016133 A CN202111016133 A CN 202111016133A CN 113706515 B CN113706515 B CN 113706515B
Authority
CN
China
Prior art keywords
tongue
image
brightness
sub
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111016133.4A
Other languages
English (en)
Other versions
CN113706515A (zh
Inventor
陈超
周宸
陈远旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202111016133.4A priority Critical patent/CN113706515B/zh
Publication of CN113706515A publication Critical patent/CN113706515A/zh
Application granted granted Critical
Publication of CN113706515B publication Critical patent/CN113706515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能及数字医疗领域，提供了舌像异常确定方法、装置、计算机设备和存储介质，通过对舌头图像进行处理，得到多个舌头子图像，在舌头子图像的基础上确定图像中是否存在阴影、反光、裂纹等，再借助分类模型对超像素图像进行分类，得到目标区域，实现对图像在纹理和亮度的基础上的精细分割，进一步借助光照模型去计算光源方法，光源方向的计算排除了阴影、反光、裂纹的影响，使得光源方向更加准确，从而根据光源方向求得的各个超像素的法线方向也能更加准确，根据法线方向即可实现舌头的三维重建，在三维的基础上去判断舌像是否异常。

Description

舌像异常确定方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能及数字医疗的技术领域，特别涉及一种舌像异常确定方法、装置、计算机设备和存储介质。
背景技术
中医诊法主要包括望、闻、问、切四诊。舌诊是观察病人舌质、舌苔、舌形等的状态及变化特点以诊察疾病的方法，是望诊的重要内容，也是中医诊法的特色之一。随着科技的发展，医生会借助计算机辅助进行舌诊，在计算机辅助诊断中医舌诊中，通常利用个人手机或者专门的舌诊仪采集一张清楚的舌头图像后，再利用计算机智能算法程序去分析这张舌像存在的疾病征象，达到辅助中医诊断的目的。
现在已有的智能算法大都是把舌头图像当成一个二维图像去做智能分析，而中医舌诊中很多异常舌像的判断都需要对舌头的三维形状进行判别，而人眼具有对图像中目标的三维深度及形状识别的天然优势。比如判断舌头两边是否有齿痕，舌的前中后部是否有凹陷，舌两边是否有肝郁台等都是依据人眼对二维图像进行三维分析得出的。但是现在流行的人工智能技术深度学习都需要大量的数据标注，对于三维信息本身很难标注，也不存在这样的标注数据集，所以常用的深度学习技术在中医舌诊中很难进行舌头的三维表面重建。
发明内容
本申请的主要目的为提供一种舌像异常确定方法、装置、计算机设备和存储介质，旨在解决舌像不便于在三维表面去进行异常分析的技术问题。
为实现上述目的，本申请提供了一种舌像异常确定方法，包括以下步骤：
获取待检测图像，并对所述待检测图像进行图像分割得到舌头图像；
对所述舌头图像按照预设规则进行划分，对应得到舌左侧、舌右侧、舌根部、舌中部和舌尖部；
通过CIELab颜色空间对所述舌头图像进行处理，得到多个舌头子图像；
根据舌头子图像确定初始光照方向；
根据舌头子图像确定所述舌根部、舌中部和舌尖部中是否存在阴影区域；
若存在，对舌头子图像进行超像素分割，得到超像素图像；
检测所述舌头子图像中是否存在裂纹，若存在，提取裂纹区域，将位于裂纹区域的各个像素对应的超像素组成第一超像素集合；
根据舌头子图像判断所述舌头图像是否存在反光点，若存在，提取反光区域，将各个反光点对应的超像素组成第二超像素集合；
通过预设分类器对所述超像素图像进行分类，得到分类结果；根据分类结果、裂纹区域和反光区域对舌头子图像进行分割；其中，所述预设分类器基于支持向量机训练得到；其中，分割后的舌头子图像包括多个目标区域，同一目标区域的反射率相同；
根据分割后的舌头子图像确定第三超像素集合，计算第三超像素集合的超像素亮度，将所述超像素亮度和初始光照方向带入预设光照模型计算光源方向；
根据分割后的舌头子图像和光源方向计算各个目标区域的超像素的法线方向；
根据法线方向确定舌像是否异常。
进一步地，舌头子图像包括原始亮度图像；所述根据舌头子图像确定初始光照方向的步骤，包括：
在所述原始亮度图像上沿图像分割的边界向外膨胀预设个数的像素；
通过otsu方法对膨胀后的原始亮度图像进行分割，得到第一区域和第二区域；
计算第一区域和第二区域各自的平均亮度；若第二区域与第一区域的平均亮度的差值大于预设数值，则确定第二区域为阴影区域；
根据阴影区域确定初始光照方向。
进一步地，多个舌头子图像包括舌头亮度图像、舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像；所述根据所述舌头子图像确定所述舌根部、舌中部和舌尖部中是否存在阴影区域的步骤，包括：
将舌根部、舌中部和舌尖部组成舌体区域，对舌体区域的像素进行直方图统计；
根据直方图统计的结果确定初始反光亮度阈值，并根据所述初始反光亮度阈值分别在舌头亮度图像、舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像进行种子点生长得到各自对应的反光备选区域；
若舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像各自对应的反光备选区域的值均小于预设阈值，则将舌头亮度图像上的反光备选区域去除，得到新的舌头亮度图像；
对新的舌头亮度图像通过otsu方法进行分割，得到目标第一区域和目标第二区域；
根据所述目标第一区域和所述目标第二区域确定所述舌体区域是否存在阴影区域。
进一步地，舌头子图像包括舌头亮度图像；所述检测所述舌头子图像中是否存在裂纹的步骤，包括：
利用高斯滤波对舌头亮度图像进行图像平滑处理；
利用Gabor滤波对图像平滑处理后的舌头亮度图像进行增强，得到目标舌头亮度图像；
计算目标舌头亮度中的每一个像素点的黑塞矩阵，根据所述黑塞矩阵确定所述舌头亮度图像中是否存在脊线，若存在脊线，确定所述脊线为裂纹。
进一步地，舌头子图像包括原始彩色图像；所述通过预设分类器中所述超像素图像进行分类，得到分类结果的步骤，包括：
通过Leung-Malik滤波器组处理所述原始彩色图像得到对应的特征向量；
将所述特征向量输入预设分类器判断所述原始彩色图像中所包括的类别。
进一步地，所述根据法线方向确定舌像是否异常的步骤，包括：
在舌根部、舌中部和舌尖部组成舌体区域中，计算水平方向上相邻超像素之间的法线方向的平均法线；
计算相邻两个超像素的法线方向分别与平均法线的夹角；
根据所述夹角确定所述舌像是否异常。
进一步地，所述根据法线方向确定舌像是否异常的步骤，包括：
获取舌左侧或舌右侧中各个超像素的法线方向；
计算沿图像分割的边界的相邻超像素之间的法线方向的第一变化率；若所述第一变化率大于预设第一变化率阈值，则确定所述舌像存在异常；
或计算水平方向上相邻超像素之间的法线方向的第二变化率；若所述第二变化率大于预设第二变化率阈值，则确定所述舌像存在异常。
本申请还提供一种舌像异常确定装置，包括：
获取单元，用于获取待检测图像，并对所述待检测图像进行图像分割得到舌头图像；
划分单元，用于对所述舌头图像按照预设规则进行划分，对应得到舌左侧、舌右侧、舌根部、舌中部和舌尖部；
处理单元，用于通过CIELab颜色空间对所述舌头图像进行处理，得到多个舌头子图像；
第一确定单元，用于根据舌头子图像确定初始光照方向；
第二确定单元，用于根据舌头子图像确定所述舌根部、舌中部和舌尖部中是否存在阴影区域；
超像素分割单元，用于若存在，对舌头子图像进行超像素分割，得到超像素图像；
检测单元，用于检测所述舌头子图像中是否存在裂纹，若存在，提取裂纹区域，将位于裂纹的各个像素对应的超像素组成第一超像素集合；
判断单元，用于根据舌头子图像判断所述舌头图像是否存在反光点，若存在，提取反光区域，将各个反光点对应的超像素组成第二超像素集合；
分类单元，用于通过预设分类器所述超像素图像进行分类，得到分类结果；根据分类结果、裂纹区域和反光区域对舌头子图像进行分割；其中，所述预设分类器基于支持向量机训练得到；其中，分割后的舌头子图像包括多个目标区域，同一目标区域的反射率相同；
第一计算单元，用于根据分割后的舌头子图像确定第三超像素集合，计算第三超像素集合的超像素亮度，将所述超像素亮度和初始光照方向带入预设光照模型计算光源方向；
第二计算单元，用于根据分割后的舌头子图像和光源方向计算各个目标区域的超像素的法线方向；
第三确定单元，用于根据法线方向确定舌像是否异常。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的舌像异常确定方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的舌像异常确定方法的步骤。
本申请提供的舌像异常确定方法、装置、计算机设备和存储介质，将舌头图像基于色彩得到多个舌头子图像，在舌头子图像的基础上确定图像中是否存在阴影、反光、裂纹等，再借助分类模型对超像素图像进行分类，得到目标区域，实现对图像在纹理和亮度的基础上的精细分割，进一步借助光照模型去计算光源方法，光源方向的计算排除了阴影、反光、裂纹的影响，使得光源方向更加准确，从而根据光源方向求得的各个超像素的法线方向也能更加准确，根据法线方向即可实现舌头的三维重建，在三维的基础上准确的判断舌像是否异常，为后续的中医舌诊提供更准确的结果。
附图说明
图1是本申请一实施例中舌像异常确定方法步骤示意图；
图2是本申请一实施例中舌像异常确定装置结构框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例提供一种舌像异常确定方法，包括以下步骤：
步骤S1，获取待检测图像，并对所述待检测图像进行图像分割得到舌头图像；
步骤S2，对所述舌头图像按照预设规则进行划分，对应得到舌左侧、舌右侧、舌根部、舌中部和舌尖部；
步骤S3，通过CIELab颜色空间对所述舌头图像进行处理，得到多个舌头子图像；
步骤S4，根据舌头子图像确定初始光照方向；
步骤S5，根据舌头子图像确定所述舌根部、舌中部和舌尖部中是否存在阴影区域；
步骤S6，若存在，对舌头子图像进行超像素分割，得到超像素图像；
步骤S7，检测所述舌头子图像中是否存在裂纹，若存在，提取裂纹区域，将位于裂纹区域的各个像素对应的超像素组成第一超像素集合；
步骤S8，根据舌头子图像判断所述舌头图像是否存在反光点，若存在，提取反光区域，将各个反光点对应的超像素组成第二超像素集合；
步骤S9，通过预设分类器对所述超像素图像进行分类，得到分类结果；根据分类结果、裂纹区域和反光区域对舌头子图像进行分割；其中，所述预设分类器基于支持向量机训练得到；其中，分割后的舌头子图像包括多个目标区域，同一目标区域的反射率相同；
步骤S10，根据分割后的舌头子图像确定第三超像素集合，计算第三超像素集合的超像素亮度，将所述超像素亮度和初始光照方向带入预设光照模型计算光源方向；
步骤S11，根据分割后的舌头子图像和光源方向计算各个目标区域的超像素的法线方向；
步骤S12，根据法线方向确定舌像是否异常。
本实施例中，如上述步骤S1所述，通过摄像头获取待检测图像，获取时，肯定会采集到人脸的下半部分区域，甚至是非人脸区域包括未知的环境区域，所以对待检测图像进行图像分割，提取出舌头ROI(region of interest，感兴趣区域)，从被处理的图像以方框、圆、椭圆或不规则多边形等方式勾勒出舌头的区域，得到舌头图像。具体的，可利用UNet神经网络分割出舌头区域，Unet神经网络是在数百张的舌头分割标注结果上进行训练的，Unet神经网络的分割结果得到黑白二值图像mask，白色区域即是舌头区域，对应的白色区域在待检测图像中的区域即为舌头图像。
如上述步骤S2所述，根据步骤S1得到的舌头图像进行舌的部位划分，因为mask一般偏椭圆形，所以按照几何定义，舌两边狭长区域分割为舌左侧、舌右侧，对应肝胆区域；剩下区域从上到下分割成三块，分别为舌根部、舌中部、舌尖部，对应肾、脾胃、心肺。
如上述步骤S3所述，因为中医舌诊对舌色苔色的分析中需要仔细查看舌质舌苔的不同颜色及分布，通过CIELab颜色空间对舌头图像进行处理，得到7个舌头子图像，分别是原始彩色图像I，原始亮度图像IL，舌头亮度图像tIL，舌头红色分量图像tIR，舌头黄色分量图像tIY，舌头绿色分量图像tIG，舌头蓝色分量图像tIB。
CIELab是CIE的一个颜色***，表色体系，基于CIELab的意思是基于这个颜色***之上，用于确定某个颜色的数值信息。用CIELab颜色空间，就是把一个彩色RGB图像转成Lab空间的图像，对每个像素L即是亮度，取a的大于零的部分即是红色分量，a的小于零的部分即是绿色分量，b的大于零的部分即是黄色分量，b的小于零的部分即是蓝色分量，比如一个像素转成Lab后L为78，a为36，b为-53，则红色分量为36，绿色分量为0，黄色分量为0，蓝色分量为53。
如上述步骤S4所述，在拍摄待检测图像时，环境的光源会造成舌头周围出现阴影，我们首先在原始亮度图像上的舌头周围去判别有无明显的阴影，如果有，那么就属于环境的光源造成的，进而可以粗判断出初始光照方向。考虑到实际拍摄待检测图像时，一般舌头的根部会被嘴巴挡住光线，所以舌根部经常会出现阴影，因此我们先考察舌头左右两侧和舌头下方的外缘是否有明显的阴影，当舌头左侧的边缘出现阴影，则初始光照方向依次粗判断为由右向左；若舌头右侧的边缘出现阴影，则初始光照方向依次粗判断为由左向右；若舌头下方的边缘出现阴影，则初始光照方向依次粗判断为由上向下。
如上述步骤S5所述，根据所述舌头亮度图像确定所述舌根部、舌中部和舌尖部中是否存在阴影区域，造成这些阴影的可能原因有几种：a.由于某些方向的环境光照射时，被人脸中非舌头的其他部位遮挡造成；b.某些方向的环境光照射时，由于舌面本身的凹陷或突起造成；c.由于拍摄舌像时，拍摄设备如手机遮挡了环境光造成。舌面出现凹陷或凸起表示舌像为异常，而这些舌面的阴影区域到底是不是由舌面的凹陷或突起造成，也就是是否由原因b造成，需要借助后续步骤进行判断。
如上述步骤S6所述，对舌头亮度图像进行超像素分割，超像素由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。
具体的，采用能同时利用纹理和亮度的Normalized Cut(归一化切割)方法对舌头亮度图像进行超像素分割，得到超像素图像，Normalized cut是一种分群(clustergrouping)技术，在数据处理和图像处理方面有很广的运用，把一个图片看成一个图(graph),然后计算权重图(weighted graph)，然后分割成一些具有相同特征(纹理，颜色，明度等)的区域。其中的参数k取200，也即最少有200个超像素被分割出，计算各个超像素中的内部像素的平均亮度，作为其对应的超像素亮度。
如上述步骤S7所述，当某一个超像素和邻近的超像素的亮度显著不一样的时候，既可能是此超像素的法线方向与邻近的超像素的法线方向不一样，又可能是此超像素的反射率与邻近的超像素的反射率不一样，而舌裂纹就是相对于其他区域反射率非常不一样的结构，因此我们需要提取出裂纹。依据舌裂纹的视觉特征，通过脊线提取算法提取脊线(即舌裂纹)，脊线由多个点组成，当提取出脊线后，将脊线上每个像素对应的超像素组成第一超像素集合，对于第一超像素集合里的每一个超像素，其超像素亮度用周边相邻的不是第一超像素集合里的超像素的亮度平均值替代。
如上述步骤S8所述，进行反光区域的提取，将整个舌头区域的像素进行直方图统计，寻找一个阈值T，一旦找到T，则在舌头亮度图像上找到所有亮度大于T的像素，并进行种子点生长，得到备选反光点，然后同样在舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像、舌头蓝色分量图像中得到备选反光点，对这些备选反光点进行判别，如果对应的这两个子图像上的像素值都小于5，则判为真的反光点。反光点可定位到对应的超像素，得到第二超像素集合，对于第二超像素集合里的每一个超像素而言，如果其内部有一半以上的点判为反光点，该超像素的亮度值用周边相邻的非第一超像素集合里的超像素的亮度平均值替代，否则用内部非反光点的像素的亮度的平均值替代。
如上述步骤S9所述，对超像素图像进行精确的分割，即对舌面区域进行不同反射率区域的分割，因为不同的纹理物质对应的就是不同的反射率。预先训练有分类器，训练时，标注一百张左右的舌头图像，对每一张舌像划分成可能有的淡红舌白苔、淡红舌黄苔、红舌白苔、红舌黄苔、红舌黑苔、红舌无苔、淡白舌白苔、淡白舌黑苔、紫舌白苔、紫舌黑苔、点刺、瘀血这么多类区域，对每个区域的每个像素做滤波器组提取纹理和亮度特征，对应的每个像素特征就成为这些区域类别的样本，因为一个像素就是一个样本，所以不需要标注太多样本。通过分类器能够识别超像素图像中属于同一类的区域，将属于同一类的作为一个目标区域，同时裂纹区域和反光区域均作为一个目标区域。
如上述步骤S10所述，对于上面步骤S9得到的目标区域，去除步骤S5得到的阴影区域对应的超像素，找到最大同类连通的第三超像素集合，也就是第三超像素集合里的所有超像素都是同一种纹理，也就是反射率基本相同且不是阴影、裂纹和反光，而且这些相邻的超像素的法线方向的差异很小。
把第三超像素集合中的超像素亮度以及初始光照方向代入预设的光照模型，可以利用最小二乘法估计出精确的光源方向L。具体的，我们令舌头图像(i,j)坐标上的像素的亮度为I(i,j)，实际的三维舌头的表面形状为Z(x,y),也就是未知的Z轴上的值。我们令该点(i,j)处的法线方向为为该点处的反射率。假设舌头表面是Lambertian平面，没有相互间的二次反射。在舌诊图像中，一般会有比较普遍的环境光辐照度Ia，另外还会有点光源的辐照度Ip，假设光源方向为/>我们可以用以下模型去近似模拟该像素的亮度值：
其中/>
可以看出，对于每一张特定的舌头图像，Ip和Ia是固定不变的，变化因素主要是法线方向/>和反射率ρd。
如上述步骤S11-S12所述，根据步骤S9得到的不同目标区域的划分及其对应的超像素亮度，以及步骤S10得到的光源方向，带入预设光照模型即计算各个目标区域的所有超像素的法线方向，根据法线方向确定舌像是否有凹陷、凸起、齿痕或肝郁台，若有，则确定舌像异常。
本实施例中，通过光照模型计算出各个超像素的法线方向，实现舌头的三维重建，在三维的基础上判断舌像是否异常，可以判断出舌面是否有凹陷或突起以及齿痕、肝郁台，为后续中医舌诊提供了很多有用信息。同时，本申请不需要标注舌头三维的形状，只用到了较少量的纹理基元的分割标注，而且，本申请只用到了单张舌头图像，可以应用在非常广阔的应用场景。
在一实施例中，舌头子图像包括原始亮度图像；所述根据舌头子图像确定初始光照方向的步骤S2，包括：
步骤S201，在所述原始亮度图像上沿图像分割的边界向外膨胀预设个数的像素；
步骤S202，通过otsu方法对膨胀后的原始亮度图像进行分割，得到第一区域和第二区域；
步骤S203，计算第一区域和第二区域各自的平均亮度；
步骤S204，若第二区域与第一区域的平均亮度的差值大于预设数值，则确定第二区域为阴影区域；
步骤S205，根据阴影区域确定初始光照方向。
本实施例中，考虑到实际拍摄舌像时，一般舌的根部会被嘴巴挡住光线，所以舌根部经常会出现阴影，因此我们先考察舌头两侧和舌下方的外缘是否有明显的阴影，在所述原始亮度图像上沿图像分割的边界的向外膨胀，即左侧、右侧、下方向外膨胀30～50个像素，利用otsu方法分割，分割出第一区域和第二区域，计算两个区域的平均亮度，具体的，首先统计膨胀后的原始亮度图像的分布直方图，得到各灰度值对应的像素统计值，在90～100之间寻找一个阈值，将图像分为“第一种”二值图像，随后基于该直方图分别计算前景和背景的比重、灰度均值、方差等三种数值，并通过计算比重和方差之和得到该阈值下的图像类间方差计算值，随后对图像基于其它阈值的类间方差计算(如果图像的灰度分布遍布256个灰度值，那么需要计算256次，依次类推)，最终以类间方差最大的情况下的T为阈值对图像进行分割进而得到图像的otsu分割结果。将像素统计值大于此阈值的图像作为第一区域，像素统计值小于此阈值的图像作为第二区域。若第一区域的平均亮度比第二区域的平均亮度小10以上，则认为该第二区域为阴影区域，对应的光照方向依次粗判断为由右向左、由左向右、由上向下。
在一实施例中，多个舌头子图像包括舌头亮度图像、舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像；所述根据所述舌头子图像确定所述舌根部、舌中部和舌尖部中是否存在阴影区域的步骤S5，包括：
步骤S501，将舌根部、舌中部和舌尖部组成舌体区域，对舌体区域的像素进行直方图统计；
步骤S502，根据直方图统计的结果确定初始反光亮度阈值，并根据所述初始反光亮度阈值分别在舌头亮度图像、舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像进行种子点生长得到各自对应的反光备选区域；
步骤S503，若舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像各自对应的反光备选区域的值均小于预设阈值，则将舌头亮度图像上的反光备选区域去除，得到新的舌头亮度图像；
步骤S504，对新的舌头亮度图像通过otsu方法进行分割，得到目标第一区域和目标第二区域；
步骤S505，根据所述目标第一区域和所述目标第二区域确定所述舌体区域是否存在阴影区域。
本实施例中，只考虑步骤S2中的舌根部、舌中部、舌尖部区域，将三个区域组成舌体区域，舌体区域的像素进行直方图统计，在90～100之间寻找一个阈值作为初始反光亮度阈值，判别方法是使大于T的像素的类内方差最小。根据初始反光亮度阈值进行种子点生长得到反光备选区域，在舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像四个子图像上再次判别每个备选反光区域，如果这些区域对应的四个值都小于5，即对应的红色分量、绿色分量、黄色分量、蓝色分量小于5，则判定该放光备选区域为真实的反光区域，去除这些反光区域，得到新的舌头亮度图像。对新的舌头亮度图像进行otsu方法分割，得到目标第一区域和目标第二区域，目标第一区域和目标第二区域的判定跟前一实施例中的第一区域和第二区域相同，若分割出的目标第二区域的面积过小，则认为舌头区域无明显阴影，即目标第二区域中的像素数量小于预设面积阈值(如100)，则认为舌头区域无阴影区域，反之则存在。
在另一实施例中，若分割出的目标第二区域的平均亮度和目标第一区域的平均亮度相差较小则认为无明显阴影，反之，则存在。
在一实施例中，舌头子图像包括舌头亮度图像；所述检测所述舌头子图像中是否存在裂纹的步骤S7，包括：
步骤S701，利用高斯滤波对舌头亮度图像进行图像平滑处理；
步骤S702，利用Gabor滤波对图像平滑处理后的舌头亮度图像进行增强，得到目标舌头亮度图像；
步骤S703，计算目标舌头亮度中的每一个像素点的黑塞矩阵，根据所述黑塞矩阵确定所述舌头亮度图像中是否存在脊线，若存在脊线，确定所述脊线为裂纹。
本实施例中，如上述步骤S701所述，利用高斯滤波对舌头亮度图像进行图像平滑处理，图像平滑是一种区域增强的算法，平滑算法有邻域平均法、中指滤波、边界保持类滤波等。在图像产生、传输和复制过程中，常常会因为多方面原因而被噪声干扰或出现数据丢失，降低了图像的质量(某一像素，如果它与周围像素点相比有明显的不同，则该点被噪声所感染)。这就需要对图像进行一定的增强处理以减小这些缺陷带来的影响。本实施例采用高斯滤波的方式进行图像平滑处理，高斯滤波是邻域平均的思想对图像进行平滑的一种方法，对图像进行平均时，不同位置的像素被赋予了不同的权重。
如上述步骤S702所述，再采用Gabor滤波对舌头亮度图像进行处理，利用0度、30度、60度、90度、120度、150度六个方向的9*9的Gabor滤波对平滑后的图像进行增强，因为裂纹都是相对较暗的区域，所以对图像中的每个像素取这6个滤波值后的最小值作为增强后的图像像素值。
Gabor滤波方法的主要思想是：不同纹理一般具有不同的中心频率及带宽，根据这些频率和带宽可以设计一组Gabor滤波器对纹理图像进行滤波，每个Gabor滤波器只允许与其频率相对应的纹理顺利通过，而使其他纹理的能量受到抑制，从各滤波器的输出结果中分析和提取纹理特征，用于之后的分类或分割任务。Gabor滤波器提取纹理特征主要包括两个过程：①设计滤波器(例如函数、数目、方向和间隔)；②从滤波器的输出结果中提取有效纹理特征集。Gabor滤波器是带通滤波器，它的单位冲激响应函数(Gabor函数)是高斯函数与复指数函的乘积。它是达到时频测不准关系下界的函数，具有最好地兼顾信号在时频域的分辨能力。
如上述步骤S703所述，对于处理后的图像中的每一个像素点，根据周边像素值计算出其黑塞(Hessian)矩阵：由矩阵H可得两组特征值与特征向量：λ1,λ2,ξ1,ξ2；λ1<-10，在每个点构建特征/>其中/>是一阶导数。任一点(i,j)与它的八邻域点(i+k,j+l)都服从Q(i,j)*Q(i+k,j+l)*(ξ1(i,j)·ξ1(i+k,j+l))<0；对任一点(i,j)与它的八邻域点(i+k,j+l)，满足/>
当同时满足以上条件时，点(i,j)即为脊线上的一点，从而得到所有位于脊线上的点。
在一实施例中，舌头子图像包括原始彩色图像；所述通过预设分类器对所述超像素图像进行分类，得到分类结果的步骤S9，包括：
通过Leung-Malik滤波器组处理所述原始彩色图像得到对应的特征向量；
将所述特征向量输入预设分类器判断所述原始彩色图像中所包括的类别。
本实施例中，采用Leung-Malik滤波器组，得到的滤波器响应值形成一个特征向量，利用分类器进行多分类。对于步骤S6中得到的超像素图像，除去第一超像素集合和第二超像素集合的超像素，计算每个超像素的中心像素的Leung-Malik滤波器组特征，利用已经训练好的分类器判别属于上述哪种舌像区域类别。
在一实施例中，所述根据法线方向确定舌像是否异常的步骤S12，包括：
步骤S12a，在舌根部、舌中部和舌尖部组成舌体区域中，计算水平方向上相邻超像素之间的法线方向的平均法线；
步骤S12b，计算相邻两个超像素的法线方向分别与平均法线的夹角；
步骤S12c，根据所述夹角确定所述舌像是否异常。
本实施例中，每个超像素都计算有其对应的法线方向，舌根部、舌中部、舌尖部组成舌体区域，通过舌体区域的所有超像素的法线方向变化情况，确定舌体区域是否存在凹陷或者凸起，法线方向即一个法向量，水平相邻的两个超像素的法线方向求平均值得到平均法线，平均法线可代表一个平面，分别计算两个超像素与平均法线之间的夹角，在水平方向上，位于左侧的超像素命名为A,位于左侧的超像素命名为B，当A与平均法线的夹角大于90度，B与平均法线的夹角的小于90度，则判为有突起，当A与平均法线的夹角小于90度，B与平均法线的夹角的大于90度，则判为有凹陷，当存在凹陷或凸起时，舌像异常。
在一实施例中，所述根据法线方向确定舌像是否异常的步骤S12，包括：
步骤S1201，获取舌左侧或舌右侧中各个超像素的法线方向；
步骤S1202，计算沿图像分割的边界的相邻超像素之间的法线方向的第一变化率；若所述第一变化率大于预设第一变化率阈值，则确定所述舌像存在异常；
步骤S1203，或计算水平方向上相邻超像素之间的法线方向的第二变化率；若所述第二变化率大于预设第二变化率阈值，则确定所述舌像存在异常。
本实施例中，根据舌头两侧的物理特征分布特点，我们可以认为舌两侧区域内部的超像素除去步骤S8得到的反光区域超像素后的反射率相同，且每个非反光区域的超像素的亮度平均值已知，根据估算出光源方向得到舌头两侧的超像素的法线方向。
按照步骤S1的图像分割边缘方向考察相邻超像素的法线方向的第一变化率，如果出现第一变化率过大，即第一变化率大于预设第一变化率阈值时，则认为有齿痕，确定舌像存在异常。
在水平方向考察相邻超像素的法线方向的第二变化率，如果出现第二变化率过大即第二变化率大于预设第二变化率阈值，则认为有肝郁台，确定舌像存在异常。
参见图2，本申请一实施例提供一种舌像异常确定装置，包括：
获取单元10，用于获取待检测图像，并对所述待检测图像进行图像分割得到舌头图像；
划分单元20，用于对所述舌头图像按照预设规则进行划分，对应得到舌左侧、舌右侧、舌根部、舌中部和舌尖部；
处理单元30，用于通过CIELab颜色空间对所述舌头图像进行处理，得到多个舌头子图像；
第一确定单元40，用于根据舌头子图像确定初始光照方向；
第二确定单元50，用于根据舌头子图像确定所述舌根部、舌中部和舌尖部中是否存在阴影区域；
超像素分割单元60，用于若存在，对舌头子图像进行超像素分割，得到超像素图像；
检测单元70，用于检测所述舌头子图像中是否存在裂纹，若存在，提取裂纹区域，将位于裂纹的各个像素对应的超像素组成第一超像素集合；
判断单元80，用于根据舌头子图像判断所述舌头图像是否存在反光点，若存在，提取反光区域，将各个反光点对应的超像素组成第二超像素集合；
分类单元90，用于通过预设分类器所述超像素图像进行分类，得到分类结果；根据分类结果、裂纹区域和反光区域对舌头子图像进行分割；其中，所述预设分类器基于支持向量机训练得到；其中，分割后的舌头子图像包括多个目标区域，同一目标区域的反射率相同；
第一计算单元100，用于根据分割后的舌头子图像确定第三超像素集合，计算第三超像素集合的超像素亮度，将所述超像素亮度和初始光照方向带入预设光照模型计算光源方向；
第二计算单元110，用于根据分割后的舌头子图像和光源方向计算各个目标区域的超像素的法线方向；
第三确定单元120，用于根据法线方向确定舌像是否异常。
在一实施例中，所述第一确定单元40，包括：
膨胀子单元，用于在所述原始亮度图像上沿图像分割的边界向外膨胀预设个数的像素；
第一分割子单元，用于通过otsu方法对膨胀后的原始亮度图像进行分割，得到第一区域和第二区域；
第一计算子单元，用于计算第一区域和第二区域各自的平均亮度；若第二区域与第一区域的平均亮度的差值大于预设数值，则确定第二区域为阴影区域；
第一确定子单元，用于根据阴影区域确定初始光照方向。
在一实施例中，所述第二确定单元50，包括：
统计子单元，用于将舌根部、舌中部和舌尖部组成舌体区域，对舌体区域的像素进行直方图统计；
第二确定子单元，用于根据直方图统计的结果确定初始反光亮度阈值，并根据所述初始反光亮度阈值分别在舌头亮度图像、舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像进行种子点生长得到各自对应的反光备选区域；
去除子单元，用于若舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像各自对应的反光备选区域的值均小于预设阈值，则将舌头亮度图像上的反光备选区域去除，得到新的舌头亮度图像；
第二分割子单元，用于对新的舌头亮度图像通过otsu方法进行分割，得到目标第一区域和目标第二区域；
第三确定子单元，用于根据所述目标第一区域和所述目标第二区域确定所述舌体区域是否存在阴影区域。
在一实施例中，所述检测单元70，包括：
平滑处理子单元，用于利用高斯滤波对舌头亮度图像进行图像平滑处理；
增强子单元，用于利用Gabor滤波对图像平滑处理后的舌头亮度图像进行增强，得到目标舌头亮度图像；
第二计算子单元，用于计算目标舌头亮度中的每一个像素点的黑塞矩阵，根据所述黑塞矩阵确定所述舌头亮度图像中是否存在脊线，若存在脊线，确定所述脊线为裂纹。
在一实施例中，所述分类单元90，包括的步骤，包括：
处理子单元，用于通过Leung-Malik滤波器组处理所述原始彩色图像得到对应的特征向量；
输入子单元，用于将所述特征向量输入预设分类器判断所述原始彩色图像中所包括的类别。
在一实施例中，所述第三确定单元120，包括：
第三计算子单元，用于在舌根部、舌中部和舌尖部组成舌体区域中，计算水平方向上相邻超像素之间的法线方向的平均法线；
第四计算子单元，用于计算相邻两个超像素的法线方向分别与平均法线的夹角；
第四确定子单元，用于根据所述夹角确定所述舌像是否异常。
在一实施例中，所述第三确定单元120，包括：
获取子单元，用于获取舌左侧或舌右侧中各个超像素的法线方向；
第五计算子单元，用于计算沿图像分割的边界的相邻超像素之间的法线方向的第一变化率；若所述第一变化率大于预设第一变化率阈值，则确定所述舌像存在异常；
第六计算子单元，用于或计算水平方向上相邻超像素之间的法线方向的第二变化率；若所述第二变化率大于预设第二变化率阈值，则确定所述舌像存在异常。
在本实施例中，上述各个单元、子单元的具体实现请参照上述方法实施例中所述，在此不再进行赘述。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括存储介质、内存储器。该存储介质存储有操作***、计算机程序和数据库。该内存储器为存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种舌像异常确定方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种舌像异常确定方法。
综上所述，为本申请实施例中提供的舌像异常确定方法、装置、计算机设备和存储介质，获取待检测图像，并对所述待检测图像进行图像分割得到舌头图像；对所述舌头图像按照预设规则进行划分，对应得到舌左侧、舌右侧、舌根部、舌中部和舌尖部；通过CIELab颜色空间对所述舌头图像进行处理，得到多个舌头子图像；根据舌头子图像确定初始光照方向；根据舌头子图像确定所述舌根部、舌中部和舌尖部中是否存在阴影区域；若存在，对舌头子图像进行超像素分割，得到超像素图像；检测所述舌头子图像中是否存在裂纹，若存在，提取裂纹区域，将位于裂纹区域的各个像素对应的超像素组成第一超像素集合；根据舌头子图像判断所述舌头图像是否存在反光点，若存在，提取反光区域，将各个反光点对应的超像素组成第二超像素集合；通过预设分类器对所述超像素图像进行分类，得到分类结果；根据分类结果、裂纹区域和反光区域对舌头子图像进行分割；其中，所述预设分类器基于支持向量机训练得到；其中，分割后的舌头子图像包括多个目标区域，同一目标区域的反射率相同；根据分割后的舌头子图像确定第三超像素集合，计算第三超像素集合的超像素亮度，将所述超像素亮度和初始光照方向带入预设光照模型计算光源方向；根据分割后的舌头子图像和光源方向计算各个目标区域的超像素的法线方向；根据法线方向确定舌像是否异常。本申请通过确定图像中是否存在阴影、反光、脊线等，再借助分类模型对超像素图像进行分类，得到目标区域，进一步借助光照模型求得各个超像素的法线方向，实现舌头的三维重建，在三维的基础上去判断舌像是否异常。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种舌像异常确定方法，其特征在于，包括以下步骤：
获取待检测图像，并对所述待检测图像进行图像分割得到舌头图像；
对所述舌头图像按照预设规则进行划分，对应得到舌左侧、舌右侧、舌根部、舌中部和舌尖部；
通过CIELab颜色空间对所述舌头图像进行处理，得到多个舌头子图像；
根据舌头子图像确定初始光照方向；
根据舌头子图像确定所述舌根部、舌中部和舌尖部中是否存在阴影区域；
若存在，对舌头子图像进行超像素分割，得到超像素图像；
检测所述舌头子图像中是否存在裂纹，若存在，提取裂纹区域，将位于裂纹区域的各个像素对应的超像素组成第一超像素集合；
根据舌头子图像判断所述舌头图像是否存在反光点，若存在，提取反光区域，将各个反光点对应的超像素组成第二超像素集合；
通过预设分类器对所述超像素图像进行分类，得到分类结果；根据分类结果、裂纹区域和反光区域对舌头子图像进行分割；其中，所述预设分类器基于支持向量机训练得到；其中，分割后的舌头子图像包括多个目标区域，同一目标区域的反射率相同；
根据分割后的舌头子图像确定第三超像素集合，计算第三超像素集合的超像素亮度，将所述超像素亮度和初始光照方向带入预设光照模型计算光源方向；
根据分割后的舌头子图像和光源方向计算各个目标区域的超像素的法线方向；
根据法线方向确定舌像是否异常；
多个舌头子图像包括舌头亮度图像、舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像；所述根据所述舌头子图像确定所述舌根部、舌中部和舌尖部中是否存在阴影区域的步骤，包括：
将舌根部、舌中部和舌尖部组成舌体区域，对舌体区域的像素进行直方图统计；
根据直方图统计的结果确定初始反光亮度阈值，并根据所述初始反光亮度阈值分别在舌头亮度图像、舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像进行种子点生长得到各自对应的反光备选区域；
若舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像各自对应的反光备选区域的值均小于预设阈值，则将舌头亮度图像上的反光备选区域去除，得到新的舌头亮度图像；
对新的舌头亮度图像通过otsu方法进行分割，得到目标第一区域和目标第二区域；
根据所述目标第一区域和所述目标第二区域确定所述舌体区域是否存在阴影区域；所述根据法线方向确定舌像是否异常的步骤，包括：
在舌根部、舌中部和舌尖部组成舌体区域中，计算水平方向上相邻超像素之间的法线方向的平均法线；
计算相邻两个超像素的法线方向分别与平均法线的夹角；
根据所述夹角确定所述舌像是否异常。
2.根据权利要求1所述的舌像异常确定方法，其特征在于，舌头子图像包括原始亮度图像；所述根据舌头子图像确定初始光照方向的步骤，包括：
在所述原始亮度图像上沿图像分割的边界向外膨胀预设个数的像素；
通过otsu方法对膨胀后的原始亮度图像进行分割，得到第一区域和第二区域；
计算第一区域和第二区域各自的平均亮度；若第二区域与第一区域的平均亮度的差值大于预设数值，则确定第二区域为阴影区域；
根据阴影区域确定初始光照方向。
3.根据权利要求1所述的舌像异常确定方法，其特征在于，舌头子图像包括舌头亮度图像；所述检测所述舌头子图像中是否存在裂纹的步骤，包括：
利用高斯滤波对舌头亮度图像进行图像平滑处理；
利用Gabor滤波对图像平滑处理后的舌头亮度图像进行增强，得到目标舌头亮度图像；
计算目标舌头亮度中的每一个像素点的黑塞矩阵，根据所述黑塞矩阵确定所述舌头亮度图像中是否存在脊线，若存在脊线，确定所述脊线为裂纹。
4.根据权利要求1所述的舌像异常确定方法，其特征在于，舌头子图像包括原始彩色图像；所述通过预设分类器对所述超像素图像进行分类，得到分类结果的步骤，包括：
通过Leung-Malik滤波器组处理所述原始彩色图像得到对应的特征向量；
将所述特征向量输入预设分类器判断所述原始彩色图像中所包括的类别。
5.根据权利要求1所述的舌像异常确定方法，其特征在于，所述根据法线方向确定舌像是否异常的步骤，包括：
获取舌左侧或舌右侧中各个超像素的法线方向；
计算沿图像分割的边界的相邻超像素之间的法线方向的第一变化率；若所述第一变化率大于预设第一变化率阈值，则确定所述舌像存在异常；
或计算水平方向上相邻超像素之间的法线方向的第二变化率；若所述第二变化率大于预设第二变化率阈值，则确定所述舌像存在异常。
6.一种舌像异常确定装置，其特征在于，包括：
获取单元，用于获取待检测图像，并对所述待检测图像进行图像分割得到舌头图像；
划分单元，用于对所述舌头图像按照预设规则进行划分，对应得到舌左侧、舌右侧、舌根部、舌中部和舌尖部；
处理单元，用于通过CIELab颜色空间对所述舌头图像进行处理，得到多个舌头子图像；
第一确定单元，用于根据舌头子图像确定初始光照方向；
第二确定单元，用于根据舌头子图像确定所述舌根部、舌中部和舌尖部中是否存在阴影区域；
超像素分割单元，用于若存在，对舌头子图像进行超像素分割，得到超像素图像；
检测单元，用于检测所述舌头子图像中是否存在裂纹，若存在，提取裂纹区域，将位于裂纹的各个像素对应的超像素组成第一超像素集合；
判断单元，用于根据舌头子图像判断所述舌头图像是否存在反光点，若存在，提取反光区域，将各个反光点对应的超像素组成第二超像素集合；
分类单元，用于通过预设分类器所述超像素图像进行分类，得到分类结果；根据分类结果、裂纹区域和反光区域对舌头子图像进行分割；其中，所述预设分类器基于支持向量机训练得到；其中，分割后的舌头子图像包括多个目标区域，同一目标区域的反射率相同；
第一计算单元，用于根据分割后的舌头子图像确定第三超像素集合，计算第三超像素集合的超像素亮度，将所述超像素亮度和初始光照方向带入预设光照模型计算光源方向；
第二计算单元，用于根据分割后的舌头子图像和光源方向计算各个目标区域的超像素的法线方向；
第三确定单元，用于根据法线方向确定舌像是否异常；
所述第二确定单元，包括：
统计子单元，用于将舌根部、舌中部和舌尖部组成舌体区域，对舌体区域的像素进行直方图统计；
第二确定子单元，用于根据直方图统计的结果确定初始反光亮度阈值，并根据所述初始反光亮度阈值分别在舌头亮度图像、舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像进行种子点生长得到各自对应的反光备选区域；
去除子单元，用于若舌头红色分量图像、舌头黄色分量图像、舌头绿色分量图像和舌头蓝色分量图像各自对应的反光备选区域的值均小于预设阈值，则将舌头亮度图像上的反光备选区域去除，得到新的舌头亮度图像；
第二分割子单元，用于对新的舌头亮度图像通过otsu方法进行分割，得到目标第一区域和目标第二区域；
所述第三确定单元，包括：
第三计算子单元，用于在舌根部、舌中部和舌尖部组成舌体区域中，计算水平方向上相邻超像素之间的法线方向的平均法线；
第四计算子单元，用于计算相邻两个超像素的法线方向分别与平均法线的夹角；
第四确定子单元，用于根据所述夹角确定所述舌像是否异常。
7.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的舌像异常确定方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的舌像异常确定方法的步骤。
CN202111016133.4A 2021-08-31 2021-08-31 舌像异常确定方法、装置、计算机设备和存储介质 Active CN113706515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111016133.4A CN113706515B (zh) 2021-08-31 2021-08-31 舌像异常确定方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111016133.4A CN113706515B (zh) 2021-08-31 2021-08-31 舌像异常确定方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113706515A CN113706515A (zh) 2021-11-26
CN113706515B true CN113706515B (zh) 2023-07-18

Family

ID=78658317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111016133.4A Active CN113706515B (zh) 2021-08-31 2021-08-31 舌像异常确定方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113706515B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820603B (zh) * 2022-06-27 2022-09-16 深圳中易健康科技有限公司 基于ai舌诊图像处理的智能健康管理方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1908984A (zh) * 2006-08-18 2007-02-07 清华大学 舌头彩色数码照片的舌苔的分割提取方法
CN102389293A (zh) * 2011-07-07 2012-03-28 中国中医科学院中医基础理论研究所 舌诊光谱图像处理***
CN110298829A (zh) * 2019-06-19 2019-10-01 上海国民集团健康科技有限公司 一种舌诊方法、装置、***、计算机设备和存储介质
CN110807775A (zh) * 2018-08-06 2020-02-18 深圳市前海安测信息技术有限公司 基于人工智能的中医舌像分割装置、方法及存储介质
CN111329452A (zh) * 2020-03-27 2020-06-26 上海祉云医疗科技有限公司 一种面舌诊仪
CN111860538A (zh) * 2020-07-20 2020-10-30 河海大学常州校区 一种基于图像处理的舌体颜色鉴别方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1908984A (zh) * 2006-08-18 2007-02-07 清华大学 舌头彩色数码照片的舌苔的分割提取方法
CN102389293A (zh) * 2011-07-07 2012-03-28 中国中医科学院中医基础理论研究所 舌诊光谱图像处理***
CN110807775A (zh) * 2018-08-06 2020-02-18 深圳市前海安测信息技术有限公司 基于人工智能的中医舌像分割装置、方法及存储介质
CN110298829A (zh) * 2019-06-19 2019-10-01 上海国民集团健康科技有限公司 一种舌诊方法、装置、***、计算机设备和存储介质
CN111329452A (zh) * 2020-03-27 2020-06-26 上海祉云医疗科技有限公司 一种面舌诊仪
CN111860538A (zh) * 2020-07-20 2020-10-30 河海大学常州校区 一种基于图像处理的舌体颜色鉴别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
光谱法舌诊度量化中光源影响的研究;林凌;解鑫;李刚;;生命科学仪器(第05期);第1-5页 *

Also Published As

Publication number Publication date
CN113706515A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
Vidya et al. Skin cancer detection using machine learning techniques
WO2021129323A1 (zh) 超声图像病灶描述方法、装置、计算机设备和存储介质
US10839510B2 (en) Methods and systems for human tissue analysis using shearlet transforms
Yang-Mao et al. Edge enhancement nucleus and cytoplast contour detector of cervical smear images
WO2019104767A1 (zh) 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN110119710A (zh) 细胞分类方法、装置、计算机设备和存储介质
Sanchez-Torres et al. Automatic measurement of fish weight and size by processing underwater hatchery images
Fiorese et al. VirtualShave: automated hair removal from digital dermatoscopic images
Ghazal et al. Automated framework for accurate segmentation of leaf images for plant health assessment
CN110675464A (zh) 一种医疗影像的处理方法、装置、服务器及存储介质
CN107038704B (zh) 视网膜图像渗出区域分割方法、装置和计算设备
WO2022198898A1 (zh) 图像分类方法和装置及设备
CN113436734B (zh) 基于人脸结构定位的牙齿健康评估方法、设备和存储介质
CN108601509B (zh) 图像处理装置、图像处理方法以及记录有程序的介质
TW201942868A (zh) 用於辨識組織病徵影像的系統及方法
Kiruthika et al. Matching of different rice grains using digital image processing
CN113706515B (zh) 舌像异常确定方法、装置、计算机设备和存储介质
CN110648336B (zh) 一种舌质和舌苔的分割方法及装置
CN115205194B (zh) 基于图像处理的粘虫板覆盖率检测方法、***及装置
Priyadharsini et al. Optic disc and cup segmentation in fundus retinal images using feature detection and morphological techniques
CN111222371A (zh) 舌下静脉特征提取装置及方法
Sibi Chakkaravarthy et al. Automatic leaf vein feature extraction for first degree veins
Kim et al. Tongue diagnosis method for extraction of effective region and classification of tongue coating
CN114359279B (zh) 图像处理方法、装置、计算机设备及存储介质
CN115705748A (zh) 一种面部特征的识别***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant