CN110689586B - 中医智能舌诊中的舌像识别方法和用于该方法的便携式校正色卡 - Google Patents

Abstract

本发明提供一种在中医智能舌诊中使用的、可识别便携式舌像颜色校正色卡及其识别方法，用于解决传统舌像校正色卡不便随身携带、不易被计算机识别等缺陷。考虑便捷性，色卡尺寸较小，易于携带。但过小的尺寸不利于计算机的自动识别。本发明通过在色卡的特定位置中加入特殊的几何图案，并将其按照特定的尺寸和几何位置加入色卡区域，配套特定经过改进的计算机识别算法，实现了计算机对色卡的自动识别、定位、取色，并获得了高识别率。本发明消除了颜色校正中对色卡进行人工标定的繁琐工序，提高了颜色校正处理的效率。本发明还为低像素下中医智能舌诊标识符识别率低、色卡透视形变等因素引起的误差提供了解决方案，得到了好的效果。

Description

中医智能舌诊中的舌像识别方法和用于该方法的便携式校正 色卡

技术领域

本发明提供一种可识别便携式舌像颜色校正色卡及其识别方法。

背景技术

传统的中医舌像诊断方式需要医生直接对患者舌部的情况进行观察并得出结论，这种方式需要患者和医生面对面进行，缺乏便捷性和推广性。近年来，随着网络通信尤其是智能手机的普及，利用手机进行舌像智能采集和诊断逐渐成为一种新型的趋势，可以很好地弥补传统方式推广性、便捷性较差的缺陷。但利用手机进行舌像采集和诊断，容易受到外界因素的干扰，对舌像拍摄的光线、角度、清晰度等要求较高，尤其是彩色摄影中的色彩还原问题，这些技术难点成为手机舌像采集发展亟待解决的问题。

利用颜色色卡进行颜色校正是目前较为常用的方法之一，该方法根据色卡的颜色变化情况进行分析和拟合，从而间接推断出舌色的颜色变化，并最终实现舌色的标准化处理。但是现有的舌色校正研究中使用的色卡通常体积较大，最小的也有一本图书的大小，不利于随身携带，在中医舌像智能采集中还缺乏有效的解决方案。另外，现有的颜色校正中使用的色卡缺乏自动定位的功能，在实际应用中往往需要利用人工对色卡进行识别和定位。这样的方式需要较高的人工成本，并需要一定的操作和处理时间，会对舌像采集标准化处理的效率和准确性造成较大的影响。

另外，对于中医舌像智能采集中的舌像颜色识别，现有技术中缺乏实际有效的方案。

发明内容

本发明提供一种可识别便携式舌像颜色校正色卡及其识别方法。

附图说明

图1是根据本发明的一个实施例的舌像颜色校正色卡识别方法的流程图。

图2是根据本发明的一个实施例的舌像颜色校正色卡。

图3用于说明根据本发明的一个实施例的色卡位置识别符的识别。

图4用于表示矩形经过透视形变后的形状变化。

图5显示了识别成功和失败的采样点变化图。

具体实施方式

针对现有技术的上述问题，本发明人提出一种具有自动定位功能的便携式颜色校正色卡及其识别方法。本发明的目的包括2个，一是利用特殊的色卡设计和自动识别方法，利用机器完成以往通常由人工完成的色卡识别的定位工作，从而提高颜色校正流程的工作效率和规范性，为大规模的舌图像色彩校正或其他场景下的颜色校正提供便利。为该目的，本发明提供了一种基于位置识别符的色卡定位方法，通过在色卡顶点设置特殊形状的图案，利用图像识别算法对符号进行识别定位，进而通过几何关系推断出所有色块所在的位置并计算出对应的颜色值。二是对传统的色卡的形状、大小、布局等进行改进，从而使色卡能够在实际使用中达到便于携带、便于使用的效果。

如图1，上述色卡识别及颜色校正流程包括：

步骤一：设置色卡特殊位置识别符。在色卡的四个顶点分别设计不同的特殊识别符。其中三个顶点采用一种符号，而最后一个顶点采用另一种符号，两种符号具有不同的几何特征。根据本发明的一个具体实施例，在设置了位置识别符后，在四个符号构成的矩形区域内填充色块。

步骤二：利用色卡进行图像获取。将色卡和物体摆放在同一场景中同一光线条件的区域中进行拍摄，得到同时包含目标物体和色卡的图像。

步骤三：对图像进行搜索，利用所述符号的几何特征，搜索出4个符号的位置。由于拍摄角度等问题，矩形的色卡可能会因为透视效果被扭曲为任意四边形，所以需要利用四个顶点的几何关系对坐标进行校正，将区域还原为矩形。

步骤四：利用色块和色卡预先设计的集合关系，对色块区域进行计算定位，找到色块中心点。利用中心点对图像进行搜索，找到色块的边界，从而确定整个色块的位置。最终计算出整个色块的颜色。根据一个具体实施例，利用区域生长法找到色块的边界。

步骤五：根据取色结果，利用标准环境下的色块色彩信息进行线性拟合校正，根据拟合优度来进行识别结果的自动判断，在拟合优度达到和/或超过一定的预设阈值时，则判定识别成功。

最后，在完成上述所有步骤后，可以利用颜色校正算法对图像进行颜色校正并最终得到颜色标准化的舌像。

下面结合附图对本发明的实施例作进一步说明。

色卡设计：

图2为根据本发明的一个实施例的支持自动定位的便携式舌像颜色校正色卡。该色卡包括两个区域：手持区域和色卡区域。

手持区域设置在色卡的一侧，保证在单手持握时有充足的空间，保证了使用的便捷性，也为了充分避免手遮挡色卡和/或在色卡区域产生阴影，影响颜色校正的效果。

根据本发明的一个具体实施例，色卡区域是一个矩形，包含3个部分，分别是位置标识符区、附加信息识别区、色卡色块区。

根据一个具体实施例，位置标识符区分布在色卡区域的四个顶点，它们具有特殊的几何特征。根据一个具体实施例，依据几何特征的不同，识别符包括第一识别符和第二识别符。

根据本发明的一个具体实施例。其中1类识别符包括边长比为7:5:3的三个矩形，且第一类识别符共有3个，且分别位于色卡区域的四个顶点中的三个(诸如左上、右上、左下顶点)。第二识别符包括边长比为5:3:1的三个矩形，并设置在色卡区域的四个顶点中的第四个顶点处(诸如，设置在色卡区域的右下角)。

附加信息识别区包含一些简单的标记点，例如可以按照二进制的规则进行解析的标记点，例如包括用于记录色卡的版本号的四个色块，作为对色卡进行进一步后续分析时的参数设置。色卡色块区包括若干个方形，这些方形具有相同的大小，在位置识别符组成的矩形内均匀排列。每一个色块都有黑色边框，可以帮助识别程序较好地识别出色块的边界。色块的内部区域由不同的颜色进行填充，具体颜色可以进行适当选择和/或更换，以满足不同的实际用途。

标识符识别：

在使用上述色卡进行图像获取后，需要对图像进行灰度和二值处理。根据本发明的一个实施例，采用动态全局阈值法对图像进行二值处理，其中，预设若干组候选阈值，将阈值一一代入进行二值化。将二值化的图像按照图3的方式分别在x轴和y轴进行扫描，并根据标识符的几何特征进行识别。

根据本发明的一个实施例的色卡识别符定位算法包括：

(1)在候选阈值库中确定一个阈值th作为初始二值化阈值，对灰度图像进行二值化，得到二值图像G。

(2)在每一行中统计连续黑点或者白点的长度。如果满足黑：白：黑：白：黑＝1:1:3:1:1，则计算目标区域中点坐标，并加入候选点库。

(3)得到候选点库后，对其方圆r像素内进行搜索，判断是否存在其他候选点并统计数目，如果周围候选点的数目大于预设目标n，则认为该点是目标点，并加入目标点库。

(4)X，Y轴方向对调重新进行步骤(2)、(3)，最终得到所有点的X，Y坐标

(5)在上述候选预置库中选取下一个候选阈值th并重复步骤(2)-(4)

(6)对所有结果汇总并进行DBSCAN聚类分析，选择聚类点数目排名前三的区域作为最终区域，获取其中心点的坐标作为标识符的坐标。

色块中心点定位：

由于透视的原因，色卡的矩形可能被扭曲成任意四边形，如图4，其中A、B、D点为1类标识符，C点为2类标识符。如果直接进行几何计算，得到的结果误差较大。在根据本发明的一个实施例中，采取的方法是将任意四边形还原为矩形，再做进一步处理。将图像在灰度空间下利用几何关系对坐标进行变换，确定像素点的目标坐标，灰度值则保留原有的灰度值。由于计算出的坐标不一定是整数，目标图像中具体的整数坐标点对应的灰度值需要进行插值运算，在根据本发明的一个实施例中，采用双线性插值进行处理。但这样的方法运算量较大，在本发明的一个较佳实施例中，利用透视原理公式直接进行色块中心点坐标的确定，包括：

设某色块中心点X在标准矩形中的坐标为i,j，原始矩形长为a，高为b。经过透视变换后，矩形的四个顶点分别变为(a₁,b₁),(a₂,b₂),(a₃,b₃),(a₄,b₄),则点X的坐标在经过透视变换后，变为：

由此，当确定了色块中心点在标准矩形中的坐标i、j即可推断出在实际拍摄的图像中该中心点对应的坐标i’,j’。

色块选取及颜色值计算：

在取得色块中心点坐标后，在灰度空间对图像进行区域生长算法处理，由于色块具有明显的边界，相同区域内颜色和灰度值近似统一，故通过区域生长算法可以得到相对完整的色块区域。在确定色块区域后，考虑到边界可能会对平均颜色的取值造成偏差，所以需要对色块区域进行边界切割，在根据本发明的一个具体实施例中，具体的裁减尺寸取色块区域边长的1/10；由此得到最终的色块区域。最后，可以通过计算色块区域的颜色的平均值来得到色块的具体颜色值。如此，通过对每个色块区域进行处理，得到整个色卡所有色块的颜色。另外，通过确定附加信息识别区的取值，读取出色卡版本等附加信息。

对色卡识别是否成功的判断：

本发明经过深入具体的研究之后发现：1)色卡的识别存在失败的情况；因而，2)需要对识别失败进行判断的手段。

具体地说，识别失败的情况包括：

由于色卡的几个位置标识符模糊不清和/或无法识别导致的识别失败、或者

因为色卡图像变形严重等原因，从而导致识别出的色块位置出现明显偏差，导致识别出的色块区域可能是一些无关的区域和/或图案，

上述情况下得到的色块颜色值并不是色卡的相关色块的实际颜色值，即识别失败。

因此，根据本发明的一个实施例，在进行色卡识别之后，对色卡的识别效果进行判断，且只对符合“识别成功”的要求的取样值进行后续的处理。

在大量的实验验证基础上，本发明人发现，在一般拍摄条件下，色卡色块的颜色相对于标准环境下的颜色的变化分别在RGB通道下大致符合线性规律。该实验是在现有48色色卡的基础上实现的，该色卡各个色块的设计RGB值如下表。

图5展示了识别成功和失败的采样点在R通道的颜色变化情况，可以看出识别成功的情况下R的变化更加符合线性规律。据此，本发明人提出了采用线性回归方法对识别结果进行判断的方案，具体包括：

假设色卡有n个采样点，具体体现为色卡上的n个色块，编号分别为1～n，Y₁，Y₂...Y_N分别是n个色块在标准环境中的颜色测量值，而y₁，y₂...y_n为色卡编号为1～n的色块在一般环境(拍摄环境)下的颜色测量值。Y_R、y_R为分别各个采样点在R通道上的取值，那么利用最小二乘法可得出表示Y_R、y_R之间线性近似关系的公式：

Y_R＝f_R(y_R)＝k_R·y_R+b_R

其中，f_R为R通道下的映射函数，k_R、b_R为映射函数f_R的一次项和常数项的拟合系数。

同理，可以分别求得G通道和B通道下的映射函数f_G，f_B。

当有一个待校准点i的R、G、B通道测量值

已知，要得到i点在在标准环境中的修正值

在根据本发明的一个实施例中，使用下方公式分别计算出

的值：

其中，上述公式中所有的系数k和b的确定，是通过采用经典最小二乘原理，对形如

的直线方程进行求解，而实现的。

在求得方程系数k和b后，可以将拟合方程和实际测量值进行统计分析并求出线性拟合优度R²。其中R²可以按照如下公式进行计算：

其中y_i指第i个样本的测量值，

指第i个样本通过线性回归方程计算出的修正值，

为所有测量值y的平均值，其中1≤i≤n。

根据本发明的另一个实施例，线性拟合优度R²由如下步骤确定：

确定y_i，i＝1,2…n的一个第一子集的分布的线性拟合优度R²：

其中：

上式中的求和是在所述第一子集上进行，

是第i个样本的修正值，

为从以下项中选出的一种：

所有测量值y的平均值，其中1≤i≤n，

所述第一子集对于的各测量值y的平均值，以及

y_i的一个第二子集对应的各测量值y的平均值。

在根据本发明的一个示例实施例中，当R²＞0.8时，则认为识别成功。

在判断识别成功后，利用色卡色块的颜色相对于标准环境下的颜色的变化的信息，进行下一步的颜色校正处理，即对舌像的颜色进行校正，从而得到颜色校正后的舌像。该下一步的颜色校正处理可以使用插值法或者线性回归、多项式回归等回归方法。

在本发明人已经进行的一系列实验中，对134例在不同条件下拍摄的色卡图像样本进行了分类比对。利用上述R²＞0.8的评价方法对色卡识别结果进行评价。在在像素较低的恶劣环境中可以达到94.2％左右的识别正确率，而在像素较高的较好环境中可以达到98.5％的识别率，并总体达到了96.3％的识别率，足以满足实际使用的需求。具体结果包括：

Claims (10)

1.借助便携式舌像颜色校正色卡的舌像识别方法，所述校正色卡包括分别具有不同颜色的多个色块，包括：

A)对于在与所述舌像的拍摄条件相同的拍摄条件下拍摄的校正色卡的图像，判断对所述校正色卡的颜色识别是否成功，

B)在步骤A)判定对校正色卡的颜色识别成功时，利用校正色卡的色块的颜色相对于标准环境下的颜色的变化的信息，对舌像的颜色进行校正，从而得到颜色校正后的舌像，

其特征在于步骤A)包括：

A1)确定所述校正色卡的n个色块各自在所述拍摄条件下在至少一个颜色通道上的值y_i，i＝1,2…n，

A2)对所述n个测量值y_i，利用最小二乘原理，确定出一次项和常数项的拟合系数k和b，进而确定相应的颜色修正值

A3)确定y_i，i＝1,2…n的一个第一子集的分布的线性拟合优度R²：

其中：

上式中的求和是在所述第一子集上进行，

是第i个样本的修正值，

为从以下项中选出的一种：

所有测量值y的平均值，其中1≤i≤n，

所述第一子集对于的各测量值y的平均值，以及

y_i的一个第二子集对应的各测量值y的平均值，

A4)当R²大于等于预定的阈值时判定图像识别成功，当R²小于预定的阈值时判定图像识别失败。

2.根据权利要求1所述的舌像识别方法，其特征在于进一步包括：

利用色块和校正色卡的预定的集合关系，确定各色块的中心点，

利用色块的中心点对校正色卡的图像进行搜索，从而确定各色块的边界，并确定各色块的颜色。

3.根据权利要求1所述的舌像识别方法，其特征在于：

所述校正色卡包括分别设置在校正色卡的多个预定位置的多个识别符，

所述多个识别符包括至少两种不同的符号，该至少两种不同的符号具有不同的几何特征，

对图像进行搜索，利用所述几何特征，确定各个符号的位置，

利用各个符号的位置对坐标进行校正，对因为拍摄的透视效果而可能发生的扭曲进行校正。

4.根据权利要求1所述的舌像识别方法，其特征在于：

校正色卡的图像和舌像是通过将色卡和物体摆放在同一场景中的同一光线条件的区域中进行拍摄，而得到的。

5.根据权利要求2所述的舌像识别方法，其特征在于：

确定各色块的边界包括利用区域生长法确定各色块的边界。

6.根据权利要求1所述的舌像识别方法，其特征在于：

第一子集和第二子集是随机选取的。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序能使处理器执行根据权利要求1－6之一所述的舌像识别方法。

8.一种便携式校正色卡，其特征在于所述便携式校正色卡适合用于根据权利要求1－6之一的舌像识别方法，并包括：

分别具有不同颜色的多个色块，

分别设置在校正色卡的多个预定位置的多个识别符，

其中：

所述多个识别符包括至少两种不同的符号，该至少两种不同的符号具有不同的几何特征，从而能够通过对图像进行搜索并利用所述几何特征而确定各个符号的位置。

9.根据权利要求8所述的便携式校正色卡，其特征在于：

该便携式校正色卡包括手持区域和色卡区域，

手持区域设置在色卡的一侧，以保证在单手持握时有充足的空间，并充分避免手遮挡色卡和/或在色卡区域产生阴影，

色卡区域是一个矩形并包括位置标识符区和色块区。

10.根据权利要求9所述的便携式校正色卡，其特征在于：

位置标识符区分布在色卡区域的四个顶点，它们具有预定的几何特征，

色块区中设置所述色块。

Images