CN109377441B - 具有隐私保护功能的舌像采集方法和*** - Google Patents
具有隐私保护功能的舌像采集方法和*** Download PDFInfo
- Publication number
- CN109377441B CN109377441B CN201810950775.3A CN201810950775A CN109377441B CN 109377441 B CN109377441 B CN 109377441B CN 201810950775 A CN201810950775 A CN 201810950775A CN 109377441 B CN109377441 B CN 109377441B
- Authority
- CN
- China
- Prior art keywords
- tongue
- image
- sub
- layer
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 20
- 210000002569 neuron Anatomy 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 15
- 238000007477 logistic regression Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 claims 2
- 239000000758 substrate Substances 0.000 claims 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- 239000003814 drug Substances 0.000 abstract description 18
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 230000011218 segmentation Effects 0.000 abstract 1
- 210000002105 tongue Anatomy 0.000 description 76
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明的中医舌像采集方法利用卷积神经网络构建可识别人脸特征部位(舌体区域)的网络模型。在保留舌体图像不变的条件下,对其他可识别采集人身份等隐私信息的区域进行模糊处理,有效地解决舌像采集中的隐私问题。该方法对原始采集图片进行缩放和分割操作,并对分割子图块用卷积神经网络分类,对分类结果作逻辑判断,得到需要模糊处理区域的坐标,并经逆变换得到上述区域在原始图片中的位置。最终经模糊操作实现对采集人的隐私保护。为在计算能力较弱的智能手机采集平台上也可实现本发明的隐私保护方案,对卷积神经网络的结构进行了针对性设计并采取了数据预处理等措施,在计算量与准确性上达到了合适的平衡。
Description
技术领域
本发明涉及具有隐私保护功能的舌像采集方法和***。
背景技术
近年来,随着计算机技术的发展,中医药现代化的研究越来越受到人们的重视与关注。舌诊作为中医的特色诊法,具有相对完整的理论依据,通过表象揭示了人体生理病理的客观现象,并被人们广泛接受与认可。人们开始利用深度学习,机器视觉等方法结合中医专家丰富的临床经验推动舌诊客观化、标准化等相关研究。目前,采用数字图像处理方法对舌像的自动分析已成为研究主流,并且国内外先后研制出了多个舌像采集与处理***。
发明内容
但是本发明人注意到的一个问题是,在舌像采集的过程中,被采集人的隐私并没有得到有效的保护。例如,市面上常见的舌像仪在采集舌像的过程中,往往是将人脸整体同舌体区域一并采集下来;不仅没有对病人的身份,面部等隐私信息进行保护,还会使得病人在采集数据的过程中产生抗拒心理,不利于数据的收集;同时,要更好的推动中医药现代化的研究,一个重要的环节就是整理并收集舌像数据,建立开源的、供广大科研人员进行科学分析的中医舌像数据库;这些都要求在采集舌像的同时对被采集人的隐私进行保护,从而***露被采集人的个人身份等敏感信息。
基于上述考虑,发明人提出了一种采用隐私保护的中医舌像采集方法。
根据本发明的一个方面,提供了一种具有隐私保护功能的舌像采集方法,其特征在于包括:
A)确定舌像图片中的舌体区域的坐标位置,
C)对舌像图片舌体以外的至少一部分区域进行模糊处理。
其中所述步骤A)包括:
对利用采集设备得到的原始舌像图片进行缩放,设原始舌像图片长、宽像素大小分别为l0和w0,使缩放后的图片长宽l1,w1为:
其中缩放比r为:
其中,缩放比r为小于等于1的情况即不进行缩放操作的情况,
对经过上述缩放的舌像图片进行分割操作,得到像素大小为150×150的子图块,
把子图块输入到训练完善的卷积神经网络中,得到子图块属于舌体区域的逻辑斯蒂回归值,
设所有子图块的逻辑斯蒂回归值构成矩阵R,利用公式(5)得到舌体的中心位置的子图块。
(xcentral,ycentral)=arg max(R[xi,yi]+R[xi-1,yi]+R[xi+1,yi]+R[xi,yi-1]+R[xi,yi+1])÷5 (5)
其中,(xi,yi)为分割子图块集合中第i项的列数和行数,(xcentral,ycentral)为中心位置的子图块的位置坐标,
把得到的中心位置(xcentral,ycentral)向上下左右四个方向延拓,设定停止延拓的阈值,得到延拓停止的坐标(xtop,ytop)、(xbottom,ybottom)、(xleft,yleft)、(xright,yright),
根据延拓得到的坐标(xtop,ytop)、(xbottom,ybottom)、(xleft,yleft)、(xright,yright)所在的子图块即终止子图块的位置,结合该终止子图块由神经网络输出得到的逻辑斯蒂回归概率值,确定:
舌体区域S0的上边界的坐标值:
舌体区域S0的下边界的坐标值:
舌体区域S0的左边界的坐标值:
舌体区域S0的右边界的坐标值:
把需要保留的舌体部分矩形区域S0左上角坐标和右下角坐标分别为:
(left,top),(right,bottom) (9)。
根据本发明的另一个方面,提供了存储有计算机程序的存储介质,该计算机程序能使处理器执行上述的舌像采集方法。
根据本发明的又一个方面,提供了具有隐私保护功能的舌像采集***,该***执行上述的舌像采集方法。
附图说明
图1用于图像分类的卷积神经网络结构图;
图2(a)-图2(e)显示了根据本发明的一个实施例(即舌像仪环境下的实施例)的具有隐私保护功能的舌像采集方法的过程示意图;其中图2(a)为采集得到的原图像,图2(b)为原图像经过缩放和分割得到的子图集合,图2(c)利用卷积神经网络对子图块的分类结果,并经过延拓得到的覆盖区域,图2(d)显示了经由逻辑判断得到的包含完整舌体的矩形区域,图2(e)显示了最终得到的经过处理的采集图像;
图3(a)-图3(e)显示了根据的本发明另一个实施例(即在开放式采集环境下的实施例)的具有隐私保护功能的舌像采集方法的过程示意图。
具体实施方式
本说明书全文引用本申请人2018年08月10日提交的、申请号第2018109118581号、题目为“一种基于深度卷积网络与水平集方法的中医舌像定位方法和***”的中国专利申请,并全文引用2018年07月08日提交的中国专利申请第201810741280.X号。
根据本发明的一个实施例的采用隐私保护的中医舌像采集方法利用卷积神经网络构建可以识别人脸特征部位(舌体区域)的网络模型。在保留舌体图像不变的条件下,对其他可以识别采集人身份等隐私信息的区域进行模糊处理,从而有效地解决中医舌像采集过程中存在的隐私问题。
为实现上述目的,在根据本发明的一个实施例的采用隐私保护的中医舌像采集方法中,对原始采集图片进行缩放和分割操作,并对得到的分割子图块利用卷积神经网络进行分类操作。对分类的结果进行逻辑判断,得到需要模糊处理区域的坐标,并经过逆变换得到上述区域在原始图片中的坐标位置。最终经过模糊操作实现对采集人的隐私保护过程。
此外,考虑到该方法的实际可应用性,为了即使在计算能力较弱的智能手机采集平台上也可以实现本发明的隐私保护方案,在根据本发明的一个实施例中,对卷积神经网络的结构进行了针对性设计并采取了数据预处理等措施,使得在计算量与准确性上达到了合适的平衡。
根据本发明的一个实施例的采用隐私保护的中医舌像采集方法包括:
1.对原始图像进行缩放,保持图像的纵横比并记录缩放比率。根据本发明的一个具体实施例,所采取的缩放策略是使缩放得到的图像规模接近1百万像素级别,得到的缩放图像被分割成150×150像素大小的多个子图块。
2.构建训练卷积神经网络模型所需的数据集;在根据本发明的一个实施例中,构建了包含5万张图片的数据集,集中数据尺寸为150×150像素。
并对这些用于训练的数据进行人工标注语义分类标签。由专业的数据标注人员分别对图像中属于舌体区域,背景区域的不同子图块的分类标签进行人工标注。得到高质量的标注数据。
3.对卷积神经网络模型进行设计和训练,根据本发明的一个实施例的卷积神经网络包括输入层,卷积层,池化层,全连接层,逻辑斯蒂回归(softmax)层和输出层。可以实现对图像的分类任务。
4.利用训练好的卷积神经网络模型对步骤1中分割的图像进行分类,得到分类结果的概率值。
5.通过逻辑判断得到舌体区域在缩放图片中的坐标位置,并根据缩放比率做逆变化得到上述区域在原始图片中的坐标。
6.在采集到的原始图片和/或缩放图片中对舌体以外的至少一部分区域进行模糊处理。
7.保留进行过上述模糊处理的图片,并替换原始图片。
与现有的中医舌像采集方式相比,本发明具有以下明显的优势和有益效果:
1.有效实现了对被采集人的隐私保护功能。本发明提出的在采集过程中,对被采集人的隐私信息进行处理的方式,是传统的中医舌像采集方式所不具备的。本发明方法可以有效减少被采集人的个人隐私泄露,降低被采集人的抗拒心理。以及对中医舌像信息数据库的建立与推广起到有益推动作用。
2.实现的卷积神经网络可以应用于开放式采集环境。本发明方法在不同的采集环境、光照强弱,拍摄角度下都可以实现舌体区域的判别,应用性广。
3.设计了一种规模较小但却具有较高准确性的卷积神经网络,网络仅包含3层卷积层与两层全连接层,分类准确率却达到94.9%。使得可以在包括手机端等计算能力较弱的平台的采集过程中也能实现隐私保护功能,推动中医舌像的智能采集工作。
下面将参照附图,对本公开地示例性实施例做更详细地描述。
本发明针对分割图像的分类问题设计了一种卷积神经网络模型,并利用收集得到的数据集对网络进行训练,最终得到可以用于对舌体和背景区域分类的网络模型。图1展示了本发明利用的卷积神经网络结构图。本模型的整体结构设计如下:网络结构包含输入层,卷积层,池化层,以及全链接层、逻辑斯蒂回归(softmax)层和输出层。其中,输入层的输入数据为尺寸大小为150×150×3的彩色子图块。考虑到实用性,为尽可能降低计算量,网络仅包含3个卷积层,分别含有10,10,1个卷积核,所有卷积核的大小均为5×5。池化层位于卷积1层和卷积2层之后,共两层池化层。并采用核大小为2×2的平均池化层。卷积3层经过延展变换与全连接层相连。全连接层共包含两层,神经元的数量分别为300和100个。全连接层与输出层相连,最终得到图像对于每个类别的逻辑斯蒂回归交叉熵。其中,本发明采用的激活函数为线性整流函数(ReLU)。
对于我们的网络结构,其中最重要的组成部分是卷积层,卷积层中的神经元不与输入图像中的每一个像素相连,而是与其感受域中的像素相连。进而,下一层卷积层中的每个神经元仅与位于上一层中的小矩形内的神经元即感受域相连接。这种架构允许神经网络专注于第一个隐藏层的低级特征,然后将它们组装成下一个隐藏层的高级特征。这种分层结构在现实世界的图像中很常见,这是卷积神经网络在图像识别方面效果良好的原因之一。在这里卷积核与输入值通过卷积运算并加上偏置值输入到线性整流激活函数得到下一层所需的输入。
池化层的输入与卷积层的输出相连接。其中的每个神经元都连接到前一层中有限数量的神经元的输出,位于一个小的矩形感受域内。然而,汇集神经元没有权重;它所做的只是使用聚合函数来聚合输入。在本发明中,我们使用2×2大小的内核,跨度为2。将每个内核中的平均值直接输入到下一层。
对通过三层卷积层得到的特征经由全连接层的前向传播得到图像归属于每一类预测值的大小,并利用计算值经过逻辑斯蒂回归层给出属于每一类的概率值。我们利用交叉熵作为损失函数,如公式1所示,采用反向传播训练网络结构参数。
其中Loss是交叉熵的值,n为输入样本数量,p为期望输出概率,q为卷积神经网络通过前向传播计算得到的实际输出。
最终我们构建的卷积神经网络在测试集2000张图像(正负样本各1000张)上的分类准确率高达94.9%。
2(a)-图2(e)表示了在标准环境下的采集过程中自动对舌体区域以外部分进行模糊处理的隐私保护方法,并根据本发明的一个具体实施例给出详细的流程示意图。具体步骤包括:
通过采集设备得到原始采集图片,并作为输入图片。对原始输入图片(图2(a))进行缩放。设图像长,宽像素大小分别为l0和w0,则缩放后的图片长宽l1,w1为:
这样,无论采集得到的原始图像像素大小为多少,我们都会缩放得到相同规模,即100万像素点左右的图像。其中缩放比r为:
对缩放图像进行分割操作,得到像素大小为150×150的图块(图2(b)),并输入到训练完善的卷积神经网络中,得到图块属于舌体区域的逻辑斯蒂回归值。并设所有分割图片的逻辑斯蒂回归值构成矩阵R,利用公式5,得到舌体中心位置图块。
(xcentral,ycentral)=arg max(R[xi,yi]+R[xi-1,yi]+R[xi+1,yi]+R[xi,yi-1]+R[xi,yi+1])÷5 (5)
其中,令(xi,yi)为分割图块集合中第i项的列数和行数。则中心图块位置坐标(xcentral,ycentral),根据公式5,能够有效去除卷积神经网络的误判区域,进一步提升准确率。
得到的中心位置向上下左右四个方向延拓,设定停止延拓的阈值为0.8,得到延拓停止的坐标(xtop,ytop),(xbottom,ybottom),(xleft,yleft),(xright,yright)。
根据延拓得到的终止图块位置(图2(c)),结合该图块由神经网络输出得到的逻辑斯蒂回归概率值,计算舌体区域S0的上边界坐标值:
则判定为需要保留的舌体部分矩形区域S0左上角坐标,右下角坐标分别为:
(left,top),(right,bottom) (9)
经逆变换得到在原始图像中区域S的两角坐标分别为:
(r×left,r×top)
(r×right,r×bottom) (10)
该矩形(图2(d))之外表示的区域则为原图像需要保护的部分。
对需要保护的部分进行模糊处理,利用邻域的任意一点替代当前邻域的所有像素点,并采取32倍间隔采样,即邻域为32×32像素点大小。
图3(a)-图3(e)表示了在开放式采集环境中自动对除舌体区域部分进行模糊处理的隐私保护的一个示例,表明了经过训练的神经网络对背景环境、光照强弱等因素变化的鲁棒性与自适应性,说明本发明方法具有广泛的实际应用价值。
图3(a)中显示了一种便携式舌像颜色校正色卡,用于进行借助便携式舌像颜色校正色卡的舌像识别方法。在本申请人于2018年07月08日提交的、名称为“中医智能舌诊中的舌像识别方法和用于该方法的便携式校正色卡”、申请号为201810741280.X的中国专利申请中,公开了一种便携式舌像颜色校正色卡和采用其的舌像识别方法;该201810741280.X号申请在此被全文引用。
根据本发明的一个实施例,在如图3(a)-图3(e)所示的、采用便携式舌像颜色校正色卡的情况下,先对舌像图片进行借助便携式舌像颜色校正色卡的舌像识别,然后再对该舌像图片中的舌体区域以外的至少一部分进行模糊处理。
图3(a)-图3(e)显示了根据的本发明另一个实施例(即在开放式采集环境下的实施例)的具有隐私保护功能的舌像采集方法的过程示意图。其过程同图2,其中图3(a)为在开放环境下采集得到的原图像,并采用了便携式校正色卡对图像的颜色进行校正,图3(b)为原图像经过缩放和分割得到的子图块集合,图3(c)利用卷积神经网络对子图块的分类结果,并经过延拓得到的覆盖区域,上下左右边界即为延拓得到的停止坐标。图3(d)显示了经由公式6、7、8、9、10计算得到的包含完整舌体的矩形区域,图3(e)显示了对矩形区域外的隐私保护区域进行处理的过程,最终得到的经过处理的采集图像,实现了对被采集人的隐私保护。
与标准环境即舌像仪下的拍摄不同,开放式环境的光照强度、背景等都是不确定的,所以需要对颜色进行校正。由于本发明对被采集人的舌体之外的大部分区域都进行了模糊处理,导致后续难以利用背景、光照等信息对颜色进行校正,本发明借助便携式色卡在采集的过程中完成图像的颜色校正,并对实现了校正与隐私处理之后的图像进行上传保存。
同时,值得注意的是,本发明的神经网络本身对舌像区域的识别并不需要对图像颜色校正的预处理过程,该神经网络对各种光照条件都有良好的适应性,具有较强的鲁棒性。即使在缺少色卡的开放环境下,也能正确的识别并对被采集人的隐私进行保护。
最终采集得到的图像为原始图像经过处理后的图像,使采集过程存在的被采集人隐私泄露的问题得到有效解决,实现了对一种保护隐私的中医舌像采集方法。
Claims (14)
1.具有隐私保护功能的舌像采集方法,其特征在于包括:
A)确定舌像图片中的舌体区域的坐标位置,
C)对舌像图片舌体以外的至少一部分区域进行模糊处理,
其中所述步骤A)包括:
对利用采集设备得到的原始舌像图片进行缩放,设原始舌像图片长、宽像素大小分别为l0和w0,使缩放后的图片长宽l1,w1为:
其中缩放比r为:
其中,缩放比r为小于等于1的情况即不进行缩放操作的情况,
对经过上述缩放的舌像图片进行分割操作,得到像素大小为150×150的子图块,
把子图块输入到训练完善的卷积神经网络中,得到子图块属于舌体区域的逻辑斯蒂回归值,
设所有子图块的逻辑斯蒂回归值构成矩阵R,利用下式得到舌体的中心位置的子图块的位置坐标:
(xcentral,ycentral)=arg max(R[xi,yi]+R[xi-1,yi]+R[xi+1,yi]+R[xi,yi-1]+R[xi,yi+1])÷5
其中,(xi,yi)为子图块的集合中第i项的列数和行数,(xcentral,ycentral)为中心位置的子图块的位置坐标,
把得到的中心位置(xcentral,ycentral)向上下左右四个方向延拓,设定停止延拓的阈值,得到延拓停止的坐标(xtop,ytop)、(xbottom,ybottom)、(xleft,yleft)、(xright,yright),
根据延拓得到的坐标(xtop,ytop)、(xbottom,ybottom)、(xleft,yleft)、(xright,yright)所在的子图块即终止子图块的位置,结合该终止子图块由神经网络输出得到的逻辑斯蒂回归概率值,确定:
舌体部分矩形区域S0的上边界的坐标值:
舌体部分矩形区域S0的下边界的坐标值:
舌体部分矩形区域S0的左边界的坐标值:
舌体部分矩形区域S0的右边界的坐标值:
把需要保留的舌体部分矩形区域S0左上角坐标和右下角坐标分别表示为:
(left,top),(right,bottom)。
2.根据权利要求1所述的舌像采集方法,其特征在于进一步包括:
经逆变换得到在原始舌像图片中的逆变换的舌体部分矩形区域S的左上角和右下角坐标分别为:
(r×left,r×top)
(r×right,r×bottom)。
3.根据权利要求1所述的舌像采集方法,其特征在于进一步包括:
D)保留进行过所述模糊处理的图片,作为提供给舌像数据库的经过模糊处理的舌像图片。
4.根据权利要求1所述的舌像采集方法,其特征在于:
所述舌像图片中包括了便携式舌像颜色校正色卡的图像,
且所述的舌像采集方法的特征在于进一步包括:
B)在所述步骤C)之前,对舌像图片进行借助便携式舌像颜色校正色卡的舌像识别。
5.根据权利要求1-4之一所述的舌像采集方法,其特征在于所述经过训练的卷积神经网络是利用一种建模方法建立和训练的,该建模方法包括:
构建卷积神经网络的步骤,和
训练卷积神经网络模型的步骤,
其中:
所述卷积神经网络包括:
输入层,输入为对图像进行分割得到的尺寸大小为150*150*3的彩色的子图块,
第一、第二和第三卷积层,分别含有10、10、1个卷积核,所有卷积核的大小均为5*5,
第一池化层和第二池化层,分别位于第一卷积层和第二卷积层之后,并且为核大小为2*2的平均池化层,
全连接层,全连接层包括两层,分别具有300和100个神经元,
输出层,
构建卷积神经网络的步骤包括:
使卷积层中的神经元与卷积层的小矩形感受域中的像素相连,
使三个卷积层中的下一层卷积层中的每个神经元仅与位于上一层卷积层中的小矩形感受域相连接,从而使得卷积神经网络专注于上一个层级的低级特征,然后将所述低级特征组装成下一个层级的高级特征,
使池化层中的每个神经元都连接到前一层中神经元的输出,连接的前一层神经元在空间结构上位于一个小矩形内,该小矩形是池化层的内核,把每一个2×2大小、跨度为2的内核中的平均值输入到下一层,
使第三卷积层经过延展变换与全连接层相连,
使全连接层与输出层相连,得到图像对于每个类别的softmax交叉熵,
对通过第一至第三卷积层得到的特征,经由全连接层的前向传播,得到子图块归属于每一类别的预测值的大小,并利用softmax回归确定出子图块属于每一类别的概率值,
训练卷积神经网络模型的步骤包括:
用交叉熵作为损失函数,如下式所示:
其中Loss是交叉熵的值,n为输入的样本子图块的数目,p为期望输出概率即真实值,q为卷积神经网络通过前向传播计算得到的实际输出,即预测值,
利用损失函数确定所述预测值与预先给定的样本子图块归属于每一类的真实值之间的交叉熵,
按照下式,利用反向传播算法和随机梯度下降对卷积神经网络的参数进行训练与更新:
其中W表示卷积神经网络中的参数值,α为学习率。
6.根据权利要求5所述的舌像采集方法,其特征在于:
所述n个样本子图块以如下方式被加上了标注语义的标签,该标签对样本子图块是属于舌体区域还是属于背景区域进行注释,
其中,如果一个样本子图块的图像内容超过一半以上为舌体区域,则把该样本子图块标为舌体区域,反之则把该样本子图块标为背景区域,
如果来自一张图像的所有样本子图块全部被标注为背景区域,则这张图像被判定为无效的,即把来自该图像的所有样本子图块从所述n个样本子图块中剔除。
7.根据权利要求5所述的舌像采集方法,其特征在于:
停止延拓的阈值被设定为0.8,
n等于5000。
8.存储有计算机程序的存储介质,该计算机程序能使处理器执行根据权利要求1-7之一所述的舌像采集方法。
9.具有隐私保护功能的舌像采集***,其特征在于包括:
确定舌像图片中的舌体区域的坐标位置的部分,
对舌像图片舌体以外的至少一部分区域进行模糊处理的部分,
其中所述确定舌像图片中的舌体区域的坐标位置的部分包括进行如下操作的部分:
对利用采集设备得到的原始舌像图片进行缩放,设原始舌像图片长、宽像素大小分别为l0和w0,使缩放后的图片长宽l1,w1为:
其中缩放比r为:
其中,缩放比r为小于等于1的情况即不进行缩放操作的情况,
对经过上述缩放的舌像图片进行分割操作,得到像素大小为150×150的子图块,
把子图块输入到训练完善的卷积神经网络中,得到子图块属于舌体区域的逻辑斯蒂回归值,
设所有子图块的逻辑斯蒂回归值构成矩阵R,利用下式得到舌体的中心位置的子图块的位置坐标:
(xcentral,ycentral)=arg max(R[xi,yi]+R[xi-1,yi]+R[xi+1,yi]+R[xi,yi-1]+R[xi,yi+1])÷5
其中,(xi,yi)为子图块的集合中第i项的列数和行数,(xcentral,ycentral)为中心位置的子图块的位置坐标,
把得到的中心位置(xcentral,ycentral)向上下左右四个方向延拓,设定停止延拓的阈值,得到延拓停止的坐标(xtop,ytop)、(xbottom,ybottom)、(xleft,yleft)、(xright,yright),
根据延拓得到的坐标(xtop,ytop)、(xbottom,ybottom)、(xleft,yleft)、(xright,yright)所在的子图块即终止子图块的位置,结合该终止子图块由神经网络输出得到的逻辑斯蒂回归概率值,确定:
舌体部分矩形区域S0的上边界的坐标值:
舌体部分矩形区域S0的下边界的坐标值:
舌体部分矩形区域S0的左边界的坐标值:
舌体部分矩形区域S0的右边界的坐标值:
把需要保留的舌体部分矩形区域S0左上角坐标和右下角坐标分别为:
(left,top),(right,bottom)。
10.根据权利要求9所述的舌像采集***,其特征在于进一步包括:
逆变换部分,用于经逆变换得到在原始舌像图片中的逆变换的舌体部分矩形区域S的左上角和右下角坐标。
11.根据权利要求9所述的舌像采集***,其特征在于:
所述舌像图片中包括了便携式舌像颜色校正色卡的图像,
且所述的舌像采集***的特征在于进一步包括:
对舌像图片进行借助便携式舌像颜色校正色卡的舌像识别的部分,用于在所述对舌像图片舌体以外的至少一部分区域进行模糊处理之前对舌像图片进行借助便携式舌像颜色校正色卡的舌像识别。
12.根据权利要求9-11之一所述的舌像采集***,其特征在于所述经过训练的卷积神经网络是利用一种建模方法建立和训练的,该建模方法包括:
构建卷积神经网络的步骤,和
训练卷积神经网络模型的步骤,
其中:
所述卷积神经网络包括:
输入层,输入层为对图像进行分割得到的尺寸大小为150*150*3的彩色的子图块,
第一、第二和第三卷积层,分别含有10、10、1个卷积核,所有卷积核的大小均为5*5,
第一池化层和第二池化层,分别位于第一卷积层和第二卷积层之后,并且为核大小为2*2的平均池化层,
全连接层,全连接层包括两层,分别具有300和100个神经元,
输出层,
构建卷积神经网络的步骤包括:
使卷积层中的神经元与卷积层的小矩形感受域中的像素相连,
使三个卷积层中的下一层卷积层中的每个神经元仅与位于上一层卷积层中的小矩形感受域相连接,从而使得卷积神经网络专注于上一个层级的低级特征,然后将这些低级特征组装成下一个层级的高级特征,
使池化层中的每个神经元都连接到前一层中有限数量的神经元的输出,连接的前一层神经元在空间结构上位于一个小矩形内,该小矩形是池化层的内核,把每一个2×2大小、跨度为2的内核中的平均值输入到下一层,
使第三卷积层经过延展变换与全连接层相连,
使全连接层与输出层相连,得到图像对于每个类别的softmax交叉熵,
对通过第一至第三卷积层得到的特征,经由全连接层的前向传播,得到子图块归属于每一类别的预测值的大小,并利用softmax回归确定出子图块属于每一类别的概率值,
训练卷积神经网络模型的步骤包括:
用交叉熵作为损失函数,如下式所示:
其中Loss是交叉熵的值,n为输入的样本子图块的数目,p为期望输出概率即真实值,q为卷积神经网络通过前向传播计算得到的实际输出,即预测值,
利用损失函数确定所述预测值与预先给定的样本子图块归属于每一类的真实值之间的交叉熵,
按照下式,利用反向传播算法和随机梯度下降对卷积神经网络的参数进行训练与更新:
其中W表示卷积神经网络中的参数值,α为学习率,
使得采用卷积神经网络的样本子图块的类别的预测值与真实值之间的误差不断下降,经过多次的循环,得到训练完善的卷积神经网络。
13.根据权利要求12所述的舌像采集***,其特征在于:
所述n个样本子图块以如下方式被加上了标注语义的标签,该标签对样本子图块是属于舌体区域还是属于背景区域进行注释,
其中,如果一个样本子图块超过一半以上为舌体区域,则把该样本子图块标为舌体区域,反之则把该样本子图块标为背景区域,
如果来自一张图像的所有样本子图块全部被标注为背景区域,则这张图像被判定为无效的,即把来自该图像的所有样本子图块从所述n个样本子图块中剔除。
14.根据权利要求12所述的舌像采集***,其特征在于:
停止延拓的阈值被设定为0.8,
n等于5000。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810950775.3A CN109377441B (zh) | 2018-08-20 | 2018-08-20 | 具有隐私保护功能的舌像采集方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810950775.3A CN109377441B (zh) | 2018-08-20 | 2018-08-20 | 具有隐私保护功能的舌像采集方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109377441A CN109377441A (zh) | 2019-02-22 |
CN109377441B true CN109377441B (zh) | 2023-02-03 |
Family
ID=65403785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810950775.3A Active CN109377441B (zh) | 2018-08-20 | 2018-08-20 | 具有隐私保护功能的舌像采集方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109377441B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110033019B (zh) * | 2019-03-06 | 2021-07-27 | 腾讯科技(深圳)有限公司 | 人体部位的异常检测方法、装置和存储介质 |
CN110458027A (zh) * | 2019-07-11 | 2019-11-15 | 中国农业大学 | 一种基于大理石花纹的生鲜肉分级方法、***及装置 |
CN111695500A (zh) * | 2020-06-11 | 2020-09-22 | 齐鲁工业大学 | 基于迁移学习的脑卒中患者运动想象任务识别方法及*** |
CN111783146B (zh) * | 2020-09-04 | 2021-02-12 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护的图像处理方法、装置和电子设备 |
CN112464093B (zh) * | 2020-11-30 | 2023-04-18 | 江苏商贸职业学院 | 一种面向读者的智能寻书机器人及电子设备 |
CN114330454A (zh) * | 2022-01-05 | 2022-04-12 | 东北农业大学 | 一种基于ds证据理论融合特征的生猪咳嗽声音识别方法 |
CN114511567B (zh) * | 2022-04-20 | 2022-08-05 | 天中依脉(天津)智能科技有限公司 | 舌体与舌苔图像识别分离方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107134144A (zh) * | 2017-04-27 | 2017-09-05 | 武汉理工大学 | 一种用于交通监控的车辆检测方法 |
CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
CN107464250A (zh) * | 2017-07-03 | 2017-12-12 | 深圳市第二人民医院 | 基于三维mri图像的乳腺肿瘤自动分割方法 |
CN108010049A (zh) * | 2017-11-09 | 2018-05-08 | 华南理工大学 | 使用全卷积神经网络分割定格动画中人手部区域的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10354159B2 (en) * | 2016-09-06 | 2019-07-16 | Carnegie Mellon University | Methods and software for detecting objects in an image using a contextual multiscale fast region-based convolutional neural network |
-
2018
- 2018-08-20 CN CN201810950775.3A patent/CN109377441B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107134144A (zh) * | 2017-04-27 | 2017-09-05 | 武汉理工大学 | 一种用于交通监控的车辆检测方法 |
CN107464250A (zh) * | 2017-07-03 | 2017-12-12 | 深圳市第二人民医院 | 基于三维mri图像的乳腺肿瘤自动分割方法 |
CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
CN108010049A (zh) * | 2017-11-09 | 2018-05-08 | 华南理工大学 | 使用全卷积神经网络分割定格动画中人手部区域的方法 |
Non-Patent Citations (2)
Title |
---|
***磁共振图像分割的反卷积神经网络方法;詹曙等;《中国图象图形学报》;20170416(第04期);全文 * |
结合改进的U-Net和Morphsnakes的肝脏分割;刘哲等;《中国图象图形学报》;20180816(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109377441A (zh) | 2019-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109377441B (zh) | 具有隐私保护功能的舌像采集方法和*** | |
CN109410168B (zh) | 用于确定图像中的子图块类别的卷积神经网络的建模方法 | |
CN108830144B (zh) | 一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法 | |
Zin et al. | Image technology based cow identification system using deep learning | |
US20210118144A1 (en) | Image processing method, electronic device, and storage medium | |
CN111783576B (zh) | 基于改进型YOLOv3网络和特征融合的行人重识别方法 | |
CN108875821A (zh) | 分类模型的训练方法和装置、移动终端、可读存储介质 | |
CN106127108B (zh) | 一种基于卷积神经网络的人手图像区域检测方法 | |
CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
CN112381011B (zh) | 基于人脸图像的非接触式心率测量方法、***及装置 | |
CN109389129A (zh) | 一种图像处理方法、电子设备及存储介质 | |
CN108830149B (zh) | 一种目标细菌的检测方法及终端设备 | |
Yan et al. | Crowd counting via perspective-guided fractional-dilation convolution | |
CN104794479B (zh) | 基于局部笔画宽度变换的自然场景图片中文本检测方法 | |
CN107871316B (zh) | 基于深度神经网络的x光片手骨兴趣区域自动提取方法 | |
CN110827304B (zh) | 一种基于深度卷积网络与水平集方法的中医舌像定位方法和*** | |
CN110765833A (zh) | 一种基于深度学习的人群密度估计方法 | |
CN110889387A (zh) | 一种基于多轨迹匹配的实时动态手势识别方法 | |
CN107292933B (zh) | 一种基于bp神经网络的车辆颜色识别方法 | |
CN112862849B (zh) | 一种基于图像分割和全卷积神经网络的田间稻穗计数方法 | |
CN107767416A (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
CN112151167A (zh) | 一种基于深度学习的儿童六龄牙龋齿智能筛查方法 | |
CN109977832A (zh) | 一种图像处理方法、装置及存储介质 | |
CN113822185A (zh) | 一种群养生猪日常行为检测方法 | |
CN106529441A (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |